大数据资深开发工程师

职责描述： 1. 构建面向模型训练所使用多远数据集的存储系统； 2. 基于模型训练需求完成数据采集、数据存储、数据处理、提供服务功能； 3. 基于数据湖和数据仓库整合完成湖仓一体化存储架构。； 4. 基于数据的一致性、时效性、准确性和数据标记等不断提高数据质量； 经验要求：5年以上大数据开发经验； 技能要求： （1）精通Sqoop/Canal、Flume、Kafka等一种以上数据采集工具； （2）熟练并精通使用HDFS、HBase、Kudu、Hudi等一种以上存储系统和性能优化； （3）精通MapReduce、Spark、Impala/Presto、Storm、Flink等一种以上数据处理技术； （4）熟练使用一种以上编程语言，如Python、Java、Scala、Golang； （5）有数据湖、数据仓库设计落地经验者优先。 （6）熟练使用一种以上大规模并行分析(MPP)数据库，如Dori…… 完整岗位描述与官方投递入口,请登录后在岗位详情页查看。