岗位描述(节选)
岗位职责:
1、负责离线数据链路全流程开发,完成数据接入、清洗转换、聚合计算、指标加工、数据输出等工作,保障业务数据、用户行为数据、业务报表数据的稳定产出。
2、精通SQL开发与深度优化,负责复杂离线SQL脚本、数据计算任务的编写,针对数据倾斜、全表扫描、冗余计算、任务耗时过长等问题进行专项SQL优化、任务调优,提升计算效率、降低资源消耗。
3、熟练使用阿里云DataWorks完成数据开发、任务调度、周期任务配置、依赖管理、运维监控、告警处理、数据血缘管理等全流程操作,保障离线任务稳定运行。
4、熟练使用MaxCompute、Hive进行海量离线数据存储、计算与查询,掌握底层存储原理、分区设计、分桶优化、压缩策略、参数调优;熟练使用Spark进行分布式数据计算、复杂数据处理与批处理任务开发。
5、精通Python数据开发,使用Python完成数据清洗、脚本调度、数据校验、异常监控、数……
完整岗位描述与官方投递入口,请登录后在岗位详情页查看。