岗位描述(节选)
【岗位职责】
岗位职责
1. Pipeline平台构建:
– 构建统一数据Pipeline平台底座:任务编排与调度、批流一体加工引擎、链路依赖管理、失败重跑与断点续传,支撑三域(制造/产品/工程)数据加工与座舱采集数据后处理的规模化运行;
– 建设样本/特征生产链路,为训练平台提供标准化数据供给。
2. 开发范式与组件沉淀:
– 定义Pipeline开发模板、配置规范与可复用组件库,让领域链路开发(第1名Pipeline工程师及后续领域成员)以低代码/配置化方式上线新链路;
– 将数据质量规则(完整性、一致性、时效性校验)内嵌到链路框架,实现质量问题自动拦截与告警。
3. 性能与成本优化:
– 负责加工链路的资源调度优化、存储分层与计算成本控制;建立链路级SLA与可观测性(与评测观测岗协同)
【任职要求】
任职要求
硬性门槛(一票否决项):
- 5年以上数据工程/数据平台开发经验;本科……
完整岗位描述与官方投递入口,请登录后在岗位详情页查看。