岗位描述(节选)
1、参与数据资产与数据生产平台的架构设计和核心模块研发,建设工作流、元数据、数据集、算子、任务和发布等领域能力;
2、建设统一的数据加工工作流,支持 DAG、批量并行、长任务、优先级、重试、断点续跑、幂等、补数和失败回滚;
3、建设文本、图片、视频、音频等多模态数据处理框架,支持解析、转码、抽帧、切片、格式转换、特征提取和批量推理;
4、将清洗、过滤、去重、质量检测、采样、标注、审核等能力沉淀为标准算子、SDK、模板和可组合工作流;
5、建设数据集管理能力,包括 Dataset、Manifest、Schema、分片、快照、版本、血缘、标签、训练/验证/评测集划分和发布审批;
6、建立数据生产质量体系,支持规则校验、统计分析、分布检测、异常发现、抽样审核、质量评分和问题回溯;
7、建设数据生产任务的可观测体系,持续跟踪吞吐、延迟、失败率、有效数据产出率、资源利用率和单位数据成本;
8、优化海……
完整岗位描述与官方投递入口,请登录后在岗位详情页查看。