岗位描述(节选)
团队负责阿里巴巴多模态基础模型的数据体系建设,支撑行业领先的视频生成模型训练,处理百亿级图像、视频及图文数据。
本岗位聚焦复杂多模态数据管线建设,持续提升大规模数据处理的吞吐、正确性与数据质量,为 Pretrain、SFT、RL 提供高效、可靠的数据供给。
职位描述
1. 设计和建设百亿级多模态数据处理管线,覆盖数据清洗、解码、转换、过滤、标注及训练加载等环节。
2. 深入分析 CPU、内存、网络、存储、编解码及任务调度瓶颈,提升端到端吞吐、资源利用率和系统稳定性。
3. 建设数据校验与质量评估体系,保障数据完整、一致、可追溯,持续提升数据的准确性、多样性和有效性。
4. 基于 Ray、FFmpeg、PyTorch、vLLM 等技术建设高性能数据处理与模型推理组件,优化任务切分、批量推理、资源调度、数据传输及容错恢复。
5. 面向 Pretrain、SFT、RL 等训练阶段,协同设计数据格……
完整岗位描述与官方投递入口,请登录后在岗位详情页查看。