Dots-Pretrain数据算法研究员

1. 负责预训练数据管道的架构设计与迭代，覆盖数据采集、清洗、去重、质量过滤、配比优化、格式标准化等全流程 2. 构建大规模数据质量评估体系：设计并优化数据质量打分模型/规则，识别并过滤低质、重复、有害、污染类数据 3. 探索数据配比与Curriculum策略：结合Scaling Law研究成果，持续优化不同领域/语言/来源数据的配比方案，寻找最优的数据组合策略 4. 推进多元数据源的持续挖掘与整合：包括网页、书籍、代码、学术文献、多模态数据等，扩展数据的广度和知识密度上限 5. 搭建数据去污染（Decontamination）机制，确保训练数据与评测基准之间不存在数据泄漏，保障模型能力评估的可信度 6. 持续跟踪并复现业界前沿的Data‑Centric AI方法（如数据筛选算法、数据质量代理模型、数据蒸馏等），推动数据管道技术路线的持续迭代 7. 与其他团队紧密协作，确保数据管道的产出能…… 完整岗位描述与官方投递入口,请登录后在岗位详情页查看。