岗位描述(节选)
评测体系建设:面向用户交互场景,设计覆盖基座模型、端到端Agent、用户体验等场景的评测框架和标准,保障评测可解释可复现,并主导Benchmark数据集构建与持续迭代,防控数据污染与评测失效;
搭建自动化评测工程:通过judge model等自动评测流水线,设计多评委协作机制,控制评测偏见,持续提升自动评测与人工标注的一致性,推动评测提效
数据生产与质量管控:主导评测/训练数据合成方案设计,建立标注规范与质检体系,同时与数据团队协作,保障大规模数据生产的稳定性与准确性
模型迭代支撑:输出结构化评测报告,将评测结论转化为可落地的优化建议,与模型训练团队深度协作,建立"评测→优化→再评测"闭环
沉淀团队评测方法论,输出可复用框架与工具
【任职要求】
计算机、人工智能、统计学、数学或相关专业,本科及以上学历,3年大模型评测工作经验以上优先
熟悉业界主流评测工具集和评测集,有独立设计评测框架和评……
完整岗位描述与官方投递入口,请登录后在岗位详情页查看。