岗位描述(节选)
【岗位职责】
团队介绍:字节跳动豆包产品团队,在这里你将有机会参与到行业前沿产品的规划设计,开拓自己的行业视野,与先进团队共同成长。
1、负责Agent评测体系建设,规划重点场景、任务分层、评估指标和验收标准,持续跟踪行业进展并引入有效的评测方法;
2、深入企业和行业场景,与行业专家、客户、业务、产品及算法团队协作,理解真实工作流、交付物和验收方式,将高价值工作转化为可复现、可验证、有区分度的评测任务;
3、设计和维护高质量评测集,完整建设任务描述、输入材料、执行环境、参考产物、Rubrics、Verifier和隐藏测试,保障题目的真实性、覆盖度、难度、稳定性和可追溯性;建设高效的数据生产管线,打通线上任务与用户反馈、专家出题、企业共建、供应商采购和数据合成等来源,完成数据采集、清洗、改写、标注、质检、去重、分层及版本管理;
4、建设规模化自动评测能力,综合使用规则、代码、程序化验证、A……
完整岗位描述与官方投递入口,请登录后在岗位详情页查看。