数据技术及产品部-大模型评测研发工程师-杭州/北京

1. 评测平台架构与框架建设。设计并研发面向大模型与Agent的通用评测框架，支持多模态输入输出、长程任务执行、工具调用链路、执行反馈等评估维度；推动评测流水线标准化，打通数据集管理、环境隔离、任务调度、指标计算、结果归档与可视化各环节；对评测结果做数据清洗、统计分析与可视化，向算法团队输出分析报告与洞察。 2. 评测集适配与建设。吃透业界主流评测集（如SWE-bench、Terminal-Bench、JobBench等），完成向平台的精准适配；面向代码生成、工具使用、推理、多轮对话、多模态生成等任务场景，设计可量化的评估方式与指标体系；建立Benchmark版本管理机制，让评测过程与结果可追踪、可对比、可复现，支撑模型迭代决策。 3. 评测任务Agent化与Harness Engineering。以Harness Engineering思路把评测任务本身Agent化，提升评测集接入效率与…… 完整岗位描述与官方投递入口,请登录后在岗位详情页查看。