岗位描述（节选）
一、评测体系设计与指标定义：
把模糊的"用户预期未达成 / 效果不好"拆解为可量化、可归因、可执行的指标。对上负责电商搜索全链路（Query 理解、相关性、丰富性性等）的指标体系建设；面向 LLM、Agent、工具调用、多轮推理等场景，构建科学、可扩展的能力评测维度（指令遵循、推理、幻觉、安全性、工具调用等）。建立离线评测、在线人巡、A/B 测试、人工主观评估相结合的分层框架，覆盖端到端体验与质量监控。
二、数据流、流程建设与人机协作：
制定样本采样策略、标注 SOP、Badcase 分类体系，沉淀高质量评测样本集与测评集。推动大模型（LLM-as-a-judge）在规模化评测中的落地，设计 Prompt、校准机制与人工评审标准，实现自动评测与人工评测的互校验。
搭建"标准—评测—数据反馈"的闭环机制，向模型训练与方案迭代产出可用于训练的高质量偏好数据与奖励信号，提升迭代效率与评估标准的合……
完整岗位描述与官方投递入口,请登录后在岗位详情页查看。