岗位职责
- 围绕 ima 知识问答、检索及 Agent 等场景，建设业务评测体系，明确质量标准与评价指标；
- 建设和维护业务 Benchmark，完善样本、评分规则及更新机制，结合人工与模型辅助评测，保障评测结果可靠；
- 开发自动化评测工具，支持批量测试、自动评分、结果对比及回归验证，提升评测效率与可复现性；
- 持续追踪不同模型及版本的效果、稳定性、时延与成本，为模型选型和产品迭代提供依据；
- 建设满意度评价与反馈机制，关联离线评测和真实用户体验，协同产品、算法、研发定位问题并验证改进效果。
职位要求
- 有 AI 产品、大模型应用评测或算法策略相关经验，能够将业务问题转化为可执行的评测方案；
- 理解大模型、RAG 及 Agent 的基本机制，熟悉评测集构建、评分标准及人工／自动评测方法；
- 熟练使用AI工具，能够调用模型 API，独立搭建、调试自动化评测脚本或工具；
- 具备良好的数据分析与实验设计能力，能识别评测偏差，判断效果变化并形成清晰结论；
- 主动探索、注重用户价值，能通过动手验证和事实反馈修正判断，推动问题解决。
