岗位职责
- 评测体系规划：负责 AI办公产品的评测路线图、指标体系与验收标准，建立离线评测到线上验证的完整机制，支持产品迭代决策。
- 真实任务评测集建设：深入数据分析、知识问答、内容创作等办公domain，构建覆盖不同复杂度的评测案例，明确任务背景、工具环境、业务约束与交付标准。
- 评测方法设计：围绕任务完成度、交付质量、效率和稳定性，结合规则、代码、模型裁判与人工评审制定评测方案，确保结果可信且贴近用户体验。
- 问题归因与效果优化：结合评测结果、执行轨迹和用户反馈定位关键短板，明确优化优先级，协同研发改进并验证收益。
- 评测能力产品化：推动评测集管理、自动评分、结果分析与版本对比等工具建设，将评测融入研发流程，持续引入并验证前沿评测方法。
职位要求
- 具备AI产品评测、大模型评测、算法评测工作经验优先 。
- 理解真实办公场景，能将开放式需求拆解为可执行的任务与验收标准，对 AI 交付质量有良好判断力。
- 理解大模型、Agent、RAG 及工具调用的基本原理，能够分析执行过程，与算法、研发团队共同制定优化方案。
- 熟悉评测集构建、模型裁判、人工评审等方法，关注样本代表性与评分一致性，能够设计可信的效果实验。
