岗位职责
- 制定评估战略，牵引能力演进 结合模型技术路线与产品发展目标，定义核心能力地图、评估标准和阶段性目标。建立从基础能力到真实任务表现的分层评估体系，识别能力瓶颈与投入优先级，为训练规划、技术选型和版本发布提供依据。
- 建设面向复杂长程任务的 Agent 评估体系 围绕典型用户场景与专业工作流，建设可执行、可复现的任务集与评测环境。重点评估需求澄清、规划决策、工具使用、上下文与记忆管理、人机协作、异常恢复和交付验证能力，综合衡量任务成功率、交付质量、执行成本与可靠性。
- 打通评估、训练与产品改进闭环 联合训练、数据、Agent 系统和产品团队，将线上真实问题与任务失败轨迹转化为能力诊断、训练数据需求及系统改进方案。建设过程评估与结果评估相结合的反馈机制，为 SFT、强化学习及 Harness 优化提供高质量信号，并通过独立评测验证改进收益。
- 建设规模化评估平台与数据资产 主导评测任务、交互环境、专家标注和执行轨迹的资产化建设，推动自动化运行、失败归因、回归验证与版本追溯。支持多轮交互、动态环境和长程执行，形成可持续扩展的评估基础设施。
- 保障评估可信，建立线上线下一致性 系统解决评测集污染、指标饱和、裁判模型偏差、奖励投机及分布偏移等问题。建立专家评审、人机一致性校验和统计置信度标准，验证离线评估与线上任务完成、用户满意度等指标的关联，避免能力提升停留在分数层面。
- 牵引跨团队决策与团队建设 组织模型能力评审、竞品对标及重大版本发布评估，清晰说明收益、风险与适用边界，推动结论转化为研发行动。建设评估算法与工程团队，形成兼具研究深度、工程落地能力和业务判断力的技术梯队。
职位要求
- 硕士及以上学历，计算机、人工智能、数学、统计学等相关专业。
- 5 年以上机器学习或人工智能相关经验，其中至少 2 年大模型训练、评估或 Agent 研发的一线经验；主导过完整评估体系建设，或在模型训练、复杂任务 Agent 优化中取得可验证的成果。
- 深入理解大模型能力形成与评估方法，熟悉 SFT、偏好优化、强化学习等技术，能够判断评估信号如何影响训练方向，并识别指标优化与真实能力提升之间的偏差。
- 具备 Agent 任务评估或研发的实际经验，理解工具调用、多轮交互、长程执行及环境反馈机制；能够结合执行轨迹，区分模型能力、工具环境、上下文管理与系统编排带来的问题。
- 具备扎实的实验设计和统计分析能力，熟悉评测集构建、LLM-as-Judge、人工评估及线上实验，能够设计可信的评估方案，并解释结论的不确定性与适用范围。
- 具备方向规划与跨团队推动能力，能够从用户需求中抽象技术问题，制定优先级，推动算法、工程、数据与产品团队形成共同目标并交付结果。
- 具备技术团队建设或重大项目牵引经验，既能把握整体技术路线，也能深入关键算法、数据和工程问题。
