岗位职责
- 负责AI Native型产品（模型、智能体系统、PA产品）的评测体系规划与搭建，包括评测维度定义、评测指标体系设计、评测标准制定（涵盖意图理解、任务规划、工具调用、多轮对话、记忆能力、安全合规等核心能力）；
- 针对不同业务场景（如金融、出行、酒旅、电商等），设计场景化的评测方案与测试用例集，建立覆盖功能、性能、体验、安全多层面的综合评测框架；
- 负责AgentCoding代码评测，设计代码质量评测体系——涵盖需求理解准确性、代码功能正确性、可读性、可维护性、安全性及与产品需求的一致性等维度；建立“自动化测试 + LLM-as-a-Judge + 人工评审”混合评测流程；
- 建立面向评测的多智能体系统，参与或主导AI评测平台的规划建设，推动评测流程的自动化、标准化、可视化。搭建面向业务持续迭代优化的评测workflow；
- 与业务、算法、产品、工程团队紧密协作，将评测发现转化为可执行的优化方向，跟踪迭代效果形成闭环；
- 沉淀评测方法论与最佳实践，提升团队整体评测意识与能力。持续跟踪行业前沿评测方法和评测技术，结合业务需求进行本地化适配与创新。
职位要求
- 硕士及以上学历，计算机科学、人工智能、自然语言处理、统计学、数学等相关专业优先；
- 4年及以上工作经验，有大模型领域相关工作经验，至少2年以上AI产品评测或质量保障经验。有大规模LLM/Agent评测项目经验者优先；
- 深入理解大模型（LLM、VLM）的基本原理、能力边界与典型缺陷（如幻觉、推理错误、安全风险等）；熟悉智能体（Agent）核心技术栈，包括ReAct/Plan-and-Execute等推理范式、工具调用（Function Calling）、RAG、多智能体协作等；
- 了解主流LLM评测基准与方法及自动化评测技术。精通评测指标设计、采样方法、显著性检验、评测结果统计分析等；具备从业务目标出发抽象评测维度、设计可量化指标体系的能力；
- 熟练掌握Python，能独立编写评测脚本、数据处理与分析代码；熟悉至少一种评测/数据工具链；具备SQL数据处理能力；
- 具有用户视角，具有良好的用户体验感知力；良好的业务理解力，讲业务目标和用户价值转化为评测维度和度量指标；良好的沟通协作能力以及自驱力；
- 有深度参与/主导AI评测平台或评测体系0到1建设经验者优先；有AI评测相关论文或开源项目者优先。
