岗位职责
- Agent Benchmark 与评测标准建设 - 建立面向 AI Agent 的评测指标体系，覆盖任务完成率、答案质量、工具调用、可靠性、响应效率与成本等维度。 - 设计标准化评测 Case，定义 Query、Context、Rubric、难度、Domain 等规范。 - 构建覆盖真实用户场景的评测集体系，包括核心集、固定集、演化集、压力集等，持续提升评测覆盖度与区分度。
- 自动化评测产品建设 - 负责 Agent 评测平台的产品规划与设计，支持评测集管理、评测任务运行、自动评分、实验对比和结果分析。 - 探索 LLM-as-a-Judge、规则评测、人工评测等多种方式，提升自动评测准确性、一致性与效率。 - 支持不同模型、Prompt、工具策略及 Agent 版本的横向对比和效果回归。
- 评测分析与问题归因 - 建立从整体指标到单条 Case 的多层次分析能力，识别 Agent 在意图理解、上下文利用、工具使用、任务执行等环节的问题。 - 结合 Agent Trace、工具调用日志和中间推理状态，推动失败分类、问题聚类及自动归因。 - 将评测结果转化为可执行的优化建议，帮助研发团队快速定位和解决问题。
- Agent 持续优化闭环 - 建立评测驱动的研发迭代流程，支持问题发现、修复验证、回归测试与版本质量准入。 - 探索线上真实请求采样、评测集自动演化、影子评测等机制，持续发现新问题。 - 推动评测体系与 Agent 开发平台、Harness 及发布流程集成，支撑 Agent 持续优化。
- 业务评测落地 - 与算法、工程及业务团队协作，将统一评测能力应用于地图智能体全场景。 - 推动不同业务建立可复用的评测标准，持续跟踪核心指标及优化收益。
职位要求
- 本科及以上学历，计算机、人工智能、数学或相关专业优先，3 年以上互联网或 AI 产品相关经验。
- 熟悉大语言模型及 Agent 基本原理，理解 Prompt、RAG、Tool Calling、Memory、Agent Workflow 等关键技术。
- 具备较强的产品设计与系统化思考能力，能够将复杂的评测流程抽象为标准化、可复用的平台能力。
- 具备较强的数据分析能力，能够独立设计评测指标、分析实验结果、识别问题并推动改进。
- 具备良好的技术理解力，能够与算法、工程团队深入讨论 Agent 执行链路、评测方法及效果优化。
- 具备较强的主动性和结果导向，能够独立推进跨团队复杂项目。 加分项： - 有 LLM Evaluation、Agent Benchmark、模型评测平台等相关产品经验。 - 熟悉 RAGAS、DeepEval、LangSmith、Langfuse、OpenAI Evals 等评测框架或产品。 - 有 LLM-as-a-Judge、自动归因、评测数据合成、评测集演化等实践经验。 - 有 AI Agent、搜索推荐、对话系统或自动化测试平台相关经验。 - 具备 SQL、Python 等基础数据处理能力，能独立开展评测分析或快速验证产品方案。 我们期待你： 不仅能够回答“Agent 现在表现怎么样”，更能回答： - “哪里做得不好？” 能否通过评测体系准确识别问题？ - “为什么做得不好？” 能否定位到具体能力、组件或执行环节？ - “怎样让它持续变好？”能否推动 Agent 的优化、回归与质量提升？ 我们希望你能把评测从一次性的测试工作，建设为驱动 AI Agent 持续进化的核心产品能力。
