岗位职责
- Benchmark 体系设计与构建：针对 Coding Agent 场景（代码理解、代码生成、代码重构、Spec Coding、代码 Review、Bug 修复等），设计多维度、多粒度、支持多轮对话的评测基准，覆盖端到端任务完成度、代码质量、工具调用准确性、推理链路合理性等核心指标；
- 评测数据集建设：构建并持续维护高质量评测数据集（Golden Dataset），设计覆盖不同语言、不同复杂度、不同工程场景的测试用例，确保数据集的区分度和代表性；
- 自动化评测平台开发：搭建自动化评测 Pipeline，支持多模型/多 Agent 的批量评测、结果对比与回归检测，实现评测流程的标准化和可复现；
- 竞品对标分析：跟踪业界主流 Coding Agent 产品（如 Claude Code、Codex、Cursor、Copilot等）以及 Benchmark（SWE-Bench、HumanEval、Terminal-Bench、OctoCodingBench、WildClawBench、GAIA、WebArena、AgentBench、ToolBench 等），完成专项对比评测并输出分析报告；
- 评测方法论研究：探索 LLM-as-Judge、对抗性测试、人机混合评估等前沿评测方法，持续迭代评测体系的科学性和有效性；
- 结果可视化与洞察输出：开发评测报告自动生成能力，提供可视化的评测看板，将评测结论转化为可落地的产品优化建议。
职位要求
- 本科及以上学历，计算机科学、软件工程、人工智能等相关专业；
- 3-5 年相关工作经验，有 Agent/LLM Benchmark 构建经验者优先；
- 熟练掌握 Python 和 TypeScript，具备扎实的工程开发能力，能独立完成评测工具链的设计与开发；
- 对 Coding Agent 的工作范式有深入理解（规划-执行-反思循环、工具调用机制、多步推理等），是 Claude Code/ Codex / Cursor / Copilot 等 AI 编程工具的重度用户；
- 熟悉主流 Agent 评测框架或 Benchmark（SWE-Bench、HumanEval、Terminal-Bench、OctoCodingBench、WildClawBench、GAIA、WebArena、AgentBench、ToolBench 等）中的至少3种；
- 具备较强的数据分析和结构化拆解能力，能从评测数据中提炼有效洞察；
- 良好的文档撰写和跨团队协作能力，能清晰表达评测结论和改进方案。 加分项
- 有评测数据标注流程与质量控制方法论经验；
- 熟悉 LangSmith、LangFuse 等 LLM 可观测性工具，能追踪 Agent 全链路执行日志；
- 有自动化测试框架开发经验，熟悉 CI/CD 流程集成；
- 在相关领域有论文发表或开源项目贡献。
