岗位职责
- 深度使用主流Code/Work类Agent产品完成真实的长程任务,通过多轮交互、工具调用和结果验证,系统分析Agent在多步规划、指令跟随、上下文管理、信息缺失处理和执行中的纠错恢复等方面的能力短板与失败模式;
- 针对规划、工具调用、多轮交互、指令跟随等核心能力,构建覆盖不同场景、难度和异常情况的长程任务与边界用例;明确任务输入、运行条件和验收标准,通过可复现的评测与重复实验,识别不同Agent/模型的能力差异,结合业界技术进展与真实用户需求,持续迭代评测集与标准;
- 从准确性、完整性、约束满足度和实际可用性等维度评估交付物,结合Rubric设计、程序化校验、人工评测和LLM-as-Judge,持续校准评分标准、验证评分一致性,提升评测结果的可靠性;
- 基于执行轨迹定位失败环节,区分模型能力、Agent策略、工具接口及运行环境等因素,输出清晰的评测结论和优化建议;将典型失败模式沉淀为新的评测用例和改进数据,协同研发、算法团队推动修复,并通过回归评测验证效果。
职位要求
- 重度使用过Claude Code、Codex等主流Code或Work类Agent产品,能独立完成复杂开发、文档处理、数据分析或研究等真实任务,对Agent的能力边界、使用体验和交付质量有自己的理解与判断;
- 主导或深度参与过Code或Work类Agent的评测,熟悉Rubric设计、人工评测和LLM-as-Judge,理解评测偏差和随机波动对结论的影响,能将开放式任务转化为可执行的评测方案与评分标准;
- 熟练掌握Python,能独立编写数据处理、评测脚本和结果分析工具,具备基本的统计分析和实验设计能力;
- 自驱力强,能独立发现问题、定义问题并推动解决;逻辑清晰、表达准确,善于跨团队协作,能够将评测发现转化为具体的改进建议。