岗位职责
-负责代码能力评测集的设计、构建与持续迭代,覆盖代码生成、代码补全、Bug 修复、重构、多文件编辑、仓库级任务等场景;设计科学的评测指标体系(如 pass@k、单元测试通过率、修复成功率、任务完成率、成本与步数效率等),保证评测结果可靠、可复现、可对比;建立评测数据的采集、清洗、标注与版本管理规范,防范数据污染与过拟合,确保评测集与真实开发者场景对齐 -对模型与 Agent 在代码任务中的推理轨迹、工具调用链、多轮交互日志进行量化分析与归因;识别典型失败模式(如上下文丢失、工具误用、循环规划、错误修复不彻底等),输出结构化分析报告与改进建议;通过大规模日志分析,驱动模型能力、数据构建和产品功能(上下文管理、Agent 编排、长任务执行)的优先级决策 -与工程团队协作建设自动化评测流水线、榜单与可视化看板,提升评测吞吐与结果透明度;建立评测结果与业务指标(用户采纳率、任务完成率、留存)之间的关联分析 -跟踪 SWE-bench、LiveCodeBench、Terminal-Bench、Aider Polyglot 等主流代码评测基准的前沿进展,评估引入价值并本地化落地;参与内外部评测标准与报告的制定,产出有影响力的评测结论
职位要求
-有过coding大模型相关数据策略经历和背景,对coding大模型任务的数据构造评估有了解 -有过计算机和大模型专业背景的优先考虑,也欢迎算法、策略等工程技术岗位相关工作背景同学 -具备较强的coding大模型任务组织、拆解、协调能力 -具有良好的沟通表达能力,能够抓住重点,owner意识强,对负责模块的效果把控具有主动性 -踏实、心细、抗压能力和执行力强