岗位职责
- 基于bad case和训练反馈，从轨迹中归纳总结Error Taxonomy，建立失败模式分类体系，将分析结论转化为数据策略调整（任务难度、Reward 信号修正、标注规范更新），形成"模型反馈 → 分析洞察 → 数据优化 → 模型提升"飞轮。
- 负责数据策略分析。结合SFT、RL各阶段的不同需求，分析数据配比、任务类型、难度分布和能力覆盖对模型效果的影响。据此指导数据合成、拒绝采样、难度筛选以及环境和任务合成的方向。
- 负责Code/Agent等方向数据的质量评估体系建设，覆盖代码修复、终端/工具调用、GUI操作、多轮交互等场景。构建质量分级、质量分析和质量评估的标准化能力，并将"数据质量 → 训练收益"量化为可追踪的链路。
- 建设轨迹数据的自动化分析Pipeline。综合使用执行验证（单测、沙箱运行）、规则校验和LLM-as-Judge/奖励模型，做到step级问题定位。
- 建设轨迹数据的标签体系和分析工具/平台能力，利用轨迹语义检索等能力支持标签加工生产和质量检测评估
- 协同算法团队闭环：与模型训练/RL算法团队紧密配合，对接Reward/Grader需求, 将模型效果反馈翻译为数据改进策略。
职位要求
- 熟练的编程能力，能独立完成数据分析脚本、pipeline开发和自动化工具搭建
- 了解Agent 轨迹（多轮工具调用、代码执行、搜索检索等），理解Agentic系统的行为模式和失败模式
- 了解RM模型原理，理解Reward信息设计对RL训练（PPO/GRPO/DAPO 等）的影响
- 熟悉大规模数据分析与可视化方法，具备大规模数据质量建模等经验
- 优秀的书面表达和文档能力，能撰写清晰的Rubric规范和技术方案
- 具备较强的学术研究和行业研究与信息检索能力
