岗位职责
负责大模型及长程 Agent 的后训练算法研究与落地,通过高质量数据、SFT、强化学习和蒸馏等方法,持续提升模型的推理、工具使用和复杂任务解决能力。
- 探索并落地 SFT、RL、On-Policy Distillation、MOPD 等后训练算法;
- 设计长程 Agent 数据构造流程,包括任务生成、环境搭建、工具交互、轨迹采集、清洗过滤、难度分层和数据配比;
- 研究多轮、长轨迹及稀疏奖励场景下的 Credit Assignment、Reward Design 和训练稳定性;
- 建设 Coding、Work、Research 等 Agent 场景的 Reward、Verifier 与自动化评测体系;
- 开展基座模型能力增强与多能力融合,降低后训练过程中的能力遗忘、Reward Hacking 和模式坍缩;
- 通过系统化实验分析数据、算法、模型和训练配置对最终效果的影响,并推动算法在大规模训练中落地。
职位要求
- 熟练掌握 Python、PyTorch,深入理解 Transformer、语言模型训练目标及大模型后训练流程;
- 具备 SFT、RL 或模型蒸馏的实践经验,能够独立完成算法实现、训练实验和效果分析;
- 熟悉 PPO、GRPO、GSPO 等强化学习算法中的一种或多种,理解 Policy、Reward、Advantage、KL 和 On-policy 等核心概念;
- 理解 On-Policy Distillation、多教师蒸馏及能力融合的基本方法;
- 具备较强的数据能力,能够设计数据构造、质量过滤、难度分层、数据配比和 Curriculum Learning 方案;
- 理解 Agent 多轮交互、工具调用、长程任务和环境反馈,能够将完整 Agent 轨迹转化为有效训练信号;
- 具备良好的实验设计与问题分析能力,能够定位数据、算法或训练配置导致的效果问题;
- 关注大模型与 Agent 前沿研究,具备快速复现并验证新方法的能力。
- 加分项:有强基模经验、或知名research工作或开源工作核心贡献者优先。