岗位职责
负责面向 Code Agent 的强化学习基础设施研发与创新，推动训练平台从传统 Post-Training 向长程交互、复杂工程任务和 Agent 持续进化演进。围绕弹性训练引擎、白盒 Agent Runtime、原生百万上下文 RL 及大规模多任务混训，构建覆盖任务生成、Rollout、Reward、Training 与独立评测的完整闭环，在千卡/万卡集群上持续提升训练效率、稳定性与模型能力。
- 研发弹性 RL 训练引擎。 基于 Gyre、verl、SGLang 等训练与推理框架，构建面向 Agent 训练的统一调度体系，将 Student Rollout、Teacher 推理与 Training 纳入动态资源调度和角色切换机制，支持 RL 与 OPD 工作流，减少 GPU 空闲，提升端到端训练效率。
- 构建面向 RL 的白盒 Agent Runtime。支持长程代码任务、多轮交互与动态需求，将系统提示词、工具、上下文、记忆和终止策略模块化。建设统一轨迹协议，完整记录模型输入输出、logprob、策略版本与工具结果，准确区分生成 token 和工具观测的训练 mask，支持轨迹重放、奖励复算和失败归因。
- 攻克原生百万上下文 RL 的系统瓶颈。围绕长轨迹采样、logprob 计算和反向训练，优化显存、通信与计算开销，探索选择性重计算、Activation Offload、树结构轨迹复用、紧凑数据协议及计算通信重叠等方案，将长上下文能力转化为实际任务收益。
- 建设超大规模多任务混训流水线。面向超大规模多任务混训场景，解决不同任务在上下文长度、Rollout 耗时和资源需求上的差异，优化长尾请求调度、训练组批、策略版本追踪与滞后控制。结合低比特权重、KV Cache 量化与投机解码提升推理并发，并通过数据版本、采样配额和混合比例管理，保障各类能力的训练覆盖。
- 构建可验证的数据、奖励与评测闭环。建设统一、可组合的 Reward 系统，支持代码测试、规则检查、Reward Model 与成本惩罚，组合 Step-level 和 Trajectory-level 奖励。围绕真实基础设施的 Debug、功能开发和性能优化任务，完善可复现环境、独立评测与失败反馈机制，推动高质量任务和训练数据持续迭代，监控并抑制 Reward Hacking。
- 提升大规模训练的容错与持续运行能力。 基于独立资源单元和控制面，建设故障隔离、请求与状态迁移、节点动态加入与驱逐、Checkpoint 和弹性恢复机制，降低 GPU、通信、OOM 等故障的影响，支撑长周期混训任务稳定运行，持续优化有效训练时间与集群资源利用率。
职位要求
- 熟悉大模型强化学习训练流程，对 PPO、GRPO 等算法及 Rollout–Reward–Update 闭环有深入理解，能够分析采样分布、策略滞后、奖励设计与训练稳定性之间的关系。
- 深入理解 LLM 训练与推理原理，包括反向传播、梯度累积、混合精度、KV Cache、长序列训练和显存开销；熟悉 Megatron-LM、DeepSpeed、FSDP、SGLang、vLLM、verl 等框架中的一种或多种，并有核心模块开发或优化经验。
- 具备扎实的高性能计算与分布式系统能力，在 CUDA Kernel、NCCL 通信、并行策略、显存管理、Offload、计算通信重叠或异步流水线等方向有深入实践，能够通过 Profiling 定位瓶颈并验证优化收益。
- 理解 Agent 的执行与训练机制，熟悉工具调用、多轮交互、上下文管理和轨迹采集，能够处理长程任务中的训练 mask、策略版本、奖励对齐和执行环境复现问题。
- 具备复杂分布式系统的研发和排障能力，理解异构资源调度、长尾负载、故障隔离、弹性扩缩容及 Checkpoint 机制，有大规模训练或推理系统稳定性建设经验。
- 具备严谨的实验与工程验证意识，能够围绕正确性、吞吐、延迟、显存和成本建立可复现的评测；学习主动，善于跨团队协作，能够推动复杂问题从定位、方案设计到落地验证。 加分项 - 有 OPD、Teacher–Student 弹性调度、训推资源复用或大规模异步 RL 实践经验。 - 有百万 token 上下文训练、树结构轨迹复用、KV Cache 量化、投机解码或长尾推理调度经验。 - 有 Code Agent 白盒 Harness、沙箱执行环境、可验证奖励、基础设施评测集或 Reward Hacking 治理经验。 - 有千卡/万卡集群、长周期混训、在线故障恢复经验，或相关开源项目的核心贡献。
