岗位职责
参与下一代大模型 RL Systems 的研究与研发，覆盖训练、推理、Rollout、环境执行和评测等环节。除了现有训练系统的建设与优化，我们也希望探索新的系统架构与训练机制，解决 Agentic RL 等新型训练范式带来的问题。
- 参与下一代 RL Systems 的架构设计与核心模块开发，建设高性能、可扩展的训练、推理、Rollout 和任务调度系统；
- 研究同步、异步 RL 架构，探索 Partial Rollout、Policy Staleness Control、训推协同等机制，解决长尾采样、资源利用率和训练效率问题；
- 建设通用 Training Harness 和执行环境，支持不同模型、Agent 框架及任务环境的接入，实现多轮交互、轨迹采集、状态管理等能力；
- 研究 Checkpoint & Restore、State Fork、Replay 等技术，探索其在长程任务、Tree Rollout、多分支采样和新型训练机制中的应用；
- 探索 Recursive Self-Improvement（RSI）和 Harness Evolution，研究基于轨迹分析、失败诊断、自动实验和评测反馈的模型、Agent 及训练系统自我改进机制；
- 跟进 RL、AI Systems、RSI 等领域的前沿研究，不局限于复现现有方法，尝试提出新的系统设计和优化方案，通过原型开发、实验评测验证其可行性和实际收益；
- 参与团队训练基础设施的开源建设，包括核心功能研发、架构设计、社区协作，以及相关技术报告和研究成果发布。
职位要求
- 熟练掌握 Python、PyTorch，熟悉 Linux、Git、Docker 等工具，有实际工程项目经验，能够独立完成模块设计、开发、测试和复杂问题排查；
- 理解 LLM 训练及强化学习流程，熟悉 PPO、GRPO 等算法，理解 Rollout、Reward、Policy Update、On-policy / Off-policy 等核心概念；
- 有 LLM Training、Agentic RL 或相关项目经验，使用或研究过 Slime、verl、OpenRLHF、TRL 等主流训练框架，理解其核心架构和数据流；
- 熟悉异步编程和分布式系统，了解 Ray 等分布式执行框架，有任务调度、并发执行或分布式服务的实践经验；
- 熟悉主流 Agent 框架的运行机制，有 Coding Agent、Search Agent 或其他工具调用型 Agent 的开发、改造或调试经验；
- 具备良好的 Vibe Coding 能力和 Engineering Taste，熟练使用 Claude Code、Codex 等 AI Coding 工具，能够独立进行系统设计、Code Review、Debugging 和测试，对代码质量和架构设计有自己的判断；
- 具备较强的 Research Sense，能够从实际问题中发现现有方案的局限，独立调研、提出技术假设、设计实验并分析结果，有能力将新的研究想法转化为可验证的系统实现。 【加分项】
- 深入研究或二次开发过 Slime、verl、OpenRLHF 等 RL 框架，熟悉异步 RL、Partial Rollout、Policy Staleness 等机制；
- 熟悉 Ray、SGLang、vLLM、Megatron 等训练、推理或分布式执行框架，有相关性能优化经验；
- 有 Agent Harness、Sandbox、Checkpoint & Restore、Tree Rollout、RSI 等相关项目或研究经历；
- 有高质量开源贡献、独立技术项目或有代表性的研究成果，具备从技术想法到完整系统实现的经验。
