岗位职责
- 主导大模型训练引擎与训练框架的核心架构设计，定义关键技术路线和长期演进方向；
- 建设覆盖 CPT、SFT、RL、MoE、长上下文及多模态训练的统一训练体系；
- 设计和优化数据并行、张量并行、流水并行、序列并行、专家并行及多维混合并行策略；
- 面向万卡级集群，系统优化计算、通信、显存、存储和网络效率，持续提升端到端训练性能与扩展效率；
- 建设 Checkpoint、断点续训、故障恢复、弹性训练、精度保障、性能分析和可观测体系，提升长周期训练任务的可靠性；
- 推动训练框架、编译器、通信库、算子与多种 AI 芯片之间的深度协同；
- 与模型算法团队共同开展 Algorithm-System Co-design，支持新模型结构、新训练算法和新型并行范式快速落地；
- 识别并解决跨模型、框架、系统和硬件层的关键瓶颈，沉淀可复用的架构、标准与方法论；
- 发挥技术影响力，牵引复杂项目落地，并推动团队在训练系统核心方向形成长期能力。
职位要求
- 具备扎实的计算机系统基础，在分布式系统、高性能计算、机器学习系统或计算机体系结构等方向有深入积累；
- 精通 Python、C++ 中至少一种语言，具备复杂系统架构设计和核心模块研发能力；
- 深入理解 PyTorch 运行机制，对自动微分、计算图、分布式通信、并行训练和显存管理有系统认识；
- 深入理解 Megatron-LM、FSDP、DeepSpeed、verl 等训练框架中的一种或多种，能够分析其核心架构与性能边界；
- 熟悉大规模分布式训练中的通信、计算、显存和存储瓶颈，能够完成跨层性能分析与优化；
- 熟悉 NCCL/HCCL、RDMA、集合通信算法、通信计算重叠或大规模网络拓扑；
- 具备复杂技术问题的抽象能力，能够从局部现象识别系统性根因，并形成可演进的解决方案；
- 具备较强的技术判断力和推动力，能够主导关键技术方向并协调多团队完成复杂系统建设。 加分项：
- 主导或深度参与过百亿、千亿参数模型的预训练、后训练或强化学习训练系统建设；
- 具备数百卡、千卡及以上规模的分布式训练实践；
- 在 MoE、长上下文、多模态、Agentic RL 或新型模型架构方向有系统经验；
- 具备 CUDA、Triton、CANN、算子开发、编译优化或性能建模经验；
- 具备异构芯片适配、跨硬件精度对齐或大规模训练稳定性建设经验；
- 在训练框架、分布式系统、高性能计算相关开源项目中有核心贡献；
- 有从技术方向规划、核心架构设计到规模化生产落地的完整经验。
