岗位职责
- 负责 AI 计算系统集合通信库的设计、实现与维护:覆盖 AllReduce / AllGather / ReduceScatter / AlltoAll / AlltoAllV 及点对点通信,适配不同规模与拓扑的集群。
- 面向训练场景做通信优化:分析 DP / TP / PP / EP 各并行维度的通信 pattern,做计算通信 overlap、通信与算子融合、拓扑感知的算法选择与调参。
- 面向推理场景做通信优化:MoE 的 EP dispatch / combine、PD 分离下的 KV Cache 传输,与主流推理框架(vLLM / SGLang / TensorRT-LLM)做联合方案设计与端到端性能优化,追求极致推理性能。
- 负责通信库与网络、网卡的协同:在 RoCEv2 / InfiniBand 以及机内互联(NVLink / 自研 scale-up)上做传输路径选型、拥塞控制与多路径调优,并与网络团队联合定位通信侧问题。
- 建设通信库的测试、benchmark、可观测与交付能力:集合通信微基准、真实模型作业回放、线上问题定位、版本交付与支持。
- 跟踪训练 / 推理前沿技术发展与通信 pattern 演进,形成对通信库与网络架构的优化方向判断。
职位要求
- 精通 C++ 编程,熟悉 Python,具备扎实的系统开发、调试与性能优化能力和经验;
- 有集合通信库(NCCL / DeepEP / 自研通信库)开发经验或分布式并行训练 / 推理优化经验;熟悉 Ring / Tree / NVLS 等集合通信算法与性能模型者优先。
- 熟悉 GPU 体系结构与 CUDA 开发,有 kernel 或融合算子开发优化经验者优先。
- 熟悉 RoCEv2 / InfiniBand 等高性能网络协议,了解 NVLink / Infinity Fabric 等机内互联技术,有 RDMA 编程经验者优先。
- 了解主流模型架构与常见推理框架(vLLM / SGLang / TensorRT-LLM),能读懂上层框架的通信调用方式。
- 具备较强的分析问题、解决问题能力和沟通推动能力,能独立负责一个技术方向并推动落地。