岗位职责
- 负责大语言模型训练框架开发和优化,包括不限于性能分析,高性能算子,计算和通信优化,可观测性等
- 负责大语言模型推理框架开发和优化,包括不限于PD分离,专家并行,高性能算子等
- 负责训练和推理框架团队管理和规划,支持上层大语言和多模态模型的训练和推理
职位要求
- 计算机/电子/数学等相关专业硕士及以上学历, 8年以上计算机相关工作经验,3年以上团队管理经验
- 编程能力 :精通C/C++,熟悉Python,具备扎实的数据结构与算法基础
- GPU与CUDA :熟悉NVIDIA GPU架构及编程模型,掌握CUDA核函数优化、显存管理、多流并发等技术,有实际性能调优经验
- 熟悉PyTorch、Megatron、vLLM/SGLang等深度学习训练和推理框架, 有分布式系统开发经验
- 熟悉常用大语言模型,多模型以及生成模型等算法和架构,参与过大模型训练/推理项目