岗位职责
- 负责实现和优化大模型分布式训练以及在线推理系统，提升训练效率和推理性能，包括不限于：架构设计、算子开发、数据处理加速、Checkpoint保存与加载、通信优化等；
- 研究和优化大规模异构加速集群调度、存储、通信互联、监控、Profiling等组件，提升整体硬件利用效率；
- 研究并实现各种模型并行策略（DP/TP/PP/EP/CP）、混合精度、Zero、FSDP、MOE、FP8等技术，加速模型训练，优化显存开销；
- 设计和开发高效的离线、在线推理系统，优化TensorRT-LLM、ONNX-Runtime、vLLM等推理框架，加速整体推理性能；
职位要求
- 本科及以上学历，具有扎实的计算机基础，熟悉操作系统和网络，熟悉C/C++和Python编程语言，对数据结构&算法设计有较深刻的理解；
- 熟悉至少一种主流的深度学习框架，如Tensorflow或Pytorch；熟悉至少一种主流的模型推理框架，如TensorRT-LLM；
- 熟悉CUDA编程，掌握TensorRT、Cutlass、cuDNN等加速库，有内核级优化经验者优先；
- 具备大型分布式系统开发经验，熟悉MPI、NCCL、Megatron-LM、Deepspeed、FSDP等相关技术；
- 责任心强，思路清晰，技术视野开阔，对业界新技术敏感，喜欢钻研，具有良好的学习能力并注重团队合作； 加分项
- 有大规模的大模型训练和推理优化经验者优先；
- 熟悉算子开发，有算子优化（如CUDA/Triton）经验者优先；
- 熟悉大模型算法设计，熟悉Transformer架构及其优化方法（如FlashAttention、PagedAttention）者优先；
- 了解Kubernetes以及分布式存储，有相关开发经验者优先；
- 有大型互联网系统（如搜索、推荐、广告）开发经验者优先；
- 有发表OSDI/MLSys等顶会论文，或ACM/ICPC等编程比赛获奖经历者优先；
