岗位职责
- 负责大模型分布式训练与推理框架的研发和性能优化，持续提升训练效率、推理吞吐、资源利用率及系统稳定性；
- 与算法团队紧密协作，针对新模型结构（Dense/MoE等）提供框架层面的支持与适配，支撑算法高效迭代与算力高效利用；
- 建设推理服务的可观测性与容错能力，完善监控、诊断、限流、降级与故障恢复机制，保障线上服务 SLA；
- 调研、评估并推动 SGLang、vLLM、TensorRT-LLM、FlashInfer、Triton Inference Server 等前沿推理框架及优化技术在内部落地；
- 参与GPU/异构集群的资源调度与成本优化，提升整体算力利用效率；
职位要求
- 5年及以上 AI Infra、AI 系统、高性能计算或分布式系统相关研发经验；
- 熟悉GPU 体系结构与 CUDA 编程，了解国产加速芯片（昇腾 NPU、平头哥 PPU 等）及配套软件栈者优先；
- 熟悉SGLang、vLLM、TensorRT-LLM 等至少一种主流推理框架，有实际性能优化经验；
- 具备分布式通信（NCCL、RDMA）及 Linux 系统级性能分析能力；
- 良好的工程素养与协作能力，能将技术方案落地为稳定、可维护的工程产物；
