岗位职责
● 参与大模型推理框架的设计与研发，支持业界开源、蚂蚁内部大模型以及多模态模型的高效推理。 ● 开展端到端性能分析与优化，覆盖推理调度、并行策略、KV Cache、量化、算子优化等，持续改善吞吐、时延和资源利用率。 ● 参与在线推理服务框架的设计与演进，建设模型部署、服务编排、流量治理和多模型、多模态服务能力。 ● 设计并优化在线请求调度、RPC 通信和端到端数据通路，在高并发和强 SLA 场景下平衡吞吐、时延与资源隔离。 ● 建设推理服务的可观测行和容错能力，完善监控、诊断、限流、降级与故障恢复机制，提高系统稳定性和工程质量。 ● 跟进 SGLang、vLLM、TensorRT-LLM、FlashInfer、Triton Inference Server 等推理框架和基础组件，推动先进方案在内部系统及开源社区落地。
职位要求
● 计算机基础扎实，熟悉 Linux 环境下的系统开发、性能分析和问题定位。 ● 熟练使用 Python，并掌握 C++/Rust 等高性能编程语言，能够完成生产级系统的设计、开发和维护。 ● 在大模型推理框架或高性能在线服务至少一个方向具备扎实的实践经验：熟悉 SGLang、vLLM、TensorRT-LLM 等推理框架，或具备高并发服务端、异步编程、RPC、请求调度等系统开发经验；对另一个方向有基本理解，并愿意深入完整的推理系统链路。 ● 理解大模型推理的基本机制，包括 Batching、KV Cache、并行策略、请求调度和分布式通信等，能够从端到端视角分析系统问题。 ● 自驱、结果导向，具备良好的协作和沟通能力，能够将技术方案落地为稳定、可维护的工程产物。 加分项 ● 有大规模在线推理系统的建设或优化经验，熟悉 Triton Inference Server、NVIDIA Dynamo、Ray Serve、Seldon 等推理服务或编排框架。 ● 参与过 SGLang、vLLM、Triton Inference Server 等相关开源项目。 ● 理解 GPU 或其他 AI 加速芯片架构，熟悉 CUDA、Triton、CUTLASS 、NCCL，或具备算子、图编译及代码生成相关经验。 ● 有多机多卡推理、PD 分离、量化、投机采样或多模态推理的落地经验。
