岗位职责
- 负责基于 vLLM、SGLang 等技术的大模型推理框架的开发工作，包括但不限于设计和实现高效的推理引擎架构，优化推理过程中的计算流程，提高推理性能，以满足不同规模大模型的实时推理需求；
- 复杂大模型框架性能评估和调优工作，构建并完善性能监控体系，通过实时监测训练指标，定位性能瓶颈，提出优化方案，确保在不同硬件上达到最优性能；
- 负责Cuda Kernel优化，开发高性能的GPU算子, 提升大模型推理性能。
职位要求
- 硕士及以上学历，计算机、软件工程、数学等相关专业，具备扎实计算机理论基础和丰富编程经验；
- 熟悉 C++ / Python，掌握至少一种深度学习框架（如 PyTorch），理解Transformer系统深度学习原理算法；
- 熟悉 GPU 和其他加速硬件的使用，有基本的性能调优经验，有FastTransformer、CUDA优化、TensorRT、Triton经验优先；
- 熟悉大模型推理框架的基本原理和流程，了解 vLLM、SGLang 等大模型推理框架的核心技术和实现优先；
- 有良好团队协作与沟通能力，有强烈的上进心和自我驱动，学习适应能力强，乐观自信，能挑战自我不断追求卓越。
