岗位职责
-模型推理性能优化：负责生成式 AI 模型的推理性能优化，涵盖 LLM、Diffusion、视频生成、数字人等模型，持续提升推理吞吐、降低延迟及计算成本 -推理框架优化：深入研究和优化主流推理框架，包括 TensorRT、ONNX Runtime、PyTorch、vLLM 等，结合业务场景进行定制化优化 -算子与计算优化：针对模型计算瓶颈，开展算子融合、计算图优化、显存管理、访存优化、并行计算等工作，必要时基于 CUDA、Triton 等开发高性能算子 -模型压缩与加速：探索并落地量化、蒸馏、剪枝、低精度计算等技术，在保证模型效果的前提下提升推理效率 -异构计算与部署优化：探索 GPU、CPU 及其他计算硬件的推理优化方案，针对不同模型和业务负载选择高性价比的计算架构 -端到端推理系统优化：结合实时交互、视频生成等业务需求，从模型结构、推理引擎到服务架构开展协同优化，实现推理成本和性能的持续突破
职位要求
-计算机、电子工程、数学等相关专业本科及以上学历，具备扎实的计算机体系结构、操作系统和并行计算基础 -熟悉深度学习模型的计算原理，对 Transformer、CNN、Diffusion 等模型结构及其计算特征有深入理解 -熟悉至少一种主流推理框架，如 TensorRT、ONNX Runtime、vLLM、TensorRT-LLM 等，具备实际性能优化经验 -熟练掌握 C/C++、Python，熟悉 CUDA、Triton 等 GPU 编程技术，有高性能算子开发或优化经验者优先 -熟悉模型性能分析方法和工具，能够通过 Profiling 定位计算、访存、通信等性能瓶颈，并提出有效的优化方案 -具备较强的工程实现能力和技术钻研精神，能够深入模型和底层计算细节，推动复杂优化方案落地
