岗位职责
基于多种异构芯片,GPGPU/NPU/XPU等,协同算法和业务团队,主导分布式异构推理系统的开发设计与落地实现,聚焦低延时、高吞吐目标,使能多种异构芯片算力和攻克大规模推理系统工程化落地关键技术,主要包括;
- 模型适配:针对业界主流(如DeepSeek,Qwenxilie)和自研大模型进行多芯片适配;
- 精度调优:解决适配过程中模块和端到端精度异常现象;
- 系统性能调优:针对推理全链路进行性能Profiling剖析,确保关键算子、系统调度等状态,并通过系统工程优化等手段实现最优性能目标;
- 推理框架/引擎架构优化:针对多芯片架构关键特性,在推理框架层面进行专项优化,确保最优效果;
- 核心算子开发/调优:针对推理关键算子和场景,结合多种芯片微架构、硬件特点,进行针对性优化,提升底层计算/通信效率。
职位要求
- 熟练掌握C/C++、Python编程语言,具备良好的coding和调试能力,具备计算机体系架构功底和大型分布式系统开发调优经验优先;
- 熟悉和调优NVIDIA GPU和各种AI芯片至少一种,包括AMD、海光/摩尔/沐曦/ GPGPU架构、Ascend、寒武纪、昆仑芯等,两种以上优先;
- 熟悉和调优GPU和各种AI芯片底层算子编程方式至少一种,包括CUDA、Triton、TileLang、AscendC、BangC等,两种以上优先;
- 精通和具备vllm/sglang 等推理引擎深度实践经验,参与过基于上述引擎的大模型推理系统定制化开发与性能调优;精通推理引擎底层优化技术;
- 熟悉和了解业界主流大模型如DeepSeek、Qwen系列模型结构,常见切分方式,有针对性的分布式推理调优原理分析和实践经验优先;
- 熟悉和了解模型适配异构芯片的流程,具备适配经验,有端到端完成模型推理适配,精度/性能调优者优先;
- 熟悉和了解集合通信原理和常见互联形态,如NCCL、NVLink、RoCE等;
- 针对大EP通算融合算子Dispatch/Combine 开发调优者优先;
- 针对关键算子,Attention MLA/GQA/, Sparse Attention DSA, Linear Attetnion等,GEMM/Group GEMM,有深入分析和最佳优化实践者优先;
- 熟悉和了解PD分离架构,有异构PD分离实践经验优先。