岗位职责
-负责公司基础大模型和专精大模型从模型权重到线上服务的全链路落地与业务适配，开展模型转换、模型压缩、知识蒸馏、推理适配等工作，完成部署配套算子适配、模型部署验证、精度对齐，保障大模型能力稳定落地业务 -对核心场景、核心模型的推理引擎极致优化，不限于pd分离、KVcache、投机解码、量化压缩、前缀缓存、连续批处理等手段，降低TTFT、持续提升decode吞吐，对超万亿参数模型积累部署推理优化经验；持续为上亿流量产品的大模型部署推理成本优化负责 -负责大模型推理链路全栈工程落地，包含模型权重预处理、自定义算子开发与性能优化、推理调度策略、显存管理；基于英伟达GPU、昆仑芯、昇腾等多硬件平台，定位端到端推理性能瓶颈，优化异构硬件资源利用率，保障线上服务稳定性、时延与吞吐指标 -负责多模态（文本、图像、语音）大模型推理方案设计与落地，构建推理侧评估与验证工具链，对比不同推理框架性能差异，保障线上推理结果精度、一致性；持续跟进SGLang、TensorRT-LLM等前沿推理引擎技术进展，沉淀多硬件平台推理优化方案与技术规范
职位要求
-精通C/C++/Python，有良好的编程习惯和扎实的算法基础，有大模型推理相关框架、工程落地实践经验 -了解前沿AI技术，熟悉大模型Transformer基本原理，熟悉PyTorch，掌握模型量化、KV Cache、投机解码、连续批处理等推理核心技术原理 -具备GPU/国产异构芯片集群性能分析和调优经验、熟悉CUDA编程、自定义算子优化，熟悉主流推理框架（SGLang、TensorRT-LLM等），能够独立分析计算、显存、通信瓶颈 -有线上大模型高并发推理服务落地经验优先，熟悉多模态大模型推理、超大模型分布式推理（张量并行/流水线并行），有昆仑芯、昇腾等国产芯片适配经验优先 -优秀的分析问题和解决问题的能力，沟通能力和团队合作意识强，热爱挑战，自驱力强，能够持续跟进前沿推理技术并落地
