岗位职责
-大语言模型推理引擎优化：面向 TB 级别大规模 MoE 架构，从服务调度、部署策略、并行策略、模型小型化、稀疏化、高性能算子、显存策略等维度进行极致优化。在面向高吞吐和低延迟场景的部署需求下,达到硬件的极限水平,实现极致的成本优势 -多芯推理加速：面向GPU、昆仑、昇腾、AMD等多种异构算力芯片，基于Agent infra构建统一的多芯推理加速方案，做软硬结合的极致优化；支持多芯模型镜像与性价比对，实现前沿模型在多芯上的快速适配与最优性价比落地 -全模态推理引擎研发：面向包括但不限于文本、图片、视频、语音等模态在内的全模态场景,进行架构、算法、策略上的极致优化,构建下一代适用于全模态场景的推理引擎 -高性能算子研发和优化：深入底层硬件,挖掘微架构潜力,针对复杂的计算密集型单体算子和包括但不限于通算融合、存算融合在内的融合算子做极致优化和模式探索,充分释放各种算力芯片的硬件潜能 -先进模型架构设计/算法研究：结合现有模型和真实需求,在包括但不限于低精度、KV 稀疏化以及模型裁剪等领域做算法设计和研究,构建业界领先的 SOTA 算法,具备一定的落地能力 -高效工具链构建：基于现有的 AI 能力及其自进化能力,构建极致高效的 Harness/Loop/Graph 工程,强化推理基建能力,助力研发迭代效率实现数十倍效率提升,挖掘人力有限时间内难以触达的技术边界
职位要求
-对大模型推理引擎或异构计算编程有浓厚的兴趣 -拥有 vLLM、SGLang、TRT-LLM、LM-Deploy 等主流框架的实战或者学习经验,或具备深入的 CUDA/高性能算子开发经历 -有过真实模型部署、优化经验以及大规模服务场景下问题排查经验 -良好的工程素养,良好的团队协作精神 -有昆仑、昇腾、AMD 等国产/异构芯片上的推理适配、算子开发或多芯性能调优经验者优先 -社区参与度:在 vLLM、SGLang、FlashInfer 等开源社区有贡献记录(Contribute/PR)者优先
