岗位职责
在这里，你将深入大模型推理系统的核心腹地，从推理引擎内核、KV Cache存储体系，到模型微调与部署的全链路打通，打造高性能、低成本的推理与定制化交付引擎。
- 参与大模型推理引擎（vLLM/SGLang等）的深度优化与定制化开发，包括Continuous Batching、PD分离、投机采样、低比特量化等核心机制，持续提升推理吞吐与延迟表现；
- 负责KV Cache存储与管理体系建设，包括多级缓存架构（HBM/DRAM/SSD）、Prefix Cache复用、迁移/共享/淘汰策略、分布式KV Cache高效传输；
- 参与多模态大模型的推理与后训练技术建设，包括ViT/DiT等异构结构的推理加速、多模态场景的Cache优化与显存管理、图文/视频数据的微调链路适配；
- 参与大模型后训练与微调系统建设，包括SFT全参微调与参数高效微调（LoRA/QLoRA等）训练链路、数据流水线与效果评估，打通""微调→压缩→部署→推理""闭环，支持Multi-LoRA推理服务；
- 基于线上真实负载持续优化推理链路的性能、稳定性与成本效率，在生产环境实现延迟与吞吐的数量级提升。
职位要求
- 计算机相关专业博士；
- 熟悉vLLM、SGLang、TensorRT-LLM等开源推理引擎的架构与实现，深入理解Continuous Batching、PagedAttention、KV Cache管理、PD分离、量化、投机采样等关键技术；
- 了解大模型微调技术（SFT、LoRA/QLoRA等），熟悉Megatron-LM、FSDP、DeepSpeed等训练框架者优先；
- 了解多模态大模型架构（视觉理解/视觉生成等），有多模态模型推理优化或微调实践经验者优先；
- 具备高性能系统开发经验，熟悉GPU编程（CUDA/Triton）与NCCL等通信技术者优先，能够系统性分析推理链路中的性能瓶颈；
- 良好的学习与自驱能力和跨团队协作能力，积极拥抱AI辅助编程工具提升开发效率。 加分项：
- 在OSDI/SOSP/ATC/NeurIPS/ICML/ICLR等顶会/顶刊发表过高质量论文；
- 深度参与或主导贡献过顶级开源项目（vLLM/SGLang/TensorRT-LLM/Megatron-LM等）；
- 有KV Cache分布式存储、微调模型量化部署等实战经验，或了解RLHF/DPO等模型对齐技术。
