岗位职责
- 大规模分布式kvcache系统建设： 主导并规划分布式kcache系统建设，保障kvcache命中率处于业界领先水平，kvcache调度灵活性和弹性扩缩容；
- 异构算力各个厂商硬件卡平台的H2D D2H kvcache传输性能优化，减少kvcache损耗，优化推理框架在高kvcache命中率下的性能；
- 优化推理方面底层通信库性能优化，包括kvcache传输效率，卡间通信效率；
- 跨机房PD通信性能优化，探索PD异构在不同机房的解决方案；
- GPU机密计算等前沿方向的调研和落地，推理安全安全方面的方案设计和落地工作。
职位要求
- 计算机、人工智能、软件工程等相关专业硕士及以上学历；
- 具备5年以上 AI 系统、高性能计算或底层系统开发经验；
- 具备大规模、生产级大语言模型（LLM）在线推理系统从零到一的架构设计与优化实战经验；
- 精通 C++/Python，具备深厚的系统编程功底，对并行计算、内存管理和性能调优有深入的系统性理解；
- 深入理解 Transformer 架构，具备 SGLang，vLLM, TensorRT-LLM, LightLLM 等主流推理框架的内核级/源码级深度优化经验；对 KV Cache、低比特量化、连续批处理等核心技术有架构决策能力；
- 具备设计和主导实现高并发、超低延迟分布式服务系统的能力；熟悉 Docker/Kubernetes 等云原生部署运维技术；
- 加分项：熟悉操作系统底层核心技术，熟悉主流GPU、CPU、互联总线等硬件架构，理解软件系统底层运行原理。
