岗位职责
- LLM分布式KV Cache：负责大语言模型推理及训练场景中，分布式KV Cache系统的研发与优化，如高效存储、检索、淘汰策略，以及多节点间的分布式协同与一致性方案。
- 解决大模型长上下文、高并发下的显存/内存压力，提升吞吐量并降低延迟。
职位要求
- 学历与经验： 计算机相关专业本科及以上学历，5年及以上相关领域开发经验，精通C、C++语言。
- 存储系统经验：熟悉SGLang with Tair 或 Mooncake方案。有大规模分布式存储系统开发或深度优化经验。
- 大模型经验：熟悉Transformer架构及LLM推理过程，对KV Cache机制、Attention计算有深入理解；熟悉主流训推框架（如PyTorch、vLLM、SGLang）。
- 高性能通信技术经验：熟悉RDMA编程，有基于RDMA的高性能网络通信或存储系统开发经验。
