岗位职责
- 深入大模型推理业务，与客户及推理平台团队共同分析模型特征、请求负载和服务质量要求，识别长上下文、多轮对话、Agent 等场景中的重复计算、缓存容量和调度效率瓶颈。
- 负责 KVCacheStore 与推理系统的端到端架构设计，结合推理引擎执行流程、模型并行方式和 KV Cache 管理机制，制定缓存接入、跨实例复用及分层管理方案。
- 联合优化请求调度与缓存管理，研究前缀复用、缓存感知路由、预取和淘汰等策略，权衡缓存读取与重新计算的开销，改善首 Token 延迟、推理吞吐和 GPU 有效利用率。
- 面向推理服务扩缩容、请求迁移和故障恢复等场景，设计缓存共享、数据流动及异常回退机制，兼顾上下文复用效率与推理服务稳定性。
- 主导原型开发、性能评测与生产验证，建立覆盖推理引擎和缓存系统的观测及分析方法，定位端到端瓶颈，并将客户共建成果沉淀为产品能力和最佳实践。
职位要求
- 具备大模型推理系统的研发或架构实践，理解 Transformer、Attention 及 KV Cache 的核心机制，熟悉 Prefill/Decode 等技术，能够分析其对延迟、吞吐和资源利用率的影响。
- 深入参与过推理引擎、推理服务平台或推理调度系统的设计与优化，能够结合模型配置、请求长度、并发和服务质量目标，定位系统瓶颈并制定优化方案。
- 理解 KV Cache 的生成、组织、分片、复用与淘汰过程，能够分析前缀缓存、跨实例共享和分层缓存的适用条件。有缓存感知调度、Prefill/Decode 分离或长上下文推理优化经验者优先。
- 具备扎实的系统研发和性能分析能力，熟悉 C++、Python，能够深入框架代码开展原型开发、接入改造与问题定位。有 vLLM、SGLang 等推理引擎或相关生态项目实践者优先。
- 理解分布式系统及网络、存储的基本原理，能够与底层系统团队协作，分析 GPU、主机内存和外部缓存之间的数据传输及访问开销。有 RDMA、GPU 数据传输或高性能缓存实践者优先。
- 具备客户技术共建和跨团队推动能力，能够将业务目标转化为技术方案，通过可复现的实验及生产观测验证效果，持续推进方案落地。
- 主动运用 AI 工具辅助代码分析、实验设计、测试和问题诊断，能够结合系统原理与实测数据审查 AI 输出，提升研发效率并保证结果可靠。
- 有强烈的技术热情和好奇心，自驱力和学习力强；具备良好的分析、沟通及团队合作能力；喜欢有挑战性的技术研发工作，善于攻坚克难，积极乐观、坚韧抗压、结果导向，能够持续推动问题解决和技术突破。
