岗位职责
- 推理引擎研发与优化：吸收 vLLM、SGLang 等开源框架的优秀实践，结合工程创新，优化模型执行、动态批处理、KV Cache 管理与模型加载，提升推理吞吐，降低首字延迟和单 Token 成本。
- 分布式推理与调度：面向大规模在线服务与批量推理，优化模型并行、通信与计算重叠、负载均衡和资源调度，在满足服务延迟要求的同时提升单卡吞吐和集群利用率。
- 推理平台核心研发：建设模型部署、弹性伸缩、任务排队与失败恢复能力，打通推理引擎、资源调度与服务管理链路，支持不同模型和硬件环境下的高效、稳定运行。
- 异构计算与国产化优化：面向 PC、一体机和 GPU 集群，探索 CPU/GPU 混合计算、显存与内存协同及国产 GPU/NPU 适配，让大模型以更低资源成本运行。
- 性能分析与工程验证：建设推理性能评测与可观测能力，从算子、引擎到服务和集群定位瓶颈，通过真实负载验证优化效果，持续提升推理系统的性价比与稳定性。 要求
职位要求
- 具备扎实的编程与系统基础，熟练掌握 C++、Python、Go、Java 中至少一门语言，有并发编程、分布式系统或高性能计算研发经验。
- 理解 Transformer 架构及推理流程，了解动态批处理、KV Cache、量化、投机解码及 TP/PP/EP/DP 等并行技术。
- 有以下任一方向的深入实践：推理引擎与算子优化；分布式推理与通信优化；GPU 资源调度与模型服务平台研发。能够独立完成性能分析、方案设计、代码实现与效果验证。
- 熟悉 PyTorch 或 CUDA 编程，有 GEMM、算子融合、显存管理、长上下文优化经验者优先；有 vLLM、SGLang、ktransformers 等框架二次开发或开源贡献者优先。
- 有 Kubernetes/GPU 调度、在线与批量推理混合调度、模型快速加载或国产 GPU/NPU 适配优化经验者优先。
