岗位职责
- 推理引擎研发与优化：主导高性能大模型推理引擎建设，通过吞吐与时延的双向优化，降低业务推理成本；
- 核心模块构建：负责 KV Cache 管理、Batching/Scheduling、PD 分离及推理 Pipeline 的设计与实现；
- 极致性能调优：面向 TTFT、TPOT、TPS 等关键指标进行系统级优化（算子融合、显存管理、通信优化、推理编译）；
- 前沿技术落地：推动 INT8/FP8/FP4 等量化加速方案，实现推理性能的最大化；
- 高可用与平台化：构建推理侧的高可用保障体系（故障恢复、限流降级、自动化监控），推动模型发布与运维工具链建设。
职位要求
- 系统与基础：计算机/软件相关专业，本科及以上学历；精通 Python/C++，具备扎实的高性能系统研发能力；
- 核心机理深度理解：深入理解 Transformer 推理原理，精通 Attention 机制、KV Cache 管理及采样策略；
- 业界引擎经验：熟悉主流推理框架（TensorRT、Sglang、vLLM 等）及算子优化技术；
- 工程化思维：具备高度的系统工程素养，能够处理复杂的并发调度与高可用性挑战。
