岗位职责
- 推理框架研发： 参与 rLLM 推理框架研发，支撑 LLM、MLLM、DiT、Omni 等场域模型的高性能在线推理。
- 分布式推理能力建设： 参与 KV Router、PD 分离 / EPD 分离、KV Cache 管理、Prefix Cache 复用、动态请求调度等核心能力建设。
- 推理性能优化： 围绕 TTFT、TPOT、吞吐、并发能力、GPU 利用率等指标，持续优化推理框架性能和资源效率。
- 模型压缩算法落地： 探索并落地大语言模型和多模态模型的低比特量化、蒸馏、剪枝、投机解码、KV Cache 压缩、CoT 压缩等技术，在保证业务效果的前提下降低推理成本。
- 压缩评估与部署闭环： 建设模型压缩评估与部署闭环，平衡精度、延迟、吞吐、显存、成本与业务效果，将压缩算法转化为稳定、可复用、可规模化的生产能力。
- 系统可靠性建设： 构建推理框架的系统容错能力，包括请求迁移、优雅退出、故障检测、自愈恢复、灰度发布等能力。
- 异构芯片推理适配： 负责推理引擎在国产异构计算芯片（昇腾 / PPU / 昆仑芯等）上的适配与深度优化，完成模型迁移、算子开发、Profiling、Kernel 调优、并行策略与服务架构调优，推动国产算力在推理场景的规模化使用。
- 多模型与多硬件适配： 支撑 LLM、MLLM、Embedding、Rerank、DiT 等多类型模型在 Nvidia GPU、国产 NPU / PPU / XPU 等多种硬件上的推理、压缩和部署落地。
- 业务协同： 与算法、MaaS、平台和业务团队深度协作，为重点业务进行算法与系统联合优化，支撑业务推理成本下降和性能提升。
职位要求
- 具备扎实的代码能力、数据结构和基础算法功底，熟悉 Python / Rust / C++ 中至少一门语言，具备良好的工程实现能力和代码质量意识。
- 熟悉大模型推理、模型压缩、深度学习框架中的至少一个方向，并具备源码阅读、修改、性能优化或工程落地经验。
- 熟悉至少一种主流推理或深度学习框架，如 vLLM、SGLang、TensorRT-LLM、Nvidia Dynamo、AIBrix、PyTorch、ONNX、TensorRT 等。
- 理解大模型推理核心链路，对 KV Cache 管理、PagedAttention、Chunked Prefill、Continuous Batching、PD 分离、请求调度、推理服务稳定性等技术有经验或深入认知。
- 理解模型压缩常用方法，对量化、蒸馏、剪枝、投机解码、KV Cache 压缩、CoT 压缩等技术有经验或深入认知。
- 能围绕延迟、吞吐、并发、显存、通信、精度、成本、业务效果等指标进行系统分析，在推理性能、压缩效果和业务收益之间做合理权衡。
- 具备较强的问题定位和系统优化能力，能够借助 Profiling、日志、监控和实验分析等手段定位复杂系统瓶颈，并推动问题闭环。
- 具备良好的学习能力、沟通协作能力和自驱力，能与算法、MaaS、平台、业务团队协同推进技术落地。 加分项：
- 参与过 vLLM、SGLang、TensorRT-LLM、Nvidia Dynamo、AIBrix 等主流推理框架的代码贡献或核心模块开发。
- 熟悉 CUDA Kernel、Attention / GEMM 算子优化、FlashAttention、PagedAttention 等底层优化技术。
- 熟悉 NCCL、RDMA、IB、RoCE 等高性能通信机制，有多机多卡推理优化经验。
- 有 SmoothQuant、AWQ、GPTQ、KV Cache 压缩、投机解码等算法的工程落地经验。
- 有大规模线上推理服务稳定性建设经验，解决过高并发、故障迁移、弹性扩缩容、SLO 保障等生产问题。
- 熟悉多模态模型或 DiT 类模型推理链路，有相关部署、压缩和优化经验优先。
- 有国产异构芯片（昇腾 Ascend、平头哥 PPU）推理适配或 Kernel 开发经验，熟悉 CANN / ROCm 等基础软件栈，有大模型在国产芯片上生产级替换或规模化部署经验者优先。
- 深入理解 GPU / NPU 硬件架构及性能瓶颈（Tensor Core、内存层级、计算单元、通信拓扑），能结合硬件特性设计差异化推理或压缩优化方案。
- 有推理或压缩方向论文发表经历，或优秀开源项目贡献经历。
