岗位职责
• 设计并实现高性能推理引擎，支持主流大模型（LLaMA/Qwen/GPT 等）的高效推理 • 研究和落地推理优化技术，包括但不限于：KV Cache 管理、Continuous Batching、Speculative Decoding、模型量化（INT8/INT4/FP8）、稀疏化推理 • 设计高效的显存管理策略，优化大模型推理的显存占用和碎片问题 • 开发分布式推理框架，支持张量并行（Tensor Parallelism）、流水线并行（Pipeline Parallelism）、专家并行（Expert Parallelism）等策略 • 与算子库团队协作，定义高性能算子的接口和性能目标 • 与编译器团队协作，优化推理场景下的编译策略和代码生成 • 构建推理性能基准测试框架，持续跟踪和优化推理性能
职位要求
• 计算机科学、软件工程、人工智能或相关专业，硕士及以上学历（博士优先） • 深入理解深度学习模型的推理过程，熟悉 Transformer/LLM 的架构和计算特性 • 扎实的 C/C++ 和 Python 编程能力，有高性能系统开发经验 • 熟悉 CUDA/ROCm 等 GPU 编程模型，或有其他 AI 加速器编程经验 • 对操作系统内存管理、多线程并发、分布式系统有深入理解 • 有强烈的性能优化意识，习惯用数据驱动决策 加分项 • 在 MLSys、系统、体系结构等领域发表过顶级论文（OSDI/SOSP/ASPLOS/EuroSys/MLSys 等） • 参与过 vLLM、SGLang、TensorRT-LLM、LMDeploy 等开源推理框架的核心开发 • 有 GPU/NPU 上的高性能算子开发经验（如 FlashAttention、FlashInfer 等） • 熟悉分布式训练/推理框架（Megatron-LM、DeepSpeed、Ray 等） • 有大规模模型部署经验，处理过千卡级别的推理集群
