岗位职责
参与大模型&多模态模型训推系统核心模块的研发与优化 深入理解并优化推理引擎中的核心机制,如 KVCache、、加密部署、batching、调度策略、显存管理、算子执行等 参与推理优化相关算法与工程工作,如量化、解码优化、cache 复用与吞吐优化 参与模型微调 / 后训练相关基础能力建设、调度系统和工程优化,提升训练后链路到推理落地的整体效率 面向国际场景下前沿推理与后训练技术及实际业务需求,跟进并落地主流开源推理引擎与框架能力,联合模型、算法、基础软件团队,持续推进生产环境中的推理性能优化与系统演进。
职位要求
基础扎实,对操作系统、计算机体系结构、并发、数据库、网络、内存管理等有较强理解 熟悉 Python 和 C/C++,有性能敏感型系统开发经验 有较强的 profiling、性能调优、瓶颈分析与工程落地能力 有较强的Vibe Coding能力 对以下方向具备较强兴趣或经验者优先: SGLang / vLLM / TensorRT-LLM 等推理引擎,KVCache / Radix Cache / Paged Attention等技术 熟悉视觉生成模型,有SFT、DPO、GRPO等后训练或RL经验 Speculative Decoding / Quantization / PD分离/ 并行推理 加分项 有 AI Infra、推理系统、模型服务相关经验 有模型微调 / 后训练相关工程经验,熟悉训练后链路与推理部署衔接 有开源项目核心贡献,尤其是在推理引擎、框架、编译器、算子库、CUDA 生态等方向 有论文复现、算法工程化、推理优化落地经验 有System方向的优秀背景(存储系统、数据库内核、网络、高性能服务、中间件、编译器)愿意从事 AI Infra 方向的同学,我们也是欢迎的