岗位职责
- 负责分布式训练基础设施的建设、优化与维护,优化训练过程中的显存管理、计算资源调度与分布式通信效率,提升训练速度与资源利用率,支撑算法研发与模型训练;
- 负责微信小程序 Coding Agent 场景下 LLM 推理服务的建设与优化,涵盖 vLLM / SGLang 等框架适配、请求调度、KV Cache 管理、Prefill-Decode 分离、长上下文推理、投机解码等核心能力建设;
- 负责 GPU 资源管理,通过资源精细化分配和灵活调度提升整体利用率。
职位要求
- 熟练掌握 C / C++ / Python 等至少一门编程语言,具备扎实的数据结构和算法功底,有良好的工程素养;
- 熟悉主流分布式训练框架(DeepSpeed / Megatron-LM / FSDP 等),理解常见的显存优化技术和训练加速手段,有异步强化学习训练框架开发经验者优先;
- 熟悉主流 LLM 推理服务框架(vLLM / SGLang 等),理解 KV Cache 管理、Prefill-Decode 分离、Continuous Batching、投机解码等推理优化技术,有推理链路性能调优与线上稳定性治理经验;
- 具备快速学习能力,有团队合作精神,对探索前沿技术有热情。