岗位职责
- 训推框架全栈优化:负责大模型分布式训练与推理框架研发,推进 MoE 架构与框架协同设计(Co-design),实现千亿级模型的高效训推;深入国产卡适配与算子优化,持续提升吞吐、效率及资源利用率。
- 核心系统性能攻关:研发 KVPool 内存池与高性能网络传输机制,优化 NUMA 亲和性、RDMA 零拷贝及计算通信重叠(Overlap),解决跨节点 KV Cache 传输与内存管理瓶颈。
- 智能剖析工具建设:主导 XPU-Profiler 模块开发与产品化,完善采集分析能力;探索 AI 辅助研发(RSI 实验)新范式,沉淀可复用的性能分析方法与工具。
- 系统集成与稳定性:推动与 vLLM、SGLang 等主流引擎的深度集成,建设全链路可观测性与性能测试体系,保障高负载场景下的系统稳定运行。
职位要求
- 计算机、软件工程或相关专业的非应届在读生,每周可实习 ≥3 天,连续 ≥3 个月。
- 具备扎实的数据结构、操作系统、计算机网络基础;熟悉 C++ 或 Python,具备 Linux 环境下的开发、调试能力,有良好的编码习惯。
- 了解模型训练、推理基本流程及 PyTorch 等框架,对 CPU、GPU 执行机制或分布式系统有兴趣;或对 KV Cache、Attention、Prefill/Decode 等概念有一定认识,对 AI 系统性能优化有兴趣。
- 具备良好的问题分析和动手能力、团队协作能力,具有强烈的好奇心和自驱力; 加分项:
- 以下方向有实践经验者(任一):RDMA / 高性能网络通信、CUDA / GPU 性能优化、国产卡推理和后训练、内存管理 / 分布式缓存、vLLM / SGLang / Mooncake / nixl / LMCache 等开源项目。
- 有 CUDA/Triton、GPU Kernel 优化、Profiler/CUPTI/eBPF、分布式训练与推理、NCCL 通信分析,或 AI Agent、自动化实验与评测工具开发经验者优先,欢迎提供课程、科研或开源项目的代码和实验材料。
- 有系统性能优化或开源贡献经历者优先。