部门介绍
我们是京东云事业部AI Infra团队,致力于前沿的大模型技术创新与应用。我们专注于研发业界领先的大模型算法,构建极致高效的大模型训练与推理平台,提供高吞吐高可用、低成本低延迟的大模型服务。我们的核心使命是高效支持和驱动京东集团内外部的大模型业务生态及智能体应用,涵盖业界主流开源模型和京东自研模型的训练与推理服务。我们团队秉承技术驱动、创新为本的理念,为每一位成员提供广阔的成长空间和富有挑战性的项目。
- 主导大模型推理引擎底层架构迭代,优化GPU访存、计算流水线与Stream异步调度,提升单卡推理吞吐并降低延迟;
- 研发并优化分布式推理场景的通信算子与切分算子,解决跨卡通信与计算重叠瓶颈,支撑多卡并行部署;
- 负责底层算子库与主流推理框架对接适配,分析性能瓶颈,通过定制化高性能Kernel支撑框架极速运行;
- 运用GPU性能分析工具定位算力浪费、访存阻塞与调度冗余问题,输出软硬件协同优化方案并推动落地迭代。
岗位职责
招聘官网暂未提供完整岗位职责,请前往官网核实。
职位要求
- 具备大模型推理引擎底层性能优化经验,熟悉GPU全链路调优与产业级高并发推理部署,能解决高并发低延迟场景下的性能瓶颈;
- 能够独立完成核心算子的手写重构、访存优化与精度对齐,并针对分布式推理场景设计高性能通信算子与切分算子,为多卡并行部署提供底层支撑;
- 能够运用GPU性能分析工具精准定位算力浪费、访存阻塞与调度冗余等瓶颈,输出系统化的软硬件协同优化方案并推动落地,持续提升算力利用效率;
- 熟悉主流大模型推理框架的底层架构与核心机制,具备性能调优与框架适配经验,并能持续跟进行业GPU架构演进以解决实际性能挑战;
- 以打造极致性能的推理引擎为目标,长期深耕GPU底层优化领域,坚持高标准的质量要求与严谨的验证流程,推动攻克高难度技术瓶颈;
- 符合京东价值观:客户为先、创新、拼搏、担当、感恩、诚信。