部门介绍
我们是京东云事业部AI Infra团队，致力于前沿的大模型技术创新与应用。我们专注于研发业界领先的大模型算法，构建极致高效的大模型训练与推理平台，提供高吞吐高可用、低成本低延迟的大模型服务。我们的核心使命是高效支持和驱动京东集团内外部的大模型业务生态及智能体应用，涵盖业界主流开源模型和京东自研模型的训练与推理服务。我们团队秉承技术驱动、创新为本的理念，为每一位成员提供广阔的成长空间和富有挑战性的项目。
- 负责大语言模型及多模态模型的量化方案设计，应用PTQ、QAT等技术实现高效压缩与精度保持，奠定部署基础；
- 主导量化模型在vLLM、SGLang等推理框架及英伟达、国产显卡等异构硬件平台的适配、集成与性能调优，保障稳定高效运行；
- 开展模型级与算子级性能剖析，定位瓶颈与热点，开发定制化加速kernel，并研究应用Speculative Decoding等技术提升解码吞吐与降低延迟；
- 设计并实施系统化benchmark评测，对精度、延迟、吞吐等指标进行度量分析，为技术选型提供数据支撑，并优化Agent场景下的长上下文与高并发负载。
岗位职责
招聘官网暂未提供完整岗位职责，请前往官网核实。
职位要求
- 具备大模型量化方案设计与落地经验，精通PTQ、QAT及rotation等压缩技术，可在保持模型精度的前提下实现高效压缩；
- 拥有量化模型在vLLM、SGLang等推理框架及英伟达、国产异构硬件平台上的适配、集成与性能调优能力，能推动方案在国产芯片生态中完整落地；
- 具备模型级与算子级性能剖析与瓶颈定位能力，能针对量化算子、注意力机制等关键路径进行优化，并探索Speculative Decoding等加速技术以提升吞吐与降低延迟；
- 具备系统化评测与问题解决能力，能设计benchmark评测机制，从精度回退、算子不兼容等复杂问题中定位根本原因，并持续跟踪剪枝、稀疏化等前沿技术进行工程验证；
- 对大模型压缩与推理优化有长期深耕的抱负，以推动国产芯片生态落地和提升技术影响力为己任，并在量化精度评测中坚持严谨客观标准，以身作则挑战性能瓶颈；
- 符合京东价值观：客户为先、创新、拼搏、担当、感恩、诚信。
