岗位职责
我们在构建面向具身智能与交互式世界模型的下一代推理基础设施：支持多模态流式输入（视频/传感器/地图）、实时闭环输出（动作/轨迹/场景状态），在端云一体部署下实现确定性低延迟、可规模化吞吐与可持续的成本效率。你将负责推理加速基础框架与关键性能机制建设，打通“模型—引擎—硬件—调度—观测”的全链路。 你将负责 1) 推理基础框架与运行时 ● 设计并实现端云一体推理框架：统一模型加载、版本管理、热更新、灰度与回滚能力 ● 建设流式推理 pipeline：ingest → preprocess/encode → predict/plan → control，支持异步与背压 ● 推理引擎集成与改造：vLLM / TensorRT-LLM / SGLang / TGI（云端），TensorRT / ONNX Runtime / TVM / NPU SDK（端侧） 2) 实时调度与性能关键路径 ● Prefill/Decode 分离调度（如适用）、长度分桶、连续 batching、尾延迟治理（P99/P999） ● KV cache 管理：paged/block、prefix/prompt cache、逐出策略、显存碎片治理 ● 多机多卡并行与通信：TP/PP/EP（MoE），NVLink/IB/RDMA 等链路优化 ● 投机解码/并行解码（Speculative/Medusa 等）在业务场景的落地与收益闭环 3) 量化与算子/Kernel 优化 ● 建立 profiling 体系：算子画像（attention/GEMM/视觉编码/采样解码等）、输入分布、性能回归基线 ● 分层量化策略：FP8/INT8/INT4 与 activation-aware 量化，质量回归与灰度上线 ● CUDA/Triton kernel、算子融合、内存与流水并行优化；端到端 latency 优化而非单点指标 4) 可观测性与可靠性 ● 建立实时推理指标体系：E2E latency、jitter、FPS/Hz、丢帧率、功耗/温控降频、OOM/重试等 ● 帧级/样本级 tracing，故障定位、过载保护、降级与安全回退路径（端侧尤重）"
职位要求
学历与专业背景： 3年以上工作经验，硕士及以上学历，中大厂AI Infra从事经验 能力要求：
- 有AI推理加速框架/引擎研发经验者优先，如参与过vLLM、TensorRT-LLM、Triton、OneFlow等相关框架的开发与优化。
- 熟悉具身智能、交互式世界模型、机器人AI相关业务场景，了解实时推理、多模态融合推理、连续状态推理的技术难点者优先。
- 具备分布式推理、多机多卡协同推理研发经验，熟悉NCCL、MPI等通信机制，能解决分布式场景下的通信瓶颈与调度问题。
- 具备AI编译器、中间表示（IR）优化相关经验者优先，熟悉TVM、MLIR等编译工具链优先。
- 具备良好的系统设计能力与问题排查能力，能独立解决复杂的性能瓶颈、内存溢出、硬件适配等工程问题。
- 具备强烈的技术钻研精神，对AI基础设施、前沿AI场景落地有浓厚兴趣，善于攻克技术难题。
- 良好的团队协作与沟通能力，能跨团队协同推进项目，清晰输出技术方案与成果。
- 具备优秀的文档撰写与技术分享能力，注重代码质量与工程规范。
