岗位职责
- 负责大模型部署架构设计,面向分布式推理、异构算力及 EPD 分离场景,优化部署拓扑、资源组织与跨组件协同机制。
- 负责请求调度与流量治理,结合请求特征、实例负载、缓存命中及服务等级,设计路由、排队和负载均衡策略。
- 负责端到端推理链路建设,优化请求接入、预处理、引擎交互与流式返回,降低通信和数据处理开销,提升首 Token 延迟、输出流畅性与吞吐表现。
- 负责容量管理与弹性调度,设计容量评估、扩缩容、资源池化及多租户配额机制,在满足服务目标的前提下提升算力利用率、降低成本。
- 设计请求准入、过载保护、超时重试与背压机制,保障混合负载和突发流量下的公平性、资源隔离与系统稳定性。
- 建设服务发现、健康检查与故障切换机制,完善可观测性、压测及故障演练,推动线上问题治理。
职位要求
- 计算机基础扎实,深入理解分布式系统,熟练掌握 Go、C++、Java、Python 等至少一种语言,具备复杂系统设计与开发能力。
- 熟悉 Linux、容器与 Kubernetes,在分布式部署、请求调度、流量治理或弹性调度至少一个方向有深入经验。
- 理解 Prefill/Decode分离、动态批处理、KV Cache 与流式响应,了解 vLLM、SGLang 等推理引擎及其对部署和调度的要求。
- 具备链路优化、性能分析与生产故障定位能力,能够通过实验验证方案、推动跨团队落地,并使用 AI 编程工具提升效率、独立验证结果。
- 具备大规模推理服务、Prefill/Decode 分离大规模部署、缓存感知调度或异构算力管理经验者优先。