岗位职责
- 负责推理流量的全地域、跨集群调度与分发，结合模型特性、实时负载、算力容量及地域约束设计调度策略，提高 GPU 有效利用率和负载均衡能力；
- 建设租户级流控与配额管理体系，完善并发及 Token 级限流、优先级排队、熔断降级和过载保护机制，保障服务稳定性、资源公平性和租户隔离；
- 建设潮汐调度、HPA等弹性编排能力，结合流量预测、排队情况与推理负载，完善动态扩缩容、模型预热、请求排空及跨资源池容量调配，平衡资源成本与服务质量；
- 开展推理链路性能调优，建设缓存感知路由，协同优化前缀缓存复用、请求排队与批处理，提升缓存命中率和吞吐，降低首 Token时延、Token间时延及尾延迟。
职位要求
- 本科及以上学历，计算机、软件工程或相关专业优先；
- 具备扎实的后端研发与分布式系统基础，熟悉高并发、负载均衡、服务治理及高可用架构，有大规模分布式系统、流量调度或 LLM 推理优化经验者优先；
- 深入理解主流 LLM 推理引擎架构及请求执行流程，熟悉 Prefill/Decode、连续批处理、KV Cache、前缀缓存等机制，有推理引擎调优、调度或二次开发经验者优先；
- 具备扎实的编程能力与网络基础，理解 TCP/IP、HTTP、连接复用及流式传输机制，熟悉 Golang 并有高并发服务开发经验者优先；
- 具有较强的主动性、责任心和跨团队协作能力。
