岗位职责
推理方向： 负责模型推理引擎的选型、优化与定制开发，探索PD分离（Prefill-Decode Disaggregation）架构，保障线上推理服务的高吞吐、低延迟和高可用。 推进推理侧的关键技术优化，包括KV Cache管理（PagedAttention、多级缓存、KV Cache Offload）、量化压缩（FP8/INT8/INT4）、Continuous Batching、Chunked Prefill、Speculative Decoding、CUDA Graph优化等，持续提升推理效率和资源利用率。 设计和构建模型部署服务平台，涵盖模型版本管理、灰度发布、任务分发与路由、负载均衡、弹性扩缩容、资源池化与应用混部等能力。 管理高性能GPU计算集群，负责集群资源调度、监控告警、故障恢复等运维保障工作。 与医学算法、产品、运营以及业务工程团队通力合作，推进医学AI产品和技术的发展和应用，保障客户体验，实现业务落地和成本优化等目标。
职位要求
- 熟悉业界主流的推理引擎和框架，包括但不限于vLLM/SGLang/TensorRT-LLM等；有PD分离架构部署、大模型推理性能调优经验者优先。
- 具备推理侧关键技术优化经验，包括KV Cache管理（PagedAttention、Prefix Caching、多级缓存/Offload）、量化压缩（FP8/INT8/INT4/GPTQ/AWQ等）、Continuous Batching、Chunked Prefill、Speculative Decoding、CUDA Graph优化等。
- 有大模型部署平台设计及模型服务调度系统相关经验，包括模型部署和服务管理、任务分发和路由、负载均衡、弹性扩缩容、资源池化、应用混部等，熟悉K8s、Docker、Ray等技术。
- 对新的AI技术保持敏感和热情，熟悉主流AI算法，包括LLM大语言模型、多模态模型等；有相关研发经验者优先。 优先条件：
- 对主流的开源软件有深入的了解，并且对此有做出贡献；
- 具有自我驱动和自我管理能力，能够针对系统的不足提出改进方案并推动实现。"
