岗位职责
- 负责机器学习系统资源调度的设计和开发,支持火山方舟大模型平台和机器学习平台的产品业务;
- 负责多机房、多集群环境下的,各种异构计算(GPU、CPU、其他异构硬件)、存储(各种云存储)、网络(VPC、RDMA)等资源的最优化编排调度,在严格的多租隔离环境下,支持各种离线训练、在线推理等负载场景的调度需求,并实现整体资源的合理化、最大化利用。
职位要求
- 熟练掌握Linux环境下的Go/Java/Python等1-2种语言;
- 具备扎实的计算机科学功底和编程能力,熟悉常见算法和数据结构,具有良好的编程习惯;
- 熟悉至少一种主流的机器学习框架(TensorFlow / PyTorch 或其他自研框架);
- 熟悉 Kubernetes 架构和生态,熟悉 Docker/Containerd/Kata 等容器技术,有丰富的云原生机器学习系统实践和开发经验;
- 掌握分布式系统原理,参与过大规模分布式系统的设计、开发和维护;
- 有优秀的逻辑分析能力,能够对业务逻辑进行合理的抽象和拆分;
- 有强烈的工作责任心,较好的学习能力、沟通能力和自驱力,能够快速的响应和行动;
- 有良好的工作文档习惯,及时按要求撰写更新工作流程及技术文档。 加分项:
- 有大规模集群在离线资源调度相关工作的实践经验,对K8S/Volcano/Yarn/Mesos等一到多个开源项目的调度实现有源码级的理解,熟悉容器化、轻量级虚拟机等相关技术;
- 熟悉常见调度算法,对多租户Quota治理、抢占、弹性、碎片、潮汐、混部、QoS等一到多个调度问题有深入理解和实践经验,具备较强的解决复杂问题的分析和建模能力,有GPU相关调度经验;
- 有以下某一方向领域的经验:CUDA,RDMA,AI Infrastructure,HW/SW Co-Design,High Performance Computing,ML Hardware Architecture (GPU, Accelerators, Networking),ML for System,Distributed Storage。