岗位职责
- 异构算力池化与调度 面向国产GPU/NPU等多种卡型,构建统一的资源抽象与共享算力池,根据任务负载、显存需求和互联拓扑优化任务放置与资源复用。通过弹性调度与动态资源分配,充分调动可用算力,支撑异构强化学习(RL)中采样、训练与验证的协同扩展,以及推理时计算规模的增长。
- 高性能通信与互联 研发适配不同卡型的通信传输机制,针对分布式训练、异构集群推理、RL权重同步与数据采集的通信需求,设计网络拓扑与传输策略。优化RDMA数据通路、路由与拥塞控制,提高带宽利用率,减少跨节点通信等待。
- 高性能存储系统研发 设计并实现面向训练、推理与sandbox的高性能分布式存储系统,支撑训练数据、KV Cache、Checkpoint 及各类状态快照(snapshot)的存取、复用与恢复。研发存储引擎、分布式文件系统和对象存储,优化元数据管理、数据布局、分层存储与并行I/O,为训练与数据处理提供高带宽、强一致的共享存储,保障数据持久性与高可用。
- 集群架构与可靠性 与模型、框架和算子团队协作,依据实际负载统筹计算、网络与存储配置,评估新硬件与系统方案的扩展效率和成本。建立任务级观测、故障隔离与自动恢复机制,定位跨节点瓶颈,减少慢节点与局部故障造成的停顿和进度损失。
职位要求
- 理解操作系统、计算机网络与分布式系统的基本原理,熟悉并发编程与Linux开发环境,能够使用C++、 Go、Rust 或Python中的至少一种语言完成系统开发与调试。
- 在资源调度、高性能网络、分布式存储或集群性能分析的至少一个方向有深入实践或研究经历,能结合代码与 实验解释关键机制和性能表现。
- 能独立提出假设并设计可复现的实验,控制负载差异与测量误差,评估性能收益、资源开销及对可靠性的影 响。
- 能拆解问题、组织必要上下文,借助大模型与Agent开展研究、开发和排障;独立审查并验证生成代码的并发 行为、资源使用与异常处理。
- 对复杂系统保持好奇,愿意持续追查问题,主动推进实现与集成;沟通清晰,能与不同专业的同事明确需求、 讨论取舍、协作解决问题,并对运行效果负责。