岗位职责
- 负责集团十万卡级 AI 基础设施的 I/O 链路优化,支撑大模型、搜推广等训练与推理场景,解决海量小文件、高并发随机访问、超大吞吐读写及数据热点等问题,提升加速卡利用率与资源效率。
- 建设面向预训练、后训练及强化学习的数据存储与缓存能力,优化数据加载、样本混洗、Checkpoint 保存与恢复,以及 rollout 轨迹、奖励数据和模型权重的高效存取与分发。
- 探索面向大模型推理的 KV Cache 存储与复用架构,结合 RDMA、分布式索引、多级缓存与异步预取,实现大容量、低延迟的缓存访问、跨节点复用及迁移,与推理引擎协同优化首字延迟、吞吐和服务成本。
- 建设面向 Agent 的存储与工作空间基础设施,支撑大规模并发沙箱的快速启动、代码与依赖按需获取、共享缓存、独立可写工作区、快照与恢复,以及长期记忆、上下文和执行轨迹的持久化。
- 优化多模态场景下图像、音频、视频及中间特征的存取链路,解决大小对象混合访问、视频片段随机读取、流式加载及预处理流水线中的 I/O 瓶颈。
- 紧密结合集团基础设施,探索存算分离、存算一网等架构下的存储方案,建设跨 DC 数据同步、模型与数据分发及全局数据编排能力;通过与训练、推理和 Agent 引擎联合设计,探索以存代算和以存强算的新型 I/O 模式。
职位要求
- 计算机相关专业本科及以上学历,熟悉 C++、Golang 中至少一门语言,具备扎实的算法、数据结构与系统编程基础。
- 熟悉分布式系统及存储基础原理,具备分布式文件系统、对象存储、分布式缓存或高性能存储系统的设计与开发经验者优先。
- 熟悉高性能 I/O 与网络技术,具有 RDMA、DPDK、SPDK、异步 I/O、零拷贝等相关开发与调优经验者优先。
- 熟悉 Alluxio、JuiceFS、3FS 等开源分布式存储或缓存系统,有核心模块开发、性能优化或开源贡献经验者优先。
- 了解训练与推理引擎的数据访问模式,具有数据加载、Checkpoint、模型权重分发、KV Cache 管理或引擎侧 I/O 调优经验者优先。
- 对 Agent 沙箱与工作空间、快照及写时复制、代码与依赖缓存、强化学习 rollout 数据链路、多模态数据处理与存储等方向有实践经验者优先。
- 具备端到端性能分析和复杂问题定位能力,能够结合真实工作负载,在延迟、吞吐、可靠性与成本之间进行架构权衡。