岗位职责
- 负责蚂蚁分布式存储加速系统的研发工作，为蚂蚁内部的大模型、湖仓一体、多媒体等项目提供统一的数据加速服务。
- 负责和训练、算法团队合作，共同构建高效的数据加载和 checkpoint 读写方案，为百亿文件 + PB 级训练数据、万亿参数规模的多模态训练任务提供高效的数据读写能力，提高端到端的训练效率。
- 负责大模型存储生态的产品构建，提高存储的易用性，e.g. 存储之间的数据同步等。
- 负责大模型存储加速方向在学术和工业界的前沿调研。
职位要求
- 熟悉 Java/C++，有2年以上的开发和线上问题排查经验。
- 了解大模型训练 IO 场景细节，并有相关优化经验者优先。
- 了解 3FS、GPFS、Alluxio、JuiceFS 等分布式缓存、文件存储系统者优先。
- 了解 FUSE 等用户态文件系统，并有相关开发和使用经验者优先。
- 了解 GDR、RDMA、CXL 等高性能传输技术者优先。
- 具备良好责任心和团队合作能力，能够始终保持对技术追求的热情。
