岗位职责
- 分布式 Dataloader：多源数据加载框架研发，优化预处理流水线、IO 瓶颈与数据倾斜，对接对象存储 / 分布式文件系统，支持动态采样与增量更新；；
- Checkpoint 管理：设计高吞吐存储 / 加载方案，优化压缩、分片与冷热分层，实现版本管理、备份恢复与分布式训练框架兼容；；
- 系统优化：监控吞吐 / 延迟 / 显存指标，定位性能瓶颈，保障极端场景下训练连续性；；
- 跨团队协作：对齐业务需求，沉淀技术最佳实践。。
职位要求
- 本科及以上学历，3 年 + AI Infra / 分布式系统 / HPC 经验；；
- 精通 Python/C++，深入理解 Linux 内核、IO 模型，熟悉 PyTorch（优先）及分布式训练原理；；
- 有分布式 Dataloader 研发与 IO 密集型任务优化相关经验；；
- 有 checkpoint 存储 / 加载 / 压缩优化相关经验；；
- 熟悉对象存储 / 分布式文件系统与缓存、分片策略；；
- 具备系统性能瓶颈分析与 GPU/CPU 优化案例。
