AI Infra实习生-训练方向（研究型）

作为研究型实习生，你将加入公司大模型训练加速方向的研究团队，参与超大规模场景下，文本和多模态领域 pre/post/alignment 方向上的高效训练相关的 前沿策略和工程实现工作。该岗位以科研驱动为主，进行理论研究、策略设计、工程原型与实验评估，并鼓励发表顶会/期刊论文与开源贡献。

1. 研究RL场景加速技术，探索前沿的训推分离、梯度压缩、通信压缩、计算压缩 相关技术，改进RL场景不同模型的训练效率，提升e2e吞吐达到业界SOTA水平；
2. 研究前沿的pretrain加速技术，探索不同模态下的 IO/流水调度/算子融合/低精度量化 等加速策略，改进超大规模训练下训练效率，提升MFU；
3. 研究大模型训练策略自动寻优技术，通过模型显存、计算、通信 自动化分析和模拟，实现不同模型在不同硬件、不同规模下的训练性能最大化；
4. 将研究成果落地为可复现的工程原型，集成/对接业界主流的开源训练框架(megatron/veRL);
5. 撰写技术报告与论文，与团队成员及外部学术界保持沟通交流；

1. 在读硕士或博士，研究型/学术背景优先；有扎实的数学基础，理解大模型训练性能加速和稳定性提升的基本方法；
2. 熟悉一种或多种大模型训练框架和组件（如 megatron、deepspeed、 veRL、openRLHF、flash-attn， TE) 或有实现过算力融合，流水调度优化的经验；
3. 良好的实验设计能力与论文阅读/撰写能力，能阅读并复现顶会算法；
4. 实习期6个月起，能长期实习优先； 加分项
5. 熟悉算子融合，量化、流水调度，在线数据packing相关方法；
6. 有大规模训练加速、稳定性提升、异构硬件适配经验；
7. 在相关国际期刊/会议发表过论文或有开源项目/代码仓库者优先。