研究型实习生 - 超大规模MoE预训练关键技术研究

随着模型尺寸和数据规模的持续扩大，预训练任务已成为AI研究和发展中最为资源密集的环节之一。本项目旨在深入的理解预训练任务的workload特点，定位性能瓶颈，并进行优化从而降低预训练任务的成本开销。例如从显存，通信，计算优化等方面优化MoE大规模训练任务的吞吐，支持包括通义实验室等领域方向。

候选人应为计算机及相关专业的博士或硕士研究生，且对机器学习系统有充分的兴趣；最好有机器学习系统及分布式系统相关研究和开发经验，了解或熟悉Megatron/TransformerEngine等LLM训练相关系统； 需要产出论文和专利等高水平的学术成果。