岗位职责
- 模型架构探索：面向大语言模型及多模态模型预训练，开展 Attention、MoE、Embedding、Residual、多模态编码器等核心模块的设计与优化，探索动态计算、参数复用等方法，提升模型能力与训练、推理效率。
- 优化算法与训练方法：研究优化器、初始化、参数化及训练策略，探索 Scaling Law 与超参数迁移规律，改善模型收敛效率，提升不同模型规模与训练预算下的效果。
- 低精度训练与稳定性：研究 FP8/FP4 等低精度训练方法，分析激活值与梯度 outlier、loss spike 及数值误差，协同优化模型结构与训练算法，在保持模型效果的前提下提升训练效率与稳定性。
- 实验验证与落地：开展从小规模消融到大规模预训练的实验验证，综合评估方案对模型效果、训练效率、稳定性及推理成本的影响，与训练及推理工程团队协作，推动有效方案在主线模型中落地。
职位要求
- 计算机、人工智能、数学等相关专业本科及以上在读，可实习六个月及以上。
- 扎实的数学、算法与深度学习基础，熟悉 Python、PyTorch，具备良好的代码实现、实验设计与结果分析能力。
- 对基础模型架构与训练算法研究有热情，能够主动发现问题、深入分析原因，具备严谨的实验习惯与良好的沟通协作能力。
- 加分项： （1）有基础模型团队实习或大模型预训练经验； （2）有模型架构、优化器、低精度训练、训练稳定性或 Scaling Law 等方向的研究与实践经验； （3）有相关顶会论文或高质量开源项目贡献。
