岗位职责
聚焦于模型架构设计的相关算法研究，具体职责包括：
- 模型混合架构设计：设计稀疏结构、共享结构减少内存占用开销，提升模型结构中的线性层比例，扩展模型长文本容量，在保持模型高性能的同时提升模型效率；
- 架构迁移算法：模型结构迁移算法优化与创新，实现在更小的数据成本和训练开销下，达到持平或者更优的迁移效果；
- Linear结构优化：linear attention结构的优化与创新，改善linear层表达能力不足的缺陷，不断提升模型的能力；
- Memory机制设计：设计模型的稀疏memory理机制，实现模型从token级到复杂“概念”级建模能力的提升，提升模型在多知识关联下的复杂推理能力。
职位要求
- NLP/ML/DL等相关背景，对大语言模型相关技术有强烈兴趣并有相关科研经验；
- 有模型底层架构优化经验优先，包括不限于：MoE、Linear Attention、Sparse Attention、SSM；
- 有良好的自驱力、coding能力和团队协作能力，可长期实习；
- 有NeurIPS/ICML/ICLR/ACL等相关领域顶会论文发表经历优先。
