岗位职责
探索具有极低计算成本以及infra亲和的新型模型架构与学习算法。研究模型能力与推理开销之间的关系,通过架构与算法创新,在相同算力下实现更强的scaling,降低模型训练与使用的综合成本。
- 探索面向低成本计算的新型模型架构,围绕稀疏attention,线性注意力,新型moe架构设计等方案,探索模型各架构对scaling的收益。
- 探索高效推理与隐空间计算方法,围绕 latent CoT、looped transformer、自适应思考强度,探索更高效的test-time scaling范式。
- 探索多模型协作下的推理新范式,包括模型路由,context共享等multi-agent下的实际推理问题。
- 探索基于后训练的模型架构演进,进一步提升旗舰模型的性价比。
职位要求
- 计算机科学、人工智能、数学、电子工程等相关专业硕士及以上学历,博士优先。
- 具备扎实的深度学习与数学基础,熟悉大模型架构与训练原理,对 Transformer、Attention、MoE、序列建模、优化算法等一个或多个方向有深入理解。
- 具备独立开展算法研究的能力,能够完成研究假设提出、方案设计、模型实现、对照实验与结果分析;有模型架构创新、训练效率优化、推理能力提升或规模扩展规律研究经验者优先。
- 在 NeurIPS、ICML、ICLR、ACL、EMNLP、MLSys 等会议发表相关论文,或深度参与高质量开源模型与训练项目者优先。