岗位职责
原生多模态旨在以统一的范式处理文本、视觉、语音等各个模态的数据,从而更加自然地进行模态融合,以及通过scaling友好的训练范式,解锁模型智能的新维度。 研究课题包括但不限于:
- 探索early fusion阶段,引入图文交错/audio等多模态序列数据自监督预训练带来的scaling价值。
- 原生全模态预训练的training dynamic探究,模态之间的关系建模。
- 通过SFT / RL等手段,借助多模态token解锁模型新的智能维度,提升模型解决Robot/Gaming等物理世界问题的能力。 【为什么是我们】 【为什么是我们】
- 明确的技术判断:团队在原生多模态方向有非共识的长期投入,已发布 LongCat-Next 技术报告(离散自回归原生多模态),不是跟随式的能力补齐。
- 顶级资源支撑:5~6万卡计算集群,万亿参数文本基座已训练完成,多模态正在进行大规模上推验证——你将直接参与业界最前沿规模的多模态实验。
- 主线与探索并行:既承担多模态基座的核心交付工作,也推进下一代原生多模态架构的前沿探索,覆盖"数据→tokenizer→预训练→后训练→RL"全链路。
职位要求
【必要项】
- 熟悉NLP、LLM、MLLM、RL等相关领域,对其中一个或多个方向有深入的研究经历,且有相关实际项目经验;
- 熟悉Python、C++等至少一门编程语言,熟悉LINUX环境;
- 熟悉 Megatron、DeepSpeed 等开源训练框架。 【加分项】
- 有影响力的开源项目中做出过核心贡献;
- 发表过高水平论文优先(如NeurIPS,ICLR,ICML,ACL,EMNLP等)。