【Plan A】多模态大模型算法工程师-百灵-27届

我们正在打破模态间的壁垒，从“模态堆叠”转向“原生融合”。你将参与构建万亿级规模的百灵全模态底座，将模型视为一个复杂的动态系统进行全局优化，实现理解与生成的完美统一，并赋予模型处理结构化知识的“专家级”灵魂。 核心工作

1. 原生多模态统一架构 ，设计并研发从底层 Tokenizer层面实现文本、语音、图像、视频、点云等模态原生对齐的统一架构，摒弃传统的“外挂式”适配器（Adapter）。探索多任务在同一参数空间内的联合建模；
2. 结构化数据与知识注入，知识图谱深度融合：研究如何将垂直领域的图谱数据、结构化数据库（SQL/Excel）高效注入全模态底座，解决长尾知识缺失与逻辑幻觉问题；
3. 长序列推理：构建具备长上下文处理能力的思维链机制，使模型能基于结构化事实进行复杂的多步逻辑推理；
4. 万亿级全模态模型训练，主导或参与千亿至万亿参数规模全模态大模型的全生命周期训练，处理多模态数据混合比例优化、训练稳定性评估及灾难性遗忘控制。

1. 拥有计算机、数学、人工智能等相关专业硕士/博士学位，在多模态理解、图像/视频生成、语音理解与生成、大规模分布式训练等领域有SOTA 级别的研究产出；
2. 熟练掌握PyTorch/C++等语言编程，能够熟练使用AI编程工具，深刻理解 Megatron-LM, DeepSpeed或自研分布式框架的底层原理；
3. 在原生多模态领域（如类似 GPT-4o 或 Gemini
4. 5 架构）有前瞻性研究或开发经验。 加分项：
5. 具备极强的工程直觉，能从算子级别到集群拓扑级别审视模型性能瓶颈，具备将复杂算法抽象为系统问题的能力；
6. 不仅限于视觉或语言，对语音编解码（Audio Codec）、3D 点云或结构化数据处理有跨学科的研究兴趣。