岗位职责
从事多模态大模型训练与应用能力研发,探索文本、图像、语音、视频等模态的理解与融合,提升模型在感知、推理、交互和任务执行上的能力,推动前沿技术在真实场景中落地。
- 多模态融合与对齐:研究文本、图像、语音、视频的语义对齐、时序同步与信息融合,提升跨模态推理、流式感知和实时交互能力。
- 后训练与 Agent 优化:通过 SFT、偏好优化、强化学习及蒸馏,优化奖励设计、工具使用、长程规划与人机协作。
- 数据与应用闭环:构建多模态数据、交互环境及任务轨迹,联合优化模型、检索与执行系统,通过评估和线上反馈提升任务成功率、体验与效率。
职位要求
- 相关专业硕士及以上学历,具备大模型后训练或多模态模型训练实践;熟练使用 Python、PyTorch 及主流训练框架。
- 以下至少一项具备深入经验: - 多模态建模:跨模态表征、语义对齐、特征融合、音视频时序建模或 Omni 模型优化。 - 后训练与对齐:偏好学习、奖励建模或在线 RL,理解策略优化、信用分配与训练稳定性。 - Agent 训练与应用:多轮工具交互、检索增强或长程任务训练,具备轨迹构建与执行策略优化经验。
- 能够独立定义问题、设计实验并完成效果归因,推动算法提升转化为真实产品收益。 加分项:大规模多模态后训练、异步 RL、实时音视频助手落地经验,或高质量论文及开源贡献。