岗位职责
- 参与视频生成模型的参考素材构造研究:探索从目标成片构建白模视频与参考图的方法,形成“参考素材—目标视频”配对数据,研究空间关系、运镜路径、时间节奏及人物形象等参考信息对视频生成可控性的作用。
- 参与基于视频生成模型的视频转白模研究:探索模型微调与数据构造方法,在简化视频外观和材质的同时,保留场景布局、人物运动与镜头变化;通过对比实验与消融分析,提升转换结果的结构一致性和时序稳定性。
- 参与人物身份保持与参考图生成研究:结合人物分割、跨帧跟踪及重识别方法,为主要人物建立稳定的身份标识,实现同一人物在白模中颜色一致、不同人物颜色可区分;探索通过主体提取与图像生成构造参考图,保持人物外观及关键场景信息的一致性。
- 探索基于agent控制Blender的白模视频生成方法:研究如何将视频中的场景、人物动作、相机运动与时间节奏转化为可执行的三维配置,通过脚本生成与工具调用完成场景搭建、动画编排和渲染,沉淀可复用的Skill与指令Prompt。
- 参与评测方法设计与研究验证:围绕空间布局、运镜轨迹、动作节奏及人物一致性构建评测方案,比较模型微调与Blender生成两条路线的效果、成本和适用范围,并通过下游视频生成实验验证参考数据的训练价值。
职位要求
- 计算机、人工智能、计算机视觉、计算机图形学等相关专业硕士或博士在读,对视频生成、多模态学习、三维视觉或生成式AI研究有浓厚兴趣。
- 具备扎实的机器学习基础,熟悉Python与PyTorch,能够阅读研究代码、复现论文方法并开展实验;了解Transformer、扩散模型或多模态模型的基本原理,有模型训练或微调经验者优先。
- 在视频生成与编辑、人物分割与跟踪、三维重建、相机运动估计等至少一个方向具有课程、科研或项目经验,愿意探索跨帧身份保持、空间结构还原及视频时序一致性等问题。
- 对大模型驱动的三维内容生成与工具调用有兴趣,愿意使用Blender开展研究验证;了解Blender Python API、程序化建模、动画制作,或有Agent、代码生成及Prompt实验经验者优先。
- 具备良好的论文阅读、问题分析与实验设计能力,能够在指导下完成文献调研、方法实现、对比实验和结果分析;有较强的自驱力,能够清晰记录研究过程并主动沟通发现。
- 有相关科研项目、开源贡献、论文投稿或发表经历者优先,不要求已有论文成果;能够持续投入研究实习、推进完整实验周期者优先。