岗位职责

负责抖音与多模态大模型技术的结合落地，探索抖音结合AI的创新产品升级；基于对直播、短视频、评论等已有内容体裁的内容理解和二次创作生成，形成抖音下新的互动内容体裁，供创作者调试和推荐分发；为抖音下各场景业务目标负责，如交易场景的GMV、知识陪伴场景的互动效率等；
基于创作者历史资产（直播回放或短视频）进行多模态分类打标、高光提取、智能剪辑；基于口播稿、创作者形象等特定情况，生成口、动作驱动的真人视频，形成可调度的创作者个性化资产；
基于不同场景的业务诉求，设计Agent规划能力，形成视频编排脚本，优化围绕主题、剧情、商品的生成内容走向；支持实时交互下的视频调度和基础QA；
持续探索MLLM、LLM、Diffusion等通用大模型在各任务下的适配性，通过Post-Train（SFT、RL）优化，增强模型在业务领域下的效果和适配能力；Follow基于大模型的上层应用技术，Agent、Auto-Prompt、RAG等；
上述场景的各类模型训练、模型应用相关的基础建设，包括但不限于模型训练、数据工程、训练推理框架迭代、维护模型评估指标体系。

职位要求

在CV、VLM、MLLM等领域有成熟的项目落地经验，有短视频、图文、直播算法领域经验优先；
学习能力和业务理解能力强，具有一定创新能力，对新领域能快速调研落地，独立设计产出技术方案；
具有扎实的机器学习基础，对深度学习、大语言模型、多模态模型、生成式模型等内容理解与生成技术有深入的理解，数理功底扎实，自学能力强；
有扎实的编码能力，熟练使用相关机器学习框架和工程框架；
在计算机科学会议和期刊如NIPS、ICML、CVPR、ICCV、ECCV、IJCAI、AAAI、KDD、SIGIR、WWW、ACL、PAMI、IJCV等发表过论文或有竞赛经验者优先。