岗位职责
- 负责多模态大模型与 AIGC 技术的研发和落地,围绕支付宝首页、短视频、广告、搜索、推荐等业务场景,探索图片生成、视频生成、多模态内容生成与理解等方向。
- 参与图片、视频及多模态基础模型的预训练和后训练,包括但不限于 Pre-training、SFT、偏好对齐、强化学习、模型蒸馏及生成质量优化,持续提升模型的生成质量、语义一致性、可控性与业务适配能力。
- 推进 AIGC 技术在真实业务中的应用,包括但不限于广告创意生成、商品及服务素材生成、短视频生成与编辑、首页内容生产、智能改写、多模态内容创作和个性化生成。
- 融合图像、视频、文本、语音及用户行为等多源信息,研究多模态统一表征、语义对齐与内容理解技术,构建覆盖数十亿规模供给的标签、Embedding、Semantic ID、知识图谱等特征体系。
- 通过结构化理解与生成式建模,打通用户、内容、商品和服务之间的语义空间,支持跨模态检索、搜索推荐、广告投放、用户兴趣建模及供需匹配。
- 跟踪并探索生成模型、多模态大模型、RAG、AI Agent、强化学习及高效推理等前沿技术,结合业务问题完成技术选型、方案设计、模型训练及规模化落地。
- 建立多模态理解与生成模型的训练、评测和迭代体系,持续优化模型在生成质量、真实性、安全性、可控性、个性化及业务效果等方面的综合表现,实现技术创新与业务价值的双重突破。
职位要求
- 计算机、数学、人工智能或相关专业,具备扎实的机器学习与深度学习基础,熟悉计算机视觉、自然语言处理、生成模型或多模态学习中的一个或多个方向。
- 熟悉主流多模态大模型与 AIGC 技术,对 Transformer、Diffusion Model、自回归生成、多模态预训练、视觉语言模型等技术有较深入的理解或实践经验。
- 在以下一个或多个方向具有实际经验:图片生成、视频生成、多模态内容理解、基础模型预训练、模型后训练、偏好对齐、强化学习、模型蒸馏或生成式应用开发。
- 具备良好的算法研发与工程实现能力,熟悉 PyTorch 等深度学习框架,能够完成数据构建、模型训练、效果评测、性能优化及业务落地。
- 具备优秀的问题分析和解决能力,能够将复杂业务问题抽象为算法问题,并通过模型、数据和系统的协同优化取得可衡量的业务效果。
- 具有较强的自驱力、学习能力和团队协作意识,能够持续关注并快速实践多模态大模型与 AIGC 领域的前沿进展。 加分项
- 具有大规模图片或视频生成、多模态预训练、模型后训练、跨模态检索、Semantic ID、生成式推荐或多模态 Agent 项目经验。
- 具有亿级或十亿级数据处理、分布式训练、模型压缩、推理加速及大模型线上部署经验。
- 具备从基础模型训练到实际产品应用的完整项目经验,或曾推动 AIGC 技术在广告、短视频、内容平台、搜索推荐等场景中落地。
- 在 CV、NLP、多模态或 AIGC 相关国际竞赛中获奖,或在 CVPR、NeurIPS、ICCV、ECCV、ACL、EMNLP、ACM MM、AAAI、IJCAI、TPAMI、TIP 等会议或期刊发表过论文。