岗位职责
- 评测体系建设 深入理解公司 AI 产品业务场景，结合多模态大模型技术发展趋势，设计并持续完善模型评测体系，包括评测维度、指标定义、评测流程与方法论，确保评测结果能够客观反映模型能力变化与关键问题。
- 数据与评测标准建设 负责多模态大模型训练与评测数据的质量体系建设，包括数据标注规范制定、评测标准设计及数据集构建与优化，沉淀高质量数据资产，为模型训练与评测提供可靠基础。
- 模型评测与效果分析 联合产品与算法团队开展离线评测、场景评测及对比评测，系统分析模型表现与能力边界，输出结构化评测报告，支持模型迭代与产品优化。
- 评测场景与Benchmark构建 围绕核心业务场景构建评测任务与Benchmark体系，持续扩展评测覆盖范围，确保评测体系能够真实反映用户场景与模型能力。
- 数据驱动的优化闭环与行业对标 与算法、产品和数据团队协作，通过评测定位模型问题并推动数据补充与模型优化，建立“评测—分析—优化—复评”的迭代闭环，同时持续跟踪行业评测方法与Benchmark，优化内部评测框架。
职位要求
- 本科及以上学历，影视、编导、美学设计等相关专业优先；
- 具有2年及以上大模型项目经验，作为多模态大模型的深度用户，对文生图，文生视频大模型有丰富的实际操作经验，能提供对应的AIGC生图/生视频的作品优先；
- 有较好的美学基础，对镜头语言，分镜脚本，故事板等多个环节有所了解或对艺术美学有专项经验优先；
- 具备良好的数据分析能力，掌握Python、Excel等数据分析工具优先；
- 拥有良好的沟通协调能力和团队合作精神，能够与不同部门有效地合作。
