岗位职责
- 负责世界模型 / 视频生成模型的评测体系建设:搭建并迭代端到端评测框架,覆盖画面、动作、时序一致性、指令遵循、音画协同等多维度,支撑模型版本迭代决策与能力短板定位。
- 制定评测标准与规则:定义评测维度体系与打分口径(rubric),牵头产品、算法、评测多方对齐,形成可复用、可量化的评测基准。
- 构建与维护评测集:面向影视 / 剧情 / 表演等真实场景,结合线上数据分布构建分场景、分难度的评测题库,并持续迭代。
- 组织评测执行与质量管理:统筹人工评审流程(多轮评审 + 定标),管理评测团队与供应商,建立复盘培训机制保障评测一致性。
- 推动评测提效:探索 LLM / 多模态大模型自动化评测(机评)与人评结合,降低评测成本、提升出数速度;沉淀竞品对标分析。
职位要求
- 计算机视觉 / 图形学 / 物理学 / 多媒体等相关专业,硕士及以上学历。
- 具备多模态 / 视频生成方向的评测经验,理解视频质量、时序一致性、运动合理性等评估维度。
- 有评测体系 / 基准(benchmark)从 0 到 1 搭建经验,能独立定义评测标准与流程。
- 具备评测项目管理与统筹能力,能协调算法、产品、标注多方推进落地。
- 结果导向、逻辑清晰,对模型能力边界有敏锐判断,能把定性问题转化为定量结论。 加分项
- 有世界模型 / 文生视频 / 图生视频大模型评测经验。
- 熟悉 LLM-as-judge、自动化评测 / 机评 相关方法与实践。
- 有评测平台 / 数据标注工具的产品设计或落地经验。
- 熟悉影视 / 导演 / 分镜等专业内容领域,或有相关标注、寻源经验。
- 有较强的数据分析能力(Python / SQL 等),能自主完成评测数据处理与可视化。
