大模型自动评测专家（文娱方向） - AI数据与安全

AI 数据与安全团队为 Seed 基座模型及 AI 原生应用提供跨模态数据服务，覆盖数据生产全流程，包含模型评估标准的制定、数据规模化生产、数据飞轮搭建，不断提升数据质量，支持模型快速迭代。 团队由产品经理、数据工程、数据运营等跨职能人才组成，并通过与 Seed 研究员、行业专家、全球顶尖数据供应商紧密合作，从真实场景中收集反馈并分析模型表现数据，解决 AI 前沿突破过程中的复杂数据问题，推动模型性能与用户体验的双重提升。我们既是帮助模型技术迭代的一线贡献者，也是模型和 AI 产品的一手用户。

1. 跟踪行业前沿的AI模型评估范式，为评估策略提供外部视角与创新思路，结合剧情与角色方向的评估目标，制定模型评估标准，致力于制定可成为行业共识的基准（Benchmark）；
2. 构建可复用的自动化工作流，从数据和模型层面优化评估过程和题库设计，确保评估的准确性和目标达成，探索自动评估、人工评估与线上模型迭代实验相结合的机制与流程；
3. 深入分析评估数据，挖掘数据背后的潜在趋势和问题，为产品研发团队提供详细且有针对性的反馈，助力模型性能的持续优化与提升；
4. 与协作部门建立有效的沟通机制，从专业视角确保模型评估报告的可靠性，保证评估结果能够准确传达，形成有效反馈与协作链路。
5. 本科及以上学历，理工科专业包含计算机、统计学、软件工程、人工智能等，文科专业包含汉语言文学、传媒、戏剧等，具有复合型学科背景者；
6. 有文本模型或多模态模型相关评估经验，具备优秀沟通协调能力和团队协作意识，有项目管理经验；
7. 具备Python编程能力，熟悉大模型数据评估流程，且拥有产品思维，能够深入剖析用户需求，具备较强的洞察能力；
8. 具备用户视角及产品思维，有文娱生态类行业的从业经验优先，深度理解娱乐化游戏特点（如：二次元、乙女游戏、网络小说、剧本杀、互动小说等各分类），能准确判断模型剧情编造能力、对话趣味性，反映用户真实满意度。