岗位职责
- 构建游戏模型评测体系:通过紧跟先进模型及应用的前沿发展,设计全面、准确的多维度指标,建立覆盖多模态(文本/语音/图像/视频/3D等)生成、多模态理解等全面、多维度的评测体系;
- 构建游戏模型评测流程:协同多方相关团队梳理并构建游戏模型评测流程,定期监控模型效果,分析问题并提供优化方案,把模型评测流程高效落地;
- 积极洞察行业动态:持续完善评测体系、快速反馈行业动态及模型能力,发现行业模型以及应用的前进方向、亮点;
- 结果归因:通过各种数据分析方法,深度分析模型评测结果,为模型的更新调优提供精准的问题分析结论。
职位要求
- 计算机等相关专业硕士或以上学历,对大模型和游戏都有深度了解;
- 了解大模型的基本原理和评测方法,能设计合理的评测指标和评测流程;
- 具备数据分析能力,能从评测结果中提炼规律、定位问题根因、输出可执行的优化建议;
- 有评测系统或质量保障系统的开发经验,能独立设计自动化评测流水线;
- 具备 Python 工程能力,熟悉常用数据分析和可视化工具;
- 逻辑严谨,注重细节,能在主观评价与量化指标之间找到平衡;
- 拥有出色的沟通协调能力、严谨的逻辑思维能力与深度数据分析能力,善于发现问题并提出系统性解决方案,具备良好的团队协作精神。