岗位职责
- 负责大模型（包括不限于T2V、I2V、MLLM模型）评测工作和评测体系建设，包括设计制定和完善评测方案、评测指标、评测数据收集和更新、评测执行，并输出专业评测报告；
- 参与评测相关自动化评测工具开发及维护，最大化提高评测效率；
- 以算法手段，对基座大模型和AI Native应用进行分阶段、端到端评测；
- 参与构建评测Agent工具链、对战平台、模型竞技场、模型效果判别模型、应用数据飞轮等工具链建设；
- 站在用户角度，对产品、算法发提出建设性的意见，在评测参与的各个流程中以用户视角保证产品体验。
职位要求
- 本科及以上学历，计算机、人工智能、大数据、统计等相关专业优先；
- 优秀的代码基础，至少掌握一门高级语言， 包括Python、C/C++、 Java；
- 了解 Transformer、Bert、DiT、CLIP、CNN、GAN、VAE、Diffusion Models等AI模型基本原理；
- 具备良好的数据化思维，能够基于数据分析结果给出分析结论，熟悉ACC、AUC、F
- recall等基本的模型评估指标计算方式；
- 良好的沟通能力和团队协作精神，严谨的工作态度与高质量意识，逻辑清晰、善于分析与总结，对大模型技术有热情和探索精神；
- 具备良好的视野，善于学习新的知识、阅读论文、动手能力强、有进取心。 加分项：
- 有扎实的美术素养、设计经验、视频创作影视导演编导、或者有互联网公司相关经验者优先；
- 参与AIGC、大模型相关的项目研发测试经验优先，有竞品大模型评测经验优先（如通义、即梦、混元等）；
- 有顶会论文、国家或国际奖项、专利获得者、算法竞赛获奖者优先考虑；
- 有训练或微调常见CV、NLP、LLM、MLLM模型经验优先；
- 熟悉常见算法、大模型评测基准、评测方法。
