岗位职责
- 设计与研发LLM、VLM及音视频的大模型评测体系，支持大量的模型迭代与研发；
- 构建业务域场景的评测体系，支持各业务域的评测能力；
- 负责设计整体的评测体系、框架、以及大规模快速的分布式评测；
- 研发大模型评测框架与平台，能够可视化支持各种类型的评测。
职位要求
- 计算机等相关专业的本科及以上学历；
- 对主流大模型的原理以及相关评测平台相关工作有较深入的理解；
- 对于主流的大模型评测体系有较好的理解，比如Bigbench、Harness、OpenCompass等；
- 具备良好的业务理解能力、协作和沟通能力，逻辑思维和学习能力强。
