岗位职责
- 通用评测体系建设：包括评测标准，评测集，评估能力，评测结果分析与归因等系列能力建设，跟踪前沿评测技术与Benchmark趋势，开展技术调研与创新实践，推动评测体系升级；
- 评测分析：基于评测结果进行分析与诊断，挖掘模型或Agent在推理、规划、工具调用、代码执行等环节的问题，并输出改进建议。
职位要求
- 本科及以上学历，计算机科学、人工智能、软件工程等相关专业；
- 对主流大模型的原理、能力边界及典型应用场景有较深入理解，熟悉大模型与Agent的常见评测方法；
- 具备良好的工程基础，能够参与或主导评测框架、工具或平台的设计与实现；
- 具备良好的业务理解能力、沟通与协作能力，能够与算法、产品、运营、研发团队高效协作，有技术判断力，逻辑思维清晰，学习能力强，能够推动评测体系在业务中的落地；
- 坦诚清晰、积极乐观，责任心强、有主人翁意识，工作认真细致严谨，热爱技术，有较强的学习能力，有强烈的求知欲、好奇心和进取心，能及时关注和学习业界最新技术，对解决挑战性问题充满激情。 加分项：
- 对大模型技术及其应用有浓厚兴趣，有Agent及大模型评测体系建设经验、熟悉大模型训练、或熟悉LLM-as-a-Judge相关经验者优先；
- 有Agent在复杂业务场景的落地经验或多Agent系统设计经验的优先；
- 积极参与开源社区，有相关贡献者优先。
