岗位职责
- 理解、研究用户与场景：深度理解阿宝（AI 版支付宝）用户的真实诉求与痛点，结合 AI 技术发展趋势，设计并优化产品的评测方向与重点；
- Agent 评测：负责阿宝（AI 版支付宝）的评估体系设计、评估结论产出，针对意图理解、任务规划、工具调用、多轮对话、记忆与个性化等 Agent 各环节提出改进建议，对产品迭代起到牵引作用；
- 负责 Agent 评测体系的平台产品化建设：设计模型能力及应用效果的评估体系，搭建评测流程和功能；调研行业最新评测研究和报告，结合实际应用场景，更新内部评测方案；
- 基于评测结果，监控端到端的体验与质量，定期输出评测问题归因报告；
- 与算法、工程、数据标注、业务运营团队紧密协作，设计评测标准、定义评估指标、评测集、Badcase分类、人工评审标准和自动化评测方案。
职位要求
- 有 C 端 AI 产品评测 / 体验度量 / 模型评估相关经验；
- 对 AI Agent 以及评测方法论有较好的理解，熟悉 Benchmark、数据集以及标注相关流程；
- 具备数据分析与实验设计能力，有数据可视化经验是加分项；
- 学习能力强，对 AI 产品有独立判断与体感，具备优秀的跨团队协作与沟通能力。 加分项
- 有大模型评测平台、数据标注平台、实验平台、A/B平台经验；
- 对通用智能体有深入了解和重度使用经验者优先。
