岗位职责
- 深入理解财富管理场景中的用户需求,结合用户访谈、真实交互记录、业务数据与用户反馈,识别关键能力问题,明确模型、Agent优化目标;
- 通过评测驱动Agent能力迭代,将用户任务与业务目标转化为评测维度、测试集和评分标准,持续校验评测结果与用户实际体验的一致性,迭代评测体系;
- 牵引跨团队效果优化,通过benchmark和系统的trace归因,联动评测、算法、数据及工程团队,将问题诊断转化为明确的优化任务、数据需求和验收标准,推动模型、策略与产品迭代,并持续跟踪问题解决情况。
职位要求
- 3-5年以上互联网/金融场景,其中至少1年AI产品评测相关经验;有金融、投研、财富管理等专业场景的产品或评测经验;
- 有LLM的基础知识,理解Agent的基本工作机制,熟悉常见的Agent框架;
- 具备LLM评测相关的知识,有通过评测驱动产品迭代或模型能力提升的实操经验;
- 有扎实的数据分析、跨团队沟通协作等基本功。