岗位职责
- 智能评测标准与自动化评测体系建设:定义并建设理财通 AI 助手「财小通」的智能评测标准与自动化评测体系,覆盖会话、行情解读、自选追踪等场景来源,以及文本、播客、图文等内容形态,驱动 AI 智能水平持续提升至金融行业领先水准;
- 产品定位到评测集的转化:将产品定位转化为可稳定执行的上限、下限评测集与评测方法,覆盖会话评测、自建报告评测,以及接入财小通的各项技能与能力评测;建立人工评测与 LLM 评测的一致率指标,保障评测结论可信;
- 模型能力与业务场景的结合方向探索:探索大模型能力与理财通各业务场景的结合方向,通过能力输出拓展使用场景,实现用户规模与使用深度的增长;
- 场景跳转进财小通后的承接服务质量:为各业务场景跳转进财小通后的承接服务质量负责——定义承接任务的可量化评测标准,评估承接表现并推动提升;同时反向对接各场景需要注入的上下文能力,统一梳理不同场景进入财小通的上下文注入方式,把「场景带了什么进来」与「财小通接得住什么」两侧对齐。
职位要求
- 5 年以上互联网产品或策略相关经验,具备独立负责过横向跨团队、跨业务的项目经验,能把一件「各业务线都用得上、但没有人天然会扛」的事做成标准与机制;
- 有 AI Agent 类产品经验优先,熟悉大模型工程化落地范式(Tool Calling、Multi-Agent、RAG),具备将模型能力转化为业务解决方案的能力;
- 有模型评测、算法或推荐策略经验优先;理解离线指标与线上表现的差异,不把单一指标当结论;
- 熟悉跨团队协作,能在产品、算法研发、平台工具方之间建立共识;具备较强的逻辑抽象能力,坚持用客观数据验证产品价值。