岗位职责
- 评测体系设计：主导 AI 产品的评测体系搭建，定义评测维度、指标、标准和流程，确保评测的科学性和全面性；
- 评测方法论制定：设计适配不同场景（对话、工具调用、多轮交互、创意生成等）的评测方案，包括自动评测、人工评测、众包评测、竞品对比等；
- 评测平台产品设计：规划评测平台的产品架构和功能模块，输出 PRD，驱动研发团队落地；
- 评测洞察与决策支持：深度分析评测数据，发现产品体验问题和模型能力短板，输出有洞察力的评测报告，推动产品和算法团队优化；
- 竞品评测与行业跟踪：持续跟踪业界竞品的能力变化，建立常态化竞品评测机制；
- 标注体系管理：设计标注规范和质量控制流程，确保评测数据质量。
职位要求
- 本科及以上学历，计算机、统计学、心理学、语言学或相关专业优先，3 年以上产品经理经验；
- 具备 AI/NLP/对话系统相关评测工作经验，有评测体系从 0 到 1 搭建经验者优先；
- 熟悉 AI 产品评测的科学方法，包括评测指标设计、统计显著性检验、评分者一致性（Kappa/ICC）、A/B 实验设计等；
- 具备评测平台或数据平台的产品设计经验，能独立输出完整的产品方案；
- 对 LLM / AI Agent 产品有深刻理解，熟悉主流 AI 产品的能力边界和用户场景，具备一定技术背景者优先；
- 优秀的数据分析能力，能从海量评测数据中提炼关键洞察；
- 熟悉多模态（图像、视频、语音）评测方法和指标体系者优先；
- 有标注团队管理或众包平台运营经验者优先；
- 出色的文档撰写和跨团队沟通能力，能有效推动多方协作。
