岗位职责
-评测体系设计：从用户真实工作出发，设计覆盖任务域、交互形态、行业人群、能力维度的评测框架和分级标准，定义北极星指标与核心评测指标，并能论证体系的完备性与可信度 -评测集建设：主导题目来源规划（真实场景、用户研究、线上回流、前瞻任务），建立出题规范、rubric 规范和质量准入机制，持续迭代 -专家与标准治理：组建并管理金融、教育等垂类领域的专家网络，把专家判断转化为可复现的评分标准；建立人工评分与 AI 评委的一致性校准机制 -竞品对标与决策支撑：完成产品和主流竞品的横向评测，输出能力短板归因和迭代优先级建议，推动算法和产品团队落地 -评测闭环：与算法、工程团队协作搭建评测管线，打通"评测 → 归因 → 优化 → 回归"的闭环
职位要求
必须： -一定的产品、评测或数据相关工作经验，负责过大模型/AI 产品的评测工作 -参与过评测集或 Benchmark 的建设 -熟悉主流大模型评测方法，了解业界主流 Agent Benchmark -深度使用 AI Agent 产品，对办公类任务的能力边界有判断 -有较强的结构化思考和书面表达能力 加分： -有Office/办公协同、金融研究、教育等垂直领域的产品或从业经历 -有组织外部专家或标注团队、建立质检体系的经验 -能写 Python 脚本，做数据分析或自动化校验 -发表过评测相关论文，或参与过开源 Benchmark
