岗位职责
● 业务度量与分析 ○ 定义并维护 Agent 产品的核心业务指标体系，设计并落地因果分析方案，确保业务决策建立在统计严谨的基础上 ○ 通过数据分析定位产品问题，输出可行动的洞察 ○ 建立 dashboards 和 data driven 的组织文化，让团队对产品健康状况保持清晰认知 ● 效果评测体系： ○ 设计 Agent 能力的评测框架：覆盖单步准确性、多轮对话、工具调用、端到端任务完成等维度 ○ 构建和维护 benchmark 数据集，确保评测能真实反映用户场景 ○ 建立自动化评测 pipeline，支持模型迭代和 prompt 优化的快速验证 ● 诊断与归因 ○ 当产品指标下滑或出现异常时，能快速定位是模型问题、产品问题还是数据问题 ○ 分析用户真实 session，识别 Agent 的典型失败模式 ○ 将定量数据与定性分析结合，形成完整的问题诊断报告 ● 平台搭建： ○ 推动 Eval Platform（评测集管理、回归测试、CI/CD 集成）与 Data Platform（指标看板、实验平台）的建设，评估两者底层基础设施（如日志采集、数据仓库）的复用可能性
职位要求
● 5年以上 Data Science / Applied Scientist 经验，扎实的实验设计与统计方法论功底（A/B testing、因果推断、置信区间等） ● 有设计和落地评测体系的经验（LLM eval、产品 A/B testing 或传统 ML 评测），理解 LLM / Agent 的基本工作原理，读懂 prompt、理解 tool call、解析 trace ● 有从0到1搭建过数据或评测类平台的经验（LLM eval平台，A/B测试平台、数仓平台等），能够把需求抽象为平台后能力 ● 把模糊的产品问题拆解为可衡量、可自动化验证的指标体系 ● 强烈的 ownership 意识——指标是你的，问题是你的，答案也是你的 ● 强 SQL / Python 数据处理能力，能和产品、算法团队直接协作 加分项: ● 有 LLM / Agent 产品的评测经验（Prompt evaluation、LLM-as-judge、hallucination detection等） ● 有管理数据科学、评测团队或跨职能团队的经验 ● 有推动过质量门禁类流程（release gating、CI/CD质量卡点）的经验 Product & Operation
