岗位职责
和算法团队一起，把 Agent 的「好不好用」变成一套可量化、可复现、可回归的评测体系——从定义标准，到搭工具，再到让它进入每一次版本发布。 岗位职责： 1）评测标准：定义评分维度与 rubric（任务完成度、事实正确性、约束满足、工具调用、时延与成本），给出可打分的正反例 2）评测集建设：从真实线上流量采样，覆盖 AI 搜索 / 导购 Copilot / 行程规划 / 智能客服，维护回归集与 badcase 闭环 3）工具链开发：批量跑测、LLM-as-Judge 多裁判、人工复核、版本对比与自动回归，结果做成看板 4）归因与落地：失败样本定位到理解 / 召回 / 工具调用 / 生成，推动评测接入发布流程
职位要求
- 在读非应届本硕(毕业时间为28年及以后)、Python 扎实、懂 LLM 应用范式及失败模式、有评测意识（指标/基线/对照）、能把模糊问题拆成可验证方案。
- 用过评测框架（OpenAI Evals / promptfoo / DeepEval / LangSmith / RAGAS）、懂 A/B 与统计显著性或有 Agent/RAG 项目、能 SQL 取数并搭看板。
- 有推荐、搜索、广告相关经验优先
- 良好的逻辑思维，对数据敏感，能够从关键数据中抓住核心问题。具有良好的团队合作意识、理解沟通能力以及独立解决问题的能力
