岗位职责
- 评测体系设计 - 针对电商搜索（query→item 相关性、意图覆盖、长尾、新品冷启等）和推荐（相关性、惊喜度、多样性、疲劳度、场景适配等）定义多维度评测标准与打分规则； - 建立分层评测框架：badcase 排查 · 离线评测集 · 在线人工巡检 · A/B 主观补充评估。
- 数据 & 流程建设 - 主导评测样本的采样策略（高价值流量、长尾、争议 case、回归集等）； - 设计 query/item 标注 SOP、培训机制、质检与一致性（IAA）管理； - 建设可复用的评测平台/工作流，将一次性评测沉淀为可回归的资产。
- 碳基 + 硅基协同 - 推动 LLM-as-a-judge 在大规模评测中的落地，与人工评测形成互校验闭环； - 设计 prompt、校准方法与置信度机制，控制硅基评测的偏差与漂移； - 将主观评测信号回流到模型训练（SFT/RLHF/偏好对）与策略迭代。
- 驱动业务决策 - 将评测结论翻译成搜推算法、产品、运营可执行的优化方向； - 作为搜推方向的"质量代言人"，参与重大版本、模型升级、策略变更的 go/no-go 决策； - 定期对外输出搜推体验质量报告。
- 团队搭建与管理 - 组建并培养评测分析师、标注运营、评测算法工程师组成的复合团队； - 与算法、产品、数据、标注供应商建立稳定的协作机制。
职位要求
- 至少 3 年聚焦在搜索 / 推荐 / 内容质量 / 评测体系，有团队管理经验优先； - 深入理解电商场景的搜推业务链路（query 理解、召回、粗排、精排、重排、多目标）以及对应的质量痛点； - 主导过 0→1 或 1→10 的评测体系搭建，包括标准制定、流程沉淀、平台化建设； - 熟悉 NDCG / GSB / side-by-side / preference labeling等主流主观评测方法，能根据业务场景设计合适的方案； - 数据敏感，能够从主观评测样本中识别系统性问题并量化影响。 强烈加分 - 有 LLM-as-a-judge / 模型自动评测的设计或落地经验，理解硅基评测的偏差来源与校准手段； - 有 RLHF / 偏好数据 / 评分模型 训练数据建设的经验； - 在头部电商（综合 / 垂类 / 跨境）担任过搜推质量或评测负责人； - 有标注供应商管理、众包评测、专家评审池建设经验。 我们看重的特质 - 业务体感优先：愿意亲自看 case、亲自做几轮标注，而不是只看报表； - 既能往下扎、又能往上抽：能把一条 badcase 讲清楚，也能把一个评测框架卖给老板； - 闭环意识：评测不是终点，能推动结果真正回流到迭代里。
