岗位职责
- 设计 AI 搜索的评测产品体系，覆盖搜索大盘评估、策略迭代评估、RL 训练数据支持三类场景，建设自动化评估能力，让评估本身可规模化。
- 与模型和算法团队深度协作，把"搜索质量"这种模糊的体感问题，拆解为可量化的指标体系与可执行的标注方案。
- 探索多模态场景下的评测方法，针对不同模态的特性设计差异化的评估框架。
- 推动评测结论真正落地——影响策略方向、影响产品决策、影响下一轮模型迭代。
职位要求
- 5 年以内工作经验，有过完整的评测体系设计或搜索/推荐产品经验，理解搜索作为产品的核心逻辑与北极星。
- 理解 LLM 的能力边界与失败模式，对 AI 评测的三个关键命题——标注质量保障、自动化评估（含 LLM-as-a-Judge）、人机协同流程——有自己的判断和实践认知。
- 结构化思维强，能把含糊的质量诉求拆成可执行的指标树；具备跨团队协作的推动力，能让算法、标注、产品三方在同一套语言下对齐。 加分项
- 有过AI精标语料撰写和标注经验
- 有过 RLHF / RLAIF 数据流程或评估闭环的设计经验。
- 对多模态模型评估有过实际探索，有数据分析能力，能独立完成评估结果的统计显著性判断与归因分析。
