岗位职责
- 评测体系建设:深入洞察搜索场景下的用户需求与意图,系统性拆解并优化搜索体验的评估标准与打分维度,主导Benchmark数据集的构建和迭代,形成科学的体验评测体系
- 自动化评测能力建设:持续优化基于LLM-as-a-Judge的评测方案,建立机评与人评一致率的量化监控机制,对机评的效果和稳定性负责,推动评测提效
- 与产品、研发及业务团队建立深度协作机制,推动“问题发现—归因分析—方案落地—效果验证”的闭环工作流程,对核心体验指标及Badcase率的持续改善负责 深入参与大模型评测的全流程体系,能够落地应用新的技术能力,不限制职能,鼓励充分探索,成长空间大 通过评测牵引优化,对真实的用户体验和业务场景有实际的影响和帮助 高频协同产品、研发、业务多方团队,影响力横跨搜索全链路,是体验改善的关键推动者
职位要求
- 本科及以上学历,计算机、统计学、人工智能等相关专业优先,3年以上搜索/NLP/大模型相关工作经验。
- 具备扎实的评测方法论基础,熟悉Benchmark构建、评测集设计、Rubrics构建等,有大模型评测相关项目经验者优先。
- 沟通协作能力强,有跨团队项目推动经验,能高效协同产品、研发、业务多方达成目标;对行业评测方法有持续关注者优先。