岗位职责
课题背景: 随着大语言模型的发展,AI搜索正从简单的网页检索向自主规划的“智能体(Search Agent)”演进。传统的监督学习难以覆盖复杂的交互推理场景。为了提升AI搜索的准确性与有用性,亟需引入强化学习(RL)技术。通过构建符合人类评价标准(Rubrics)的奖励体系,引导Search Agent在多步搜索中进行自我进化与对齐,这是下一代智能搜索技术突破的关键所在。 课题挑战:
- Rubrics的量化与奖励设计:AI搜索的评价维度复杂(涵盖事实性、时效性、全面性等)。如何将这些多维度的Rubrics转化为稳定、无偏且易于优化的奖励模型(Reward Model)是一大难点。
- 多步决策中的稀疏奖励:Search Agent在执行拆解问题、调用检索工具、阅读并总结等多步操作时,通常仅在最终输出时获得反馈。探索空间巨大导致奖励信号极度稀疏,训练难以收敛。
- 模型对齐与幻觉抑制:在RL微调过程中,模型极易出现“钻规则漏洞(Reward Hacking)”的现象。如何确保Agent在追求高分奖励的同时,严格遵循客观事实、抑制幻觉,并与人类真实搜索意图高度对齐,充满技术挑战。 具体工作: 基于AI搜索Rubrics,设计并训练多维度的高质量奖励模型(Reward Model)。 运用PPO或DPO等强化学习算法训练Search Agent,优化其多步推理与工具调用的决策链。 攻克训练中的Reward Hacking难题,端到端提升搜索系统的整体质量。
职位要求
面向计算机科学、人工智能、机器学习、应用数学等相关专业的硕士或博士同学;在顶级学术会议(如ICLR, NeurIPS等)有相关论文发表经验者优先。 技术技能要求: 熟练掌握Python及PyTorch等深度学习框架;深入理解强化学习算法(如PPO、DPO、RLHF)及大模型微调技术;有Search Agent、RAG或奖励模型(Reward Model)训练经验者优先。 软性素质要求: 具备极强的自我驱动力和解决复杂开放性工程问题的能力;拥有优秀的沟通协作精神,能快速适应敏捷迭代的研发节奏;对探索前沿AI技术充满热情。