招聘中 社招

晓天衡宇-大模型评测集工程师-Agent评测方向

阿里集团

  • 北京

收录时间

岗位职责

  1. 环境与任务建模:把制造、金融、游戏、能源的真实业务流程拆成 agent 可交互环境与可评测任务,定义状态/动作空间、状态转移、终止条件与难度分层。
  2. 工具与沙箱:将领域仿真器、求解器与生产力工具封装为统一环境接口,做到确定性复现、快照回滚与并发 rollout。
  3. 奖励与判据设计:程序化判定优先、rubric judge 兜底,先判物理与业务可行性再算最优性 gap,区分"看起来对"与真正可行。
  4. 任务合成:建参数化生成器批量派生任务实例及 ground truth,注入扰动与陷阱样本,把通过率控制在 30%–70%。
  5. 质控与交付:制定标注规范、把控信度效度,管控污染泄漏与任务退役,与算法团队对齐接口与奖励口径,支撑评测、SFT 与 RL。

职位要求

  1. 领域背景:至少在制造工程、金融、游戏研发或能源中的一个方向有 3 年以上实际业务经验,能独立判断一个交付物在工程或业务上是否真的可行。
  2. 工程能力:Python 熟练,有仿真器、求解器、引擎或数据平台的封装与二次开发经验,能搭出可复现、可并发的沙箱环境。
  3. 评测方法:理解可验证奖励与 LLM judge 的边界,能设计程序化判定逻辑,熟悉信度效度、污染管控与难度分层等基本手段。
  4. 数据与标注:有评测集或训练数据的构建与质控经验,能写清标注规范并管理多人标注一致性。
  5. 协作与迭代:能与算法团队对齐接口与奖励口径,依据模型表现主动迭代任务,理解评测、SFT 与 RL 三类下游用途的差异。 加分项:有 LLM benchmark 相关项目、论文或开源贡献;熟悉两个及以上上述行业领域。

有些机会,只在官网短暂出现

真正值得关注的岗位,常常只在企业官网短暂开放,可能两三天后就下线,也未必会同步到综合招聘平台。没有持续关注,你甚至不会知道它曾经出现。职先机持续聚合并核验官网岗位,帮你抓住职场先机,快人一步。

微信小程序 / 当前岗位

在微信里继续看这个岗位

阿里集团晓天衡宇-大模型评测集工程师-Agent评测方向

扫码直达当前岗位收藏、浏览记录和下线提醒留在微信里
电脑端可直接微信扫码;手机端可保存小程序码后在微信中识别。
微信扫码在职先机小程序查看晓天衡宇-大模型评测集工程师-Agent评测方向正在准备岗位码
职先机微信小程序一岗一码 · 正式版直达保存小程序码

岗位提醒 · 01

收藏当前岗位,下线及时通知

当前岗位晓天衡宇-大模型评测集工程师-Agent评测方向阿里集团 · 北京

01

扫码进入当前岗位无需重新搜索,直接打开当前岗位详情。

02

收藏并开启提醒在小程序内收藏后,岗位下线或变化时及时通知。

03

继续查看相似机会原岗位变化时,可继续浏览相关在招岗位。

职先机会持续核验公开岗位;岗位状态与最终招聘结果仍以企业招聘官网为准。

微信小程序扫码打开当前岗位

扫码打开当前岗位,完成收藏并开启下线提醒。

微信扫码在职先机小程序收藏晓天衡宇-大模型评测集工程师-Agent评测方向正在准备岗位码

微信小程序 · 当前岗位

请前往微信小程序提交内推申请

阿里集团晓天衡宇-大模型评测集工程师-Agent评测方向社招 · 北京

01进入当前岗位扫码或打开后直达本岗位内推申请页。

02提交 PDF 简历简历替换、处理进度和消息提醒在小程序内同步。

手机端将尝试直接打开微信;电脑端请使用微信扫码。

微信扫码进入晓天衡宇-大模型评测集工程师-Agent评测方向内推申请页正在准备岗位码
当前岗位专属码扫码后无需重新搜索岗位保存小程序码

内推提示

暂不支持该岗位内推

如需投递,建议前往官网进行投递。