招聘中 社招

业务技术-AI Agent评测专家(Code/Work方向)-杭州

淘天集团

  • 杭州

收录时间

岗位职责

  1. 深度使用主流Code/Work类Agent产品完成真实的长程任务,通过多轮交互、工具调用和结果验证,系统分析Agent在多步规划、指令跟随、上下文管理、信息缺失处理和执行中的纠错恢复等方面的能力短板与失败模式;
  2. 针对规划、工具调用、多轮交互、指令跟随等核心能力,构建覆盖不同场景、难度和异常情况的长程任务与边界用例;明确任务输入、运行条件和验收标准,通过可复现的评测与重复实验,识别不同Agent/模型的能力差异,结合业界技术进展与真实用户需求,持续迭代评测集与标准;
  3. 从准确性、完整性、约束满足度和实际可用性等维度评估交付物,结合Rubric设计、程序化校验、人工评测和LLM-as-Judge,持续校准评分标准、验证评分一致性,提升评测结果的可靠性;
  4. 基于执行轨迹定位失败环节,区分模型能力、Agent策略、工具接口及运行环境等因素,输出清晰的评测结论和优化建议;将典型失败模式沉淀为新的评测用例和改进数据,协同研发、算法团队推动修复,并通过回归评测验证效果。

职位要求

  1. 重度使用过Claude Code、Codex等主流Code或Work类Agent产品,能独立完成复杂开发、文档处理、数据分析或研究等真实任务,对Agent的能力边界、使用体验和交付质量有自己的理解与判断;
  2. 主导或深度参与过Code或Work类Agent的评测,熟悉Rubric设计、人工评测和LLM-as-Judge,理解评测偏差和随机波动对结论的影响,能将开放式任务转化为可执行的评测方案与评分标准;
  3. 熟练掌握Python,能独立编写数据处理、评测脚本和结果分析工具,具备基本的统计分析和实验设计能力;
  4. 自驱力强,能独立发现问题、定义问题并推动解决;逻辑清晰、表达准确,善于跨团队协作,能够将评测发现转化为具体的改进建议。

相似岗位

有些机会,只在官网短暂出现

真正值得关注的岗位,常常只在企业官网短暂开放,可能两三天后就下线,也未必会同步到综合招聘平台。没有持续关注,你甚至不会知道它曾经出现。职先机持续聚合并核验官网岗位,帮你抓住职场先机,快人一步。

微信小程序 / 当前岗位

在微信里继续看这个岗位

淘天集团业务技术-AI Agent评测专家(Code/Work方向)-杭州

扫码直达当前岗位收藏、浏览记录和下线提醒留在微信里
电脑端可直接微信扫码;手机端可保存小程序码后在微信中识别。
微信扫码在职先机小程序查看业务技术-AI Agent评测专家(Code/Work方向)-杭州小程序码按需加载
职先机微信小程序一岗一码 · 正式版直达

岗位提醒 · 01

收藏当前岗位,下线及时通知

当前岗位业务技术-AI Agent评测专家(Code/Work方向)-杭州淘天集团 · 杭州

01

扫码进入当前岗位无需重新搜索,直接打开当前岗位详情。

02

收藏并开启提醒在小程序内收藏后,岗位下线或变化时及时通知。

03

继续查看相似机会原岗位变化时,可继续浏览相关在招岗位。

职先机会持续核验公开岗位;岗位状态与最终招聘结果仍以企业招聘官网为准。

微信小程序扫码打开当前岗位

扫码打开当前岗位,完成收藏并开启下线提醒。

微信扫码在职先机小程序收藏业务技术-AI Agent评测专家(Code/Work方向)-杭州小程序码按需加载

微信小程序 · 当前岗位

请前往微信小程序提交内推申请

淘天集团业务技术-AI Agent评测专家(Code/Work方向)-杭州社招 · 杭州

01进入当前岗位扫码或打开后直达本岗位内推申请页。

02提交 PDF 简历简历替换、处理进度和消息提醒在小程序内同步。

手机端将尝试直接打开微信;电脑端请使用微信扫码。

微信扫码进入业务技术-AI Agent评测专家(Code/Work方向)-杭州内推申请页小程序码按需加载
当前岗位专属码扫码后无需重新搜索岗位

内推提示

暂不支持该岗位内推

如需投递,建议前往官网进行投递。