岗位职责
- 跟踪海内外模型、评测及数据厂商的前沿动态,参与建设覆盖代码、办公、专业软件及垂直行业的评测体系,识别模型与 Agent 能力短板。
- 参与真实场景 Benchmark 建设与数据生产,协同领域专家、标注团队及供应商,完成需求拆解、任务设计、评分规范制定与质量验收。
- 分析用户数据、任务轨迹与反馈,挖掘问题与机会,设计实验方案、验证假设并分析结果,形成可执行的优化建议。
- 与算法优化同学紧密协作,将评测洞察转化为数据建设与 Agent 优化方向,通过回归评测验证效果,持续迭代评测体系与数据。
职位要求
- 计算机、人工智能、数学、统计等相关专业在读,对模型评测、数据建设、Agent 或大模型方向有兴趣。
- 具备良好的沟通协同能力,有课程项目、科研经历、实习经历或竞赛经历者优先。
- 具备数据处理、数据分析、Benchmark 建设、标注管理或相关项目经验者优先。
- 具备较强的理解能力与问题拆解能力,能够将业务场景或需求转化为可执行的任务定义或评测思路者优先。
- 熟悉常见 AI 工具,了解大模型研发基本流程;对 Agent、评测分析或数据驱动优化有一定理解者优先。