部门介绍
AI 数据与安全团队为 Seed 基座模型及 AI 原生应用提供跨模态数据服务，覆盖数据生产全流程，包含模型评估标准的制定、数据规模化生产、数据飞轮搭建，不断提升数据质量，支持模型快速迭代。 团队由产品经理、数据工程、数据运营等跨职能人才组成，并通过与 Seed 研究员、行业专家、全球顶尖数据供应商紧密合作，从真实场景中收集反馈并分析模型表现数据，解决 AI 前沿突破过程中的复杂数据问题，推动模型性能与用户体验的双重提升。我们既是帮助模型技术迭代的一线贡献者，也是模型和 AI 产品的一手用户。 日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。
- 构建评测任务与数据集：将真实使用场景转化为可复现的评测任务，明确任务输入、运行环境、预期结果及评分标准，持续补充典型案例、边界场景和失败案例；
- 开发自动化评测流程：使用Python等工具完成模型与Agent接入、任务批量执行、运行轨迹与工具调用日志采集、结果保存和报告生成，提升评测效率与可复现性；
- 设计和校准评分方法：结合规则校验、任务完成状态验证和LLM-as-a-Judge，评估任务完成情况、工具调用正确性、结果质量、耗时与成本，通过人工抽检和分歧分析，校准自动评分标准；
- 分析失败原因并支持迭代：阅读Agent运行轨迹，区分规划、工具选择、参数生成、上下文理解、环境异常等问题，沉淀可复现案例，支持不同模型、提示词和Agent版本的对比与回归评测。
岗位职责
招聘官网暂未提供完整岗位职责，请前往官网核实。
职位要求
- 本科及以上学历在读；
- 对大模型、Agent和模型评测有兴趣，愿意持续跟进相关方法并通过实验验证想法，具备Python编程能力，能够调用API、处理JSON和日志数据，编写批量运行、数据清洗与结果分析脚本，熟悉Git等基本开发工具；
- 理解大模型提示词/Skill、工具调用和多轮交互的基本原理，能够阅读运行轨迹并排查问题，有Agent开发或使用实践更佳；
- 具备清晰的分析和表达能力，能够将“回答好不好、任务有没有完成”拆解为可执行的判断标准，对数据质量、实验条件和结果一致性有耐心；
- 能够主动推进任务，清楚记录实验过程、问题与结论，并与研发、产品及评测同学协作。 加分项
- 有Agent、自动化测试、评测平台或Benchmark相关项目经验，能够展示代码、实验报告或具体案例；
- 有LLM-as-a-Judge、评测Rubric、人工与自动评分一致性分析的实践经验；
- 有浏览器或桌面操作Agent、代码Agent、检索与工具调用等场景经验，或参与过相关开源项目。
