岗位职责
- 建设 Agent 评测体系:深入理解 Agent 在复杂真实场景下的能力边界,系统性构建涵盖多场景、多模态、多任务类型的评测方法论,将"效果好不好"转化为科学、可量化的能力度量体系。
- Benchmark 研究与产出:持续跟踪国内外 Agent 评测领域前沿,主导设计具有挑战性与行业影响力的 Benchmark,推动在小米内外部建立影响力。
- 数据驱动产品迭代:将评测洞察转化为高质量训练数据与产品优化方向,驱动产品与模型的持续演进。
- 跨职能协同:作为评测方向的核心角色,与算法、产品、工程等多团队深度协作,以评测视角影响产品决策。
职位要求
- 基础要求 -本科及以上学历,计算机、数学、统计或相关专业优先 -5 年以上相关工作经验,有 AI 产品或大模型领域背景优先 -对 Agent 技术方向有深入理解,能够独立判断评测方案的合理性与完整性
- 加分项 -熟悉主流 LLM / Agent Benchmark,有独立研究或复现经验 -有评测数据集构建或训练数据标注体系设计的实际经验 -有车载、IoT、手机 AI 助手等 AI 场景的从业经历
- 素质要求 -有强烈的产品直觉,能在技术语言与用户场景之间自由切换 -主动性强,能在方向模糊的环境中自驱推进,有强目标感 -对 AI 能力边界保持好奇心,热衷于深究"模型为什么在这里失败"