岗位职责
- 按产品架构与业务要求，设计覆盖功能与非功能需求的评测策略，保障 AI/算法类产品效果符合设计预期与系统稳定性；
- 面向复杂推理、Agentic Workflows 等前沿能力构建高难度评测集；开发支持万级并发、对接训练集群的评测流水线，实现 Checkpoint 边训边评与分钟级反馈；规模化落地 LLM-as-a-Judge 解决开放式生成量化难题；对 Bad Case 做算法级归因，反馈 AI 研发团队，指导数据配比、合成数据生成、AI短板能力提升；
- 研究评测新技术方法，攻克评测复杂技术/算法问题；
- 结合 AI 行业趋势制定评测技术发展规划，提升团队技术视野与影响力。
职位要求
- 5年以上互联网/传统行业AI评测经验，含3年以上 AI/算法类产品评测经验（大模型/推荐/搜索/NLP），有基座模型评测工程经验者优先；
- 熟悉算法服务测试场景（精度验证、AB实验评估等），熟悉常用评测指标（准确率/召回率/F1-score 等），掌握 Bad Case 归因与评测数据集构建；
- 熟悉主流算法框架，熟练 Python/Java，有评测流水线/工具平台开发经验优先；
- 对新质技术敏锐度高，能快速理解 AI 产品特性，具备技术攻关与团队协作能力。
