岗位职责
- 按照产品架构和业务要求，设计覆盖功能与非功能需求的评测策略，负责 AI/算法类产品的效果符合设计预期，保障系统稳定性；
- 面向复杂推理、Agentic Workflows 等前沿能力构建高难度评测集；开发支持万级并发、对接训练集群的评测流水线，实现 Checkpoint 边训边评与分钟级反馈；规模化落地LLM-as-a-Judge，解决开放式生成量化难题；对 Bad Case 做算法级归因，将洞察反馈 AI Research 团队，指导数据配比与合成数据生成；
- 研究评测相关新技术方法，攻克评测复杂技术/算法问题；
- 能结合AI行业发展趋势，制定合适的评测技术发展规划，提升团队技术视野和技术影响力。
职位要求
- 3 年以上互联网或传统行业算法/开发/测试经验，具备 1 年以上 AI/算法类产品评测经验（大模型 / 推荐 / 搜索 / NLP）；有基座模型评测工程经验者优先；
- 熟悉算法服务测试场景（精度验证、AB 实验评估等），熟悉常用评测指标（准确率 / 召回率 / F1-score 等），掌握 Bad Case 归因与评测数据集构建方法；
- 熟悉主流算法框架，熟练使用 Python/Java 等编程语言，有评测流水线 / 工具平台开发经验优先；
- 对新质技术敏锐度高，能快速理解 AI 产品特性，具备技术攻关与团队协作能力。
