岗位职责
- 负责AI业务评测体系设计与优化，深入补货、库存、采购及履约场景，与业务专家共同梳理目标、规则和风险，围绕相关业务场景制定评测标准、指标与流程，推动AI能力在复杂业务链路中的稳定落地，并持续提升AI的业务适配度和效果表现；
- 审计 AI 的业务判断、决策依据与执行结果，识别虚构事实、错误引用规则、无依据推断、虚报执行成功等幻觉问题，以及阈值不当、规则冲突、遗漏步骤和越权执行风险，提出优化建议。
- 建立数据驱动的问题发现与优化机制，开展样本构建、评测集维护、效果归因和风险识别，为业务决策和模型迭代提供客观依据。
职位要求
- 本科及以上学历，计算机、数据科学、统计学、信息管理、供应链或相关交叉领域优先，具备较强的业务理解与抽象分析能力；
- 熟练使用 SQL，能够独立完成取数、数据核验、指标分析和问题归因；理解指标口径、基线对比及效果验证，能够区分技术故障、业务规则问题与外部因素影响。
- 能够将业务目标、流程与规则转化为指标、评测场景及审计标准，既能判断 AI 是否做对，也能分析决策是否合理、业务效果是否改善，能够独立制定评测方案并推动跨团队协作。
- 理解大模型、知识检索、工具调用及多步骤智能体的基本工作方式，了解幻觉、信息不足与执行不确定性，能够结合业务事实、执行记录、人工审核与自动化评测判断结果，而非仅依赖模型评分；
- 具备良好的逻辑思维、沟通表达和抗压能力，关注行业趋势，乐于持续学习，能够以结果为导向推动问题闭环。
- 有业务质量管理、AI评测实践、具备供应链、电商或复杂业务场景经验优先。
