岗位职责
- 牵头算法团队 AI 提效：梳理问题定义、数据处理、模型研发、效果评测、Bad Case 分析和上线复盘等工作流，识别适合 AI 自动化的环节；推动编码 Agent、数据分析 Agent、评测 Agent 等能力落地，将规则分析、SQL 查询、样本处理、版本对比、Case 聚类、问题归因和报告生成沉淀为可复用的 Workflow、Skill 或平台能力，并对实际使用率、稳定性和提效收益负责
- 建立模型质量评测体系：建设传统模型、大语言模型、多模态模型和 Agent 的统一评测标准，包括 Golden Set、难例集和长期回归集；Precision、Recall、覆盖率、稳定性、一致性等模型指标；Agent 的任务完成率、工具调用成功率、证据准确性、人工介入率、时延和成本；上线前准入、版本对比、回归测试，以及上线后的灰度、抽检和效果监控
- 建设数据与质量迭代闭环：推动大盘抽样、难样本回流、人机分歧样本、机器标注与人工复核等数据生产机制；针对线上 Bad Case，区分规则、标签、数据、模型、Prompt、工具、策略和系统问题，推动问题转化为新规则、新样本、新评测 Case 或模型优化项
- 推动跨团队落地：协同算法、工程、产品、策略、运营、审核和质检团队，明确输入输出、验收口径和上线标准，组织重点模型与 Agent 项目的效果评审和质量复盘
职位要求
- 本科及以上学历，具备算法运营、模型评测、数据运营、AI 产品、风控或内容安全相关经验
- 理解机器学习和大模型应用的基本生命周期，能够判断数据、指标和算法方案是否可信
- 具备评测集建设、指标设计、抽样分析、版本对比或 Bad Case 归因经验
- 熟练使用 SQL，能够借助 AI 编程工具完成数据分析、评测脚本或工作流原型
- 对 Prompt、RAG、Tool Calling、Agent Workflow、Skill、Trace 等有实际理解
- 具备较强的结构化思考、跨团队推动和结果闭环能力
