岗位职责
- 负责网易云商 AI 能力及 SaaS 产品线的整体质量保障工作，覆盖智能客服、营销服务、Agent、知识库、工单、报表等核心业务场景。
- 建设 AI 应用与传统 SaaS 系统相结合的质量保障体系，同时保障模型回答质量、RAG 效果、Agent 执行链路、业务流程、权限、数据一致性、稳定性和用户体验。
- 深度参与需求评审、技术方案评审和测试方案设计，识别业务规则、系统边界、异常流程、兼容性、安全性、性能和可维护性风险。
- 建设和维护自动化测试体系，包括接口自动化、Web UI 自动化、数据校验、回归测试集和 CI/CD 流水线集成，提升测试效率和交付稳定性。
- 设计并落地 AI 应用评测体系，包括评测集构建、自动化评测、人工标注、Prompt 版本对比、知识库命中率、幻觉率、工具调用成功率等评估机制。
- 推动基于 AI 的质量保障变革，将大模型/Agent 应用于需求分析、测试设计、用例生成、自动化生成、缺陷诊断、日志分析、风险评估、线上巡检和质量度量等 QA 场景。
- 深入分析线上问题和客户反馈，结合日志、监控、埋点、链路追踪、评测结果和业务数据，推动问题定位、根因分析、修复验证和预防机制建设。
- 推动质量左移和质量内建，沉淀测试规范、准入准出标准、缺陷度量、风险分级、线上质量指标、复盘机制和跨团队质量闭环。
职位要求
- 本科及以上学历，计算机、软件工程、人工智能、数据科学等相关专业优先。
- 具备 5 年及以上软件测试、测试开发或质量工程经验，有 SaaS、B 端系统、企业服务、CRM、客服系统、营销系统、协同办公等产品测试经验优先。
- 熟悉 SaaS 产品常见业务模型和质量风险，包括多租户、权限体系、组织架构、配置中心、流程引擎、数据隔离、报表统计、开放接口等。
- 具备扎实的测试分析和测试设计能力，能够从复杂业务规则中抽象测试场景，覆盖正常流程、异常流程、边界条件、兼容性和回归风险。
- 熟悉接口测试、Web/H5 测试、数据库校验、日志分析、性能测试、稳定性测试、发布验证等常规 QA 工作，并能独立完成测试方案设计和执行。
- 熟悉自动化测试体系建设，掌握 Python、Java、Go、JavaScript 等至少一种编程语言，有接口自动化、UI 自动化、测试平台或 CI/CD 集成经验。
- 熟悉数据库、缓存、消息队列、微服务、网关、任务调度、权限认证等常见后端技术，能够协助研发定位系统级问题。
- 具备 AI 应用测试或评测经验，能够针对非确定性输出设计评测标准、测试集、人工评审流程和自动化回归机制，覆盖准确性、稳定性、一致性、安全性、幻觉率、知识命中率、工具调用成功率等质量维度。
- 具备利用 AI 改造质量保障流程的意识和实践能力，能够将大模型/Agent 用于需求理解、测试点分析、用例生成、测试数据构造、自动化脚本生成、缺陷分析、日志解读、风险识别和测试报告生成，推动质量保障向数据驱动、Agent化、平台化演进。
