岗位职责
- 智能化测试体系，构建AI驱动的测试方案，覆盖LLM应用、Agent系统、多模态产品；基于大模型实现用例自动生成、回归智能筛选、日志根因定位。
- AI系统专项评测，搭建LLM评测体系：幻觉检测、指令遵循度、输出稳定性；设计Agent端到端测试框架：工具调用、多轮对话、任务执行链路；建设RAG检索质量评估方案。
- 评测基建与数据。设计评测数据集与benchmark，量化模型能力；构建质量数据飞轮，将缺陷反馈转化为质量洞察；开发智能缺陷分析工具。
- 工程化平台。打造AI-Native测试平台，集成Prompt管理、A/B评测、自动报告；推动CI/CD智能化升级，质量看板数据驱动。
职位要求
- 本科及以上学历，良好的计算机基础，熟练使用C家族/Java/Python/Ruby/JavaScript/Shell中至少一种；
- 广阔的技术视野，对前沿技术和方法有极强的探索欲；
- 严谨负责、思维缜密，有很强的主动性和逻辑思维能力；
- 对提升应用交付质量及效率有浓厚兴趣；
- 了解大语言模型的基本能力，对AI赋能测试效率提升有好奇心，有使用AI工具辅助测试或开发的经验者优先。 具备以下经验者优先：
- 有hacker精神；
- 有使用大模型辅助测试的经验，如利用LLM生成测试用例、分析缺陷根因等；
- 了解AI模型测试方法，如大模型输出质量评估、幻觉检测、安全测试等。 【岗位亮点】
- 广阔的平台，多样化的业务，足够的技术探索空间；
- 良好的导师指导和培训机制；
- 大模型与测试深度融合，可参与构建AI驱动的智能质量保障体系。
