岗位职责
- 搭建Agent端到端评测体系，覆盖单轮问答质量、多轮对话一致性、工具调用准确率、任务完成率等维度。
- 构建和维护评测数据集（Golden Dataset），包括标准问答对、多步推理用例、边界Case、对抗样本等。
- 开发自动化评测Pipeline，集成到CI/CD流程，实现Agent版本发布前的自动回归测试。
- 设计Agent安全性评测方案，包括Prompt注入防御、信息泄露检测、权限越界测试。
- 对标Manus、Genspark等产品的Agent能力，定期进行竞品Benchmark对比评测。
- 输出评测报告，驱动算法和工程团队持续优化。
职位要求
- 本科及以上学历，2年以上AI/NLP评测或QA工程经验。
- 熟悉Agent评测框架：RAGAS、DeepEval、TruLens、AgentBench、PromptFoo中至少两种。
- 有评测数据集构建经验，熟悉数据标注流程与质量控制方法。
- 熟悉LangSmith、LangFuse等LLM可观测性工具，能追踪Agent全链路执行日志。
- 了解主流Agent Benchmark（SWE-Bench、WebArena、GAIA、ToolBench等）。
- 精通Python，有自动化测试框架开发经验。
- 了解红队测试（Red Teaming）、对抗性评测方法者加分。
- 有Manus、Genspark、Perplexity等AI Agent产品深度使用与评测经验者优先。
