岗位职责
面向公司大模型、RAG、AI Agent及相关AI产物,参与AI安全算法、安全评测方法和智能化安全能力建设,帮助团队识别并治理AI系统在数据、模型、应用和智能体运行过程中的安全风险。 【方向1:AI安全防护方向】
- 参与AI产品及Agent系统的威胁建模,将安全风险转化为可检测的特征、样本、规则和算法任务;
- 围绕提示注入、越狱、敏感数据泄露、知识库污染、模型滥用等风险,研发内容分类、异常检测、风险判定和安全决策算法;
- 面向Agent身份权限、工具调用、MCP、记忆、沙箱及外部数据访问等关键环节,研究行为建模、调用链分析和异常行为识别方法;
- 探索LLM、RAG、Agent等技术在风险检测、策略生成、结果验证及风险研判等场景中的应用,提升安全防护效果;
- 建设防护算法的训练与评测数据,持续优化攻击检出率、误报率、漏报率及不同业务场景下的泛化能力;
- 持续跟踪AI安全前沿技术和AI引入的新型安全风险,结合业务需求推动算法研究成果转化为关键安全能力。 【方向2:AI安全测评/测试方向】
- 研究面向模型、RAG、Agent及AI应用的自动化攻击与风险发现方法,提升安全测评的覆盖率和有效性;
- 研究提示注入、越狱、敏感信息泄露、知识库污染、记忆污染、工具滥用及越权执行等攻击方法与样本生成技术;
- 分析AI能力与Web、API、身份权限、数据访问及第三方组件结合后形成的全链路风险,研究攻击路径生成和漏洞判定方法;
- 设计LLM与Agent安全评测Benchmark、攻击数据集和指标体系,建设攻击样本自动生成、变异与迭代算法;
- 跟踪前沿AI动态,总结攻防经验,探索利用LLM、Agent等技术提升AI漏洞发现、攻击路径生成和证据链分析效率。
职位要求
- 本科及以上学历,计算机、信息安全、人工智能、软件工程等相关专业,其他专业但具备相关实践能力者也欢迎投递;
- 熟悉Python及常用数据处理方法,了解机器学习、深度学习或自然语言处理基础,能够独立完成算法实验和原型验证;
- 了解大模型、RAG和AI Agent的基本原理,具备数据集构建、指标设计、对照实验和实验结果分析的基础能力;
- 了解AI Agent调用链路及相关安全风险,如Tool Calling、MCP、Skill、Sandbox、OWASP GenAI Security、MITRE ATLAS等;
- 对AI安全有持续兴趣,愿意主动研究提示注入、越狱、数据安全、Agent安全等新型风险;
- 具备良好的问题分析、快速学习、文档表达和团队协作能力。 【加分项】
- 参与过大模型安全、AI Red Team、Agent安全、Guardrail或AI安全评测相关项目;
- 具备模型微调、RAG检索优化、文本分类、异常检测、攻击样本生成或大模型评测相关实践;
- 参与过安全或AI数据集、评测指标、Benchmark的设计与建设;
- 参加过AI安全竞赛、算法竞赛、CTF、SRC或攻防演练;
- 有顶级会议/期刊论文、国际发明专利、开源算法项目或安全Benchmark贡献。