岗位职责
- 负责建设面向安全场景的大模型评测体系，涵盖通用能力评测与安全业务场景定制评测，构建基于LLM-as-Judge、自动化评测模型训练与人工评估相结合的多维度评测框架，保障评测结果的全面性和可靠性
- 建设基于真实安全攻防场景的Agentic评测环境，构建面向安全长程任务的Agentic评测，提升大模型在安全场景的Agentic能力
- 跟踪业界主流安全大模型评测方法与Benchmark动态，持续优化内部评测体系，对标行业前沿能力水平，发布开源评测集
- 深度参与大模型迭代过程中的知识与评测驱动优化，建设“评测归因分析→知识短板发现→训练数据生产→模型训练增强→评测反馈验证”的高效自进化闭环，以评测数据反哺训练，用领域知识增强训练数据，持续提升模型在安全场景中的能力表现
职位要求
- 计算机、人工智能、信息安全或相关专业硕士及以上学历，1年以上大模型研发相关工作经验
- 精通大模型基本原理与训练方法，了解常见攻击手法、防御机制、日志分析或漏洞原理，有安全业务经验优先
- 熟悉安全主流Benchmark与评测框架，有Rubrics评测、Arena对战评测等评测方法实践经验者优先
- 具备优秀的结构化思维和数据分析能力，能够从评测数据中提炼模型短板、定位根因、驱动优化方向，善于沟通和跨团队协作
- 动手能力强，具备优秀的工程落地实现能力，熟悉Agentic评测沙箱搭建者优先
- 在大模型、AI或安全顶会（ICLR/NeurIPS/ACL/EMNLP/USENIX Security等）以第一作者身份发表过论文优先
- 加分项：有大模型数据合成或评测经验优先
