岗位职责
- 与混元基座模型团队协同,负责基座模型的网络安全对齐,让模型能判断任务边界、识别恶意意图,覆盖对话和 Agent 执行(工具调用、代码执行、自主渗透决策)两类场景;
- 以真实风险案例、红蓝对抗产出和威胁情报作为初始样本源,构建 harmful/borderline/benign 分层数据。负责数据分布设计、质量控制,以及数据对模型收益的消融验证;
- 基于 LLM 生成、改写、变异、对抗搜索、多轮/多 Agent 轨迹合成,在扩大风险手法与场景覆盖的同时,控制分布偏移和数据污染;
- 建设网络安全对齐评测体系,同时度量有害请求的拒绝率和正常安全工作(漏洞研究、防御开发、合规渗透)的误拒率,并补齐 Coding / 客服 / 助手类 Agent 的执行层越权评测,用评测结果驱动数据和训练策略迭代;
- 研究大模型护栏与内生安全,对比分析外挂护栏(分类器 / 审核模型)与模型内生对齐的取舍和组合方式,探索偏好优化、拒答校准、推理链安全约束等方法;
- 跟踪国内外前沿进展(头部模型厂商的安全对齐和红队实践、学术界越狱与对齐研究),快速复现、验证并工程化落地。
职位要求
- 计算机、人工智能、网络安全或相关专业本科及以上学历;
- 理解 Transformer 和大模型训练流程(预训练 / SFT / 偏好对齐,如 RLHF、DPO 等),能独立设计实验、分析训练结果、定位数据或训练问题;
- 熟练使用 Python 和主流深度学习框架(如 PyTorch),具备大规模数据处理和模型训练/推理的工程能力;
- 具备网络安全基础认知,理解常见风险利用手法(Web/API 漏洞、渗透流程、恶意代码、检测绕过与规避技巧等),能判断安全请求的风险等级和意图;
- 能把模型安全拆成可量化的指标(有害拒绝率、误拒率、场景覆盖),并通过数据验证方法效果;
- 具备跨团队协作能力,能与模型训练、评测、安全研究团队高效对接。