岗位职责
【课题背景】 高质量数据是大模型展现涌现能力与价值对齐的基石(即“Garbage in, garbage out”)。当前数据处理高度依赖人工配置,效率低下。随着参数红利减弱,数据质量成为突破性能瓶颈的核心。本课题旨在构建基于 Agent 的智能化数据质量评估与治理框架,通过大模型自身的规划能力实现数据清洗、合成的端到端自动化,打造“评测牵引-数据优化”的无缝闭环,以高质量数据飞轮反哺模型迭代。 【课题内容】
- 构建多维度数据质量评估体系:定义并量化数据质量标准,覆盖纯净度、语义多样性、逻辑复杂性及安全性(去毒/去偏),并针对多模态(图文/音视频)及垂直领域(代码/数学)制定差异化评估策略。
- 研发基于 Agent 的自动化数据治理架构:构建数据智能体,根据模型训练需求自动编排数据流水线,智能调度启发式规则、轻量级模型打分及大模型(LLM)数据重写与合成等核心算子。
- 数据处理算子的大模型化抽象:将传统的数据清洗与增强规则整合、抽象为统一的“数据处理大模型”,大幅提升算子在复杂多模态任务中的泛化能力与长尾 Bad Case 处理上限。
- 构建“评测-数据-模型”协同进化闭环:打通评测智能体与数据智能体的交互链路,使评测发现的模型短板能自动触发数据 Agent 进行针对性的低质数据裁剪、高质量数据合成与版本演进,实现数据飞轮的自动化运转。
职位要求
- 具备扎实的 NLP/多模态领域算法基础,深刻理解大模型(LLM/VLM)的基本原理与演进趋势,对 Data-Centric AI(以数据为中心的AI) 理念、数据质量评估标准以及高质量预训练/对齐(SFT/RLHF)数据构建有深入研究;
- 熟练掌握海量数据清洗、去重、过滤等核心技术,有基于大模型的数据合成与重写(Data Synthesis/Rewriting)实战经验;熟悉并实践过 Agent 核心技术(如 Tool-use、复杂 Pipeline 编排),了解如何利用 Reward Model 或 LLM-as-a-Judge 进行数据质量打分与动态筛选者优先;
- 熟练掌握 PyTorch 等主流深度学习框架,熟悉分布式数据处理框架(如 Spark、Ray 等)以及主流 Agent 开发框架(如 LangChain、AutoGen 等),代码熟练,具备优秀的端到端自动化数据流水线工程化落地能力;
- 在 ACL、ICLR、NeurIPS、KDD 等顶会发表过高质量论文(尤其是 Data-Centric AI、数据合成、大模型对齐、Agent 架构等相关方向),或在相关知名开源数据处理项目(如 Data-Juicer 等)、高质量开源数据集发布中做出过重要贡献。