岗位职责
- 多模态数据体系构建：设计并实现 VLM 预训练数据的采集、清洗、标注全流程方案，涵盖通用图文对、OCR 数据、Visual Grounding/Counting 数据、3D 空间理解数据及视频时序数据等多类型数据，建立数据质量评估体系（如 CLIP 相似度过滤、标注一致性校验）。；
- 数据算法创新设计：研发多模态数据对齐算法，优化视觉 - 语言模态映射策略；设计高效数据增强方案，包括图像形变、文本扰动、跨模态混合增强等，提升模型鲁棒性与场景适应性；探索自动标注与数据合成技术（如 Grounding DINO 自动框标注、LLM 辅助问答生成），降低标注成本。；
- 预训练数据策略优化：结合 VLM 预训练目标（模态对齐、上下文学习、复杂推理），设计数据配比方案与训练数据筛选策略；迭代优化数据配方，解决数据冗余、分布偏差等问题，提升训练效率与模型效果。；
- 工程化落地与协作：搭建高吞吐率数据处理流水线，支持大规模多模态数据的并行处理与分布式训练适配；与模型训练团队协作，打通数据 - 训练 - 评测闭环，提供定制化数据解决方案；跟进 NVILA、InternVL 等前沿技术，推动数据算法的工程化落地。；
- 技术沉淀与创新：跟踪 VLM 领域数据相关前沿研究（如预训练数据设计、模态融合策略），主导技术攻关与专利申请；输出可复用的数据处理算法组件与技术文档，建立团队数据算法基准体系。
职位要求
- 计算机科学、人工智能、自动化等相关专业硕士及以上学历，1年以上多模态大模型或计算机视觉领域研发经验。；
- 扎实的算法基础：精通深度学习、计算机视觉与自然语言处理核心理论，深入理解 Transformer 架构、模态对齐原理及多模态预训练机制。；
- 工程能力突出：熟练掌握 Python 编程语言，精通 PyTorch 框架及 HuggingFace 生态，具备大规模数据处理（Spark/Flink）与分布式训练（DDP/FSDP/DeepSpeed）经验。；
- 数据处理实战经验：具备 VLM 预训练数据构建全流程经验，熟悉图像去重、图文匹配、自动标注、数据增强等关键技术，有亿级规模多模态数据集构建案例者优先。
