岗位职责
- 研发面向数据湖的多模态数据处理算法与算子,包括图像/视频去重、视频切分、特征与 embedding 提取、图文匹配、基于 VLM 的自动标注与 caption 生成、数据质量评分与过滤、数据增强等,覆盖图像、视频、点云、轨迹等模态。
- 建设多模态数据湖计算引擎,支持 SQL 与 Python DataFrame 混合编程,将模型推理等 AI 算子纳入查询优化与执行计划,实现跨模态关联分析与流水线编排。
- 面向大规模数据处理与批量模型推理,优化分布式调度、批处理策略及 CPU/GPU 异构资源利用,解决计算、显存与内存瓶颈。
- 与存储团队协同优化数据读取路径,包括谓词与投影下推、数据分片与局部性、GPU 数据加载及结果写回,降低 I/O 与数据传输开销。
- 建立数据质量、算法效果与处理成本的评估体系,以数据驱动持续迭代。
职位要求
- 计算机、人工智能等相关专业本科及以上学历,3 年以上相关经验;精通 Python / C++ 等语言。
- 在以下方向中至少一个有深入积累,并对另一方向有了解: 算法方向:在图像识别、视频处理、特征提取、自动标注等多模态数据处理算法方向有深入实践,能独立完成算法设计、实现与效果评估; 引擎方向:熟悉 Ray、Daft、Spark、Flink 中至少一种,有分布式数据处理、向量化执行、算子融合或模型推理工程化经验。
- 熟悉 CPU/GPU 异构计算,有大规模数据处理系统的核心模块研发或数据产线规模化落地经验。
- 具备良好的需求理解与协作能力,重视工程质量与交付效果。 加分项
- 熟悉数据湖技术栈,包括对象存储、Iceberg、Parquet、Lance 等格式、元数据管理与 ACID 事务。
- 有 Ray、Daft、Lance、Data-Juicer 等开源社区贡献,或在多模态、计算机视觉、具身智能、分布式计算、数据库等领域发表过高水平论文。
- 有具身智能、自动驾驶数据产线的完整构建经验,熟悉 LeRobot、MCAP/ROS bag 等数据格式。
- 有 CUDA/Triton 开发经验,或熟悉 vLLM、TensorRT、SGLang 等推理框架。