岗位职责
- 负责并实现高效率的文本/图文/音频/视频数据清洗、处理流程的核心算子,确保数据处理的高性能和高可靠性;
- 负责构建高效、可扩展的流程编排及执行引擎,参与搭建可扩展的SaaS化语料清洗处理平台,支持百亿级全模态数据的快速清洗与处理;
- 负责构建基于海量图文数据的搜索引擎,内容检索、多模态检索、RAG及性能&效果优化。
职位要求
- 计算机相关专业本科及以上学历,有相关大规模分布式系统开发经验;
- 熟悉多模态数据(图像、文本、音频等)的存储和处理技术;
- 具有极其扎实的编程基础,精通Java/Go/Python(至少一种),对分布式计算(如Ray/Spark/Dask等)有深入理解和实战经验者优先。