岗位职责
- 负责多模态数据采集的端到端方案设计，明确采集目标、覆盖场景与优先级，搭建采集、预处理、清洗、入库等自动化链路。
- 构建多模态数据清洗与预处理流水线，对数据进行去重、画质评估、敏感内容过滤及基础结构化标注。
- 持续优化数据采集链路的工程化能力，保障数据供给的时效性与稳定性。
- 设计并持续优化数据质量标准与监控体系，关注多模态、AIGC等前沿方向，结合业务场景探索音视频数据采集与生产新模式。
职位要求
- 本科及以上学历，计算机、大数据、人工智能等相关专业者优先；
- 具备扎实的Python/Go编程功底，精通Scrapy、Playwright、Selenium等主流框架；
- . 深入理解HTTP/HTTPS、WebSocket等网络协议，熟悉FFmpeg等音视频处理工具，
- 具备良好的数据合规意识，了解相关的法律边界，能够在保证数据安全的前提下高效完成采集任务； 加分项：
- 有视频生成、多模态大模型数据工程或AI数据中台开发经验者优先；
- 熟悉大模型数据清洗标准，了解如何使用Prompt工程结合VLM进行自动化视频质量打分与筛选；
- 有处理Trillion级别以上海量数据集经验者优先；
