岗位职责
- 负责大模型数据处理与资产化体系的建设，围绕数据的接入、加工、治理与沉淀构建自动化、可扩展的处理能力，保障高质量数据的持续供给。
- 抽象通用的数据处理与质量治理框架，将各类数据加工与清洗诉求沉淀为标准化、可复用、自动化的平台组件，提升处理效率与工程质量。
- 建设数据资产化与全生命周期治理能力，实现数据的规范化沉淀、统一管理与可追溯，推动多来源数据的融合与统一。
- 与算法及平台团队紧密协作，把复杂的数据处理需求转化为平台化、自动化能力，持续提升整个团队的数据处理与供给能力。
职位要求
- 本科及以上学历，计算机相关专业；具备数据处理或模型训练经验。
- 熟练掌握文本、多模态等非结构化数据处理方法，精通数据清洗、去重、相似度计算、脱敏、特征提取与数据增强等技术。
- 精通Python、Java中至少一种，熟悉常用的数据、文本与图像处理库，能高效实现数据清洗与处理的算法和流程。
- 具备丰富的数据湖开发经验（Hudi/Iceberg/Hive等），对数据计算框架（Spark/Flink/Hadoop/Ray）有深入实践与理解；熟悉ODPS/MaxCompute、OSS与调度平台（如DataWorks）。
- 具备良好的数据建模、ETL与数据质量治理能力，能解决数据工作中的各类复杂问题。
- 良好的团队协作与沟通能力，责任心强，能推动项目进展。 加分项 ● 主导过大模型或离在线场景下的数据平台/海量数据处理建设；具备分布式采集、高并发或过亿量级数据处理经验者优先。 ● 分布式采集与反爬策略、数据挖掘经验。 ● 大模型训练数据集建设、数据血缘与全生命周期治理经验；了解LLM/多模态数据建设原理。
