岗位职责
面向公有云建设统一的数据湖与元数据治理能力，基于 Iceberg、Paimon 等开放表格式，打通数据存储、计算引擎和资产管理，提供可靠的湖表服务，以及统一的数据目录、血缘、权限和生命周期管理能力。
- 负责公有云环境下 Iceberg / Paimon 数据湖建设，完成场景选型、湖表设计、对象存储适配，以及 Spark、Flink、Trino 等计算引擎的读写接入与性能优化；
- 建设湖表生命周期管理能力，完善 Schema 演进、快照与版本管理、Compaction、小文件治理、数据清理和故障恢复，保障湖表长期稳定运行与数据正确；
- 建设统一 Catalog 和元数据服务，完善命名空间、库表标识、元数据采集及变更同步，逐步建设资产目录和数据血缘，对接统一权限与审计；
- 持续优化湖表读写性能、存储成本和元数据服务稳定性，建设监控诊断与自动维护工具，沉淀表设计、引擎接入、版本兼容和日常运维规范。
职位要求
- 熟练掌握 Java、Python 中至少一种语言，具备扎实的 SQL 和分布式系统基础，有数据平台、存储或元数据服务研发经验；
- 熟悉 Iceberg、Paimon 中至少一种表格式及其生产应用，理解事务、快照、Compaction 等机制，具备 Spark、Flink 或 Trino 的湖表接入经验；
- 理解 Catalog、元数据采集、数据血缘及权限治理，具备相关系统建设经验；有 DataHub、OpenMetadata 或 OpenLineage 实践者优先；
- 熟悉公有云对象存储、身份权限和容器化部署，能够独立完成方案落地、生产问题排查及性能优化，并推动跨团队协作。
