岗位职责
- 负责大数据离线计算平台的建设与优化,保障大规模离线计算任务的稳定性与性能。
- 基于 Iceberg / Lance 构建湖仓一体架构,支撑海量多模态数据资产的统一管理与治理。
- 推动数据湖与 AI、数据分析等业务场景的深度融合,实现数据价值的落地转化。
- 参与核心计算组件演进、性能调优与疑难问题攻关。
职位要求
- 3-5 年大数据开发经验,熟悉离线计算引擎的存储、调度、执行等底层原理。
- 精通 Hadoop、Spark 等核心大数据生态技术栈,具备大规模集群调优经验。
- 熟悉 Iceberg / Lance 等数据湖技术及湖仓一体架构,理解其存储格式、元数据管理与表格式原理。
- 熟悉 StarRocks / Doris / ClickHouse 等任一 OLAP 引擎技术原理。
- 具备良好的自驱力、承压力与责任心,能主动推动问题闭环与落地。 加分项
- 有湖仓一体架构项目落地经验者优先。
- 有开源社区贡献经验者优先。
- 掌握主流 AI 编程工具、有 Data Agent 项目经验者优先。