岗位职责
- 负责广告数据湖仓一体架构:统一离线与实时的分层、存储与元数据,支撑投放、归因与效果分析的数据供给,对口径一致性与链路 SLA 负责。
- 负责实时与查询引擎能力建设:基于 Flink 承载流批一体链路并深入运行时优化,以 OLAP 引擎承接高并发查询,在保障时效与稳定的同时降低单位计算与存储成本。
- 负责 Data Agent 研发:面向数据研发、数据治理与业务洞察场景,构建可用的 Data Agent 能力,以任务成功率与人效提升作为验收标准。
- 负责数据治理与资产建设:建设数据质量、血缘与资产标准化体系,让数据可发现、可复用、可信任,并与算法、产品、业务团队协同落地。
职位要求
- 本科及以上,计算机、软件工程、数学等相关专业,3 年以上大数据研发经验,独立负责过一个湖仓或实时数据平台方向的完整建设周期。
- 精通 SQL 与 ETL 数据建模,具备主题域划分、维度建模与指标体系设计的落地经验。
- 对 Iceberg、Hudi、Paimon 中至少一种达到原理级,有线上问题定位经历,具备数据入湖与存储治理的实践经验。
- 深入 Flink 运行时机制,具备大规模流批一体任务的性能排查与调优经验。
- 熟悉 StarRocks、ClickHouse、Doris 等 OLAP 引擎,具备高并发查询优化经验。
- 具备 Data Agent 应用开发经验,熟悉 RAG、Tool Calling、NL2SQL 等核心能力,有规模化落地者优先。
- 具有较强的项目推动和问题拆解能力,能推动跨团队协作和技术项目在业务侧落地。
- 加分项:Paimon、Fluss、Iceberg 或 Flink 社区 Contributor/Committer/PMC;EB/PB 级数据规模与千级任务链路治理经验;广告、推荐、搜索领域的数据建设经验;数据策略与洞察的生产化实践。