岗位职责
- 负责拼多多实时数仓的架构设计和研发,持续集成相关工具产品,建设拼多多统一的实时数据体系;
- 负责拼多多实时数仓的稳定性,保障核心链路数据流稳定产出;
- 负责拼多多实时数据建模、研发与质量把控,关键技术攻关,不断优化系统性能、降低资源开销;
- 推进批流一体落地,提升拼多多数据采集、生产与使用的时效性;
- 与业务深入合作,以解决实际问题导向,助力业务及产品不断优化;
- 构建丰富多样的实时应用,解决实时数据在数据分析、业务决策、服务化、产品化等场景的一系列挑战。
职位要求
- 具备扎实的计算机理论基础, 3年以上相关工作经历;
- 精通Java语言编程,具备优秀的系统Debug/Profiling能力和经验;
- 精通并行计算或者分布式计算原理,熟悉高并发、高稳定性、可线性扩展、海量数据的系统特点和技术方案;
- 熟悉Kimball的维度建模设计方法,具备海量数据加工处理(ETL)相关经验;
- 熟悉Flink/Kafka/Hadoop/Clickhouse等开源实时大数据技术;
- 优秀的业务敏感度,能够通过梳理设计业务模型发现业务问题,同时具备优秀的技术与业务结合能力。 加分项
- 熟悉Hudi、IceBerg、Delta Lake等开源数据湖技术经验优先;
- 有大规模Hadoop/K8S/Flink管理实践、有大规模实时数仓落地、实时数据资产管理等经验优先。