岗位职责
支持业务高效方便地对数据进行加工,不断助力业务拓展; 负责大数据应用开发平台的研发,实现一套同时支持全量和实时数据处理的计算引擎,并通过可视化节点拖拽的方式简化业务接入流程; 实现全增量统一的UDTF、内置函数、聚合、Join等计算引擎常见算子,同时支持删除消息、部分字段更新、消息版本等高级功能,满足多样化的数据处理需求; 支持公司常见存储引擎之间的数据实时流转需求,协助业务快速迭代; 完善平台易用性,提高稳定性,不断优化性能及成本。
职位要求
精通数据结构及算法,熟练使用各种设计模式,具备优秀的系统架构设计能力; 精通Java语言编程,有一定的问题定位及性能优化经验; 熟悉常见大数据开源组件实现原理,精通spark、flink者优先; 在大数据计算和存储领域有相关研发经验,有相关产品落地者优先; 有责任心,进取心,并对技术保持热情。 加分项 参与过相关开源社区的项目,并做出贡献; 有线上大规模分布式集群运维经验。