岗位职责
- 负责大数据应用开发平台的研发,实现一套同时支持全量和实时数据处理的计算引擎,并通过可视化节点拖拽的方式简化业务接入流程
- 实现全增量统一的UDTF、内置函数、聚合、Join等计算引擎常见算子,同时支持删除消息、部分字段更新、消息版本等高级功能,满足多样化的数据处理需求
- 支持公司常见存储引擎之间的数据实时流转需求,协助业务快速迭代
- 完善平台易用性,提高稳定性,不断优化性能及成本。
职位要求
- 精通数据结构及算法,熟练使用各种设计模式,具备优秀的系统架构设计能力;
- 精通Java语言编程,有一定的问题定位及性能优化经验;
- 熟悉常见大数据开源组件实现原理,精通spark、flink者优先;
- 在大数据计算和存储领域有相关研发经验,有相关产品落地者优先。;
- 有责任心,进取心,并对技术保持热情。 加分项 无