岗位职责
- 打造大数据计算引擎服务，支撑字节跳动相关产品线（如抖音、今日头条）；
- 负责对接Spark SQL、Presto、Hudi和Flink等计算引擎和组件，完善SQL语义和SQL优化器能力，提供功能强大、简单易用的OLAP计算服务；
- 针对字节跳动复杂的多机房架构，设计并实现简单易用的离线数仓计算引擎架构，为数仓用户屏蔽复杂的底层计算资源、存储资源、网络资源管控；
- 参与需求对接、技术调研和方案设计，理解并抽象业务需求，形成高效的技术方案并推动落地。
职位要求
- 熟悉Spark、Presto、Druid、Kylin、Hive等主流大数据系统原理及源码（不要求熟悉所有技术栈）；
- 熟悉主流OLAP引擎的优化原理，包括Filter下推和物化视图等，SQL优化器开发者优先；
- 熟悉离线数仓业务架构，具备丰富的数仓重构、数据治理、数仓优化经验；
- 具备离线数仓多机房架构建设经验，例如跨地区构建大数据计算引擎服务；
- 精通Java/Scala语言，包括JVM、类装载、线程、并发、IO资源管理、网络；
- 具备大规模系统的故障诊断与性能优化能力，具备快速定位线上问题和快速Debug的能力，具有较强的项目推动能力，能推动技术项目在业务侧的落地。
