岗位职责
- 设计并实现高性能、高可用的分布式任务调度引擎,支持分钟级百万任务调度;
- 构建分布式调度系统的高可用架构,实现故障自动转移与恢复;
- 设计并实现监控告警体系,推动调度系统的可观测性建设;
- 推动代码质量、单元测试和工程规范落地。
职位要求
;
- 计算机相关专业本科及以上学历,3年以上java后端开发经验;
- 能够独立设计和实现核心模块,有高并发、高可用系统设计经验;
- 有大数据调度系统开发经验,熟悉至少一种主流调度系统内部原理;
- 了解大数据生态任务执行,有 Spark、Flink、Hive 等任务提交与监控的实际经验;
- 优先条件;
- 有商业级调度产品(如 DataWorks、DataLeap、WeData、Apache DolphinScheduler)开发经验者优先;
- 熟悉开源调度系统(Airflow、Apache DolphinScheduler、Azkaban)源码者优先;
- 有任务智能调度、资源优化、成本控制等AIOps相关经验者优先;
- 熟悉大数据生态,有 Hadoop、Spark、Flink 等组件调优经验者优先。