岗位职责
面向公有云建设统一的任务调度与工作流平台，基于 Airflow 等开源组件，打通 Spark、Flink 及云服务的执行链路，提供工作流编排、任务发布、依赖管理、补录数据能力，保障数据生产的稳定性、及时性与可追溯性。
- 负责调度服务的云上部署、配置管理、版本升级和高可用建设，持续优化 DAG 解析、任务调度及执行效率；
- 建设统一任务与工作流模型，打通平台任务、DAG 和底层引擎实例的映射，支持工作流版本管理、发布、回滚及开发生产环境隔离；
- 对接计算引擎及云服务，开发和扩展执行插件，统一任务提交、取消、状态查询及日志访问，适配批处理、查询和流作业的执行流程；
- 建设调度与依赖管理能力，支持定时和事件触发、业务日期、参数传递，以及跨周期、跨工作流和外部任务依赖，满足不同数据生产场景的编排需求；
- 完善失败重试、批量补数据、断点续跑及异常恢复能力，建设幂等提交、状态核对、并发和优先级控制机制，协调日常生产与补数据任务的执行；
- 建设统一运行监控、告警与操作审计，关联工作流、任务及引擎实例的日志和状态，对接数据质量检查与血缘运行事件，沉淀任务模板和运维工具。
职位要求
- 熟练掌握 Python，具备后端服务、API 设计能力，有任务平台、工作流系统或执行插件研发经验；
- 熟悉 Airflow 等调度框架的调度机制，具有生产环境部署、扩展或优化经验，能够定位 DAG 解析、调度积压和执行效率问题；
- 理解任务依赖、业务日期、补数据、重试及幂等机制，熟悉 Spark、Flink 或 Trino 的任务生命周期，能够完成引擎接入与异常恢复；
- 熟悉 Linux、容器、Kubernetes 及监控日志体系，具备生产故障排查能力，能够独立推动开发上线，并协同解决跨系统问题。
