Categories-airflow
J.A.R.V.I.S
Life is not just Live
2022
Airflow调度系统
前言
我们组内使用Airflow来做日常的任务调度也有一年多的时间了, 今天写这篇文章来对Airflow进行一下记录.
组件
Airflow需要的几个基础组件为:
airflow-scheduler
airflow-webserver
airflow-worker
airflow-flower
mysql(也可以使用其他数据库)
redis(也可以使用其他消息队列)
前缀为airflow的是airflow的内部组件, 除此之外还需要数据库和一个消息队列
4月 09 · 2 min