Categories-big_data
J.A.R.V.I.S
Life is not just Live
ClickHouse-ReplacingMergeTree
10月 09 · 2 min
ClickHouse-MergeTree引擎
10月 09 · 5 min
ClickHouse-ReplicatedMergeTree
10月 09 · 2 min
ClickHouse安装与配置
10月 09 · 5 min
ClickHouse-SummingMergeTree
10月 09 · 2 min
Clickhouse分布式表引擎
10月 09 · 1 min
Airflow调度系统
前言
我们组内使用Airflow来做日常的任务调度也有一年多的时间了, 今天写这篇文章来对Airflow进行一下记录.
组件
Airflow需要的几个基础组件为:
airflow-scheduler
airflow-webserver
airflow-worker
airflow-flower
mysql(也可以使用其他数据库)
redis(也可以使用其他消息队列)
前缀为airflow的是airflow的内部组件, 除此之外还需要数据库和一个消息队列
4月 09 · 2 min
Spark-Catalyst的优化过程
4月 01 · 8 min
Spark-怎么用好AQE的三个特性
4月 01 · 8 min
Spark-DPP特性
4月 01 · 1 min