重新启动气流调度器

Question

我正在尝试让气流工作以更好地协调 etl 过程。当我对 dags 文件夹中的 dag 进行更改时，我经常需要重新启动调度程序

airflow scheduler

在 UI 中可见更改之前。我想将调度程序作为守护进程运行

airflow scheduler -D

但我们尝试这样做，我收到一条消息说

[2018-10-17 14:13:54,769] {jobs.py:580} ERROR -
Cannot use more than 1 thread when using sqlite. Setting max_threads to 1

我认为弹出此错误是因为调度程序已作为守护进程运行。但是，当我试图找出调度程序的运行位置时

lsof -i

我没有得到任何结果。

问题： 为什么我无法使用 airflow scheduler -D 重新启动调度程序。为什么调度程序以 airflow webserver 重新启动？如何成功终止阻止我运行的进程 airflow scheduler -D ？

原文由 Mr. President 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

运行 ps aux | grep airflow 并检查 airflow webserver 或 airflow scheduler 进程是否正在运行。如果他们杀死他们并使用 airflow scheduler -D 重新运行

原文由 kaxil 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 2

您需要清除 $AIRFLOW_HOME 中的 airflow-scheduler.pid 文件。来自守护程序的陈旧 pid 文件将阻止您启动另一个调度程序进程。

原文由 Magic Draggn 发布，翻译遵循 CC BY-SA 4.0 许可协议