Airflow scheduler 是否有可能在开始下一天之前先完成前一天的周期？

Question

现在，我的 DAG 中的节点会在该 DAG 的其余节点完成之前继续执行第二天的任务。有没有办法让它在进入第二天的 DAG 周期之前等待 DAG 的其余部分完成？

（我确实有 depends_on_past 为真，但在这种情况下不起作用）

我的 DAG 看起来像这样：

                O
               l
               V
O -> O -> O -> O -> O

另外，dag 的树视图图片]

原文由 user3542930 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

这个答案可能有点晚了，但我遇到了同样的问题，我解决它的方法是在每个 dag 中添加了两个额外的任务。开头为“Previous”，结尾为“Complete”。上一个任务是监视上一个作业的外部任务传感器。 Complete 只是一个虚拟运算符。假设它每 30 分钟运行一次，所以 dag 看起来像这样：

 dag = DAG(dag_id='TEST_DAG', default_args=default_args, schedule_interval=timedelta(minutes=30))

PREVIOUS = ExternalTaskSensor(
    task_id='Previous_Run',
    external_dag_id='TEST_DAG',
    external_task_id='All_Tasks_Completed',
    allowed_states=['success'],
    execution_delta=timedelta(minutes=30),
    dag=DAG
)

T1 = BashOperator(
    task_id='TASK_01',
    bash_command='echo "Hello World from Task 1"',
    dag=dag
)

COMPLETE = DummyOperator(
    task_id='All_Tasks_Completed',
    dag=DAG
)

PREVIOUS >> T1 >> COMPLETE

所以下一个 dag，即使它会进入队列，它也不会让任务运行，直到 PREVIOUS 完成。

原文由 Oleg Yamin 发布，翻译遵循 CC BY-SA 4.0 许可协议