前言Dagster 是一个工作流（数据流）编排工具，类似的工具有老牌的 Luigi，Apache 的 Airflow，还有一个新兴的 Prefect。技术栈 {代码...} poetry github：[链接]dagster github：[链接]安装用 poetry 初始化项目后在 pyproject.toml 添加以下依赖，然后运行 poetry update {代码...} 测试代码test_dagster.py {代码...}...

试验开始使用的 MySQL 8 作为数据库，截至 2021.5.13，airflow 2.0.2 的这个问题未解决，所以转为使用 PostgreSQL 12

前言airflow 是 DAG(有向无环图)的任务管理系统，简单的理解就是一个高级版的 crontab。airflow 解决了 crontab 无法解决的任务依赖问题。环境与组件Ubuntu 18.04MySQL 5.7Python 3.6.9airflow 1.10.10celery 4.4.2RabbitMQ 3.6.10实战步骤基本步骤安装 Python3 的 pip {代码...} 安装 MySQL 开发包 {代码...} 在 3 台 a...