点亮 ⭐️ Star · 照亮开源之路[链接]​//每个人对于”开源社区“的定义都不一样，在社区的想法也完全不一样，我认为玩开源就像”谈恋爱“，要想方设法对它好，在接触 Apache DolphinScheduler 社区之后，我从”非技术“的视角真真实实地感受到了 Apache Way 。因为你在非技术的角度会发现，很多时候，并不是”大佬“没技术，而是缺...

点亮 ⭐️ Star · 照亮开源之路GitHub:[链接]​精彩回顾近期，BIGO 的大数据研发工程师许名勇在社区线上 Meetup 上给大家分享了主题为《DS 及 SPARK 在 BIGO 的应用和改进》的演讲。主要介绍了 BIGO 如何使用 DophinScheduler 来调度以 SPARK 为主的多种类型的离线任务，以及为了满足业务需求、提升用户使用体验，在 DS 和 ...

2010年，我国进入移动互联网，数据规模成几何式增长。在大数据开源技术领域，以Hadoop为核心的大数据生态系统面对海量数据也不断发展与迭代，大数据处理流程中的各个开源组件，也一起开启了狂飙突进的大数据时代，推动整个行业开启了数字化变革之路。

近期，食行生鲜的数据平台工程师单葛尧在社区线上 Meetup 上给大家分享了主题为《Apache Dolphinscheduler在食行生鲜的落地实践》的演讲。

点亮 ⭐️ Star · 照亮开源之路GitHub:[链接]精彩回顾近期，初灵科技的大数据开发工程师钟霈合在社区活动的线上 Meetup 上中，给大家分享了《基于 Apache DolphinScheduler 对千亿级数据的应用实践》主题演讲。我们对于千亿级数据量的数据同步需求，进行分析和选型后，初灵科技最终决定使用DolphinScheduler进行任务调度，...

点亮 ⭐️ Star · 照亮开源之路GitHub:[链接]​版本发布感谢本次的 Release Manager --@zhuangchong,是他主导了我们这个版本的发布流程，引导社区进行版本内容沟通，发版前的问题跟踪，blocking issue 处理，版本质量管理等，感谢@zhuangchong为社区的付出，也期待其他 Committer 和 PMC 能够一起参与到 Release Manager 的...

​作者简介​淡丹数仓开发工程师5年数仓开发经验，目前主要负责百得利MOBY新车业务二手车业务及售后服务业务系统数仓建设业务需求在ETL任务之间调度时，我们有的时候会需要将上游的计算结果作为参数传入到下游，针对这种业务需求，海豚调度器为我们提供了一些功能。具体如下：DolphinScheduler允许在任务间进行参数传递，...

在 ApacheCon Asia 2022 Meetup上，有着十余年大数据开发工作经验，来自某银行离线数据工厂开发工具负责人陈卫老师分享了 如何让更多人从大数据中获益 的主题演讲。

点亮 ⭐️ Star · 照亮开源之路[链接]本文目录1 DolphinScheduler的设计与策略1.1 分布式设计1.1.1 中心化1.1.2 去中心化1.2 DophinScheduler架构设计1.3 容错问题1.3.1 宕机容错1.3.2 失败重试1.4 远程日志访问2 DolphinScheduler源码分析2.1 工程模块介绍与配置文件2.1.1 工程模块介绍2.1.2 配置文件2.2 Api主要任务操作...

参与开源已经快3年了，这次在Meetup上没有分享纯技术的话题，其初衷是想带这大家从一个开源社区维护者的视角来看开源，希望大家能从中获取到一些感悟，当然这次的话题有些观点可能抱有主观看法，大家多多包涵。

Apache DolphinScheduler是一款非常不错的调度工具，可单机可集群可容 器，可调度sql、存储过程、http、大数据等，也可使用shell、python、java、flink等语言及工具，功能强大类型丰富，适合各类调度型任务，社区及项目也十分活跃，现在Github中已有8.5k的star👍

点亮 ⭐️ Star · 照亮开源之路GitHub:[链接]​版本发布 2022/8/102022 年 8 月 10 日，Apache DolphinScheduler 在经过 3.0.0 alpha、3.0.0-beta-1、3.0.0-beta-2 不断验证之后，终于迎来了社区期盼已久的第三个大版本！3.0.0 正式版本发生了自发版以来的最大幅度变动，新增了众多全新功能和特性，旨在为用户带来全新的体...

大数据是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，而大数据作为企业运转的基础，只有经过提供数据采集、存储、计算、分析、调度、管理、治理等过程，才能为企业所用。

随着国内开源的迅猛崛起，Apache DolphinScheduler 社区迎来了中国区用户组第一届的社群管理成员。作为海豚调度社区的资深用户，既玩得了调度，也吹得了牛皮，这是怎样的一群大数据工程师呢？今天通过本文，我们来认识下这 9 位小伙伴！用户7群管理员晏江——个人简介大家好，我叫晏江，是一门Java高级开发工程师，主要研...

这次在 7月 Meetup 为大家带来的是基于DolphinScheduler的智能调度引擎在DDS的应用，这场演讲主要会跟大家介绍宇动源-DDS（自研的图形化数据开发工作室）、大数据架构、DDS产品和使用中遇到的问题，包括在迁移过程中的调研情况、遇到的困难、解决方案以及针对需求的优化，还有一些心得体会，希望你有所收获。

作者 | 胡泽康 鄞乐炜作者简介胡泽康联通（广东）产业互联网公司  大数据工程师，专注于开源大数据领域，从事大数据平台研发工作鄞乐炜联通（广东）产业互联网公司 大数据工程师，主要从事大数据平台的应用与引擎端开发01 背景介绍我们是联通医疗团队，一直践行 “服务医改，惠及民生” 的使命，全面驱动医疗健康产业数字...

Apache DolphinScheduler 社区线上 Meetup 讲师&议题正式对外征集啦！在全球疫情的笼罩下，我们的线上技术沙龙活动一直在紧锣密鼓的筹备举办，在此我们诚心向社区广大用户发起邀请，借你之力壮大社区影响力！社区重于代码，感谢所有的用户对社区的贡献！

Fordeal的数据平台调度系统之前是基于Azkaban进行二次开发的，但是在用户层面、技术层面都存在一些痛点问题难以被解决。比如在用户层面缺少任务可视化编辑界面、补数等必要功能，导致用户上手难体验差。在技术层面，架构过时，持续迭代难度大。基于这些情况，经过竞品对比和调研后，Fordeal数据平台新版系统决定基于Apac...

当大数据挖掘成为企业赖以生存、发展乃至转型的生命，如何找到一款好软件帮助企业满足需求，成为了许多大数据工程师困扰的问题。但在当下高速发展的大数据领域，光是一款好软件似乎都不足以满足所有场景业务需求，许多企业逐渐将目光转向了技术生态的“外延”——即结合各种场景打造企业适用的技术架构。

本周伊始，Apache DolphinScheduler 项目在 GitHub 上的 Github Star 总数首次突破 8K。目前，Apache DolphinScheduler 社区已经拥有 Contributor 345+，fork 数 3k+，社区发展呈现出一片欣欣向荣。

大家下午好，我是来自当贝网络科技大数据平台的基础开发工程师 王昱翔，感谢社区的邀请来参与这次分享，关于 Apache DolphinScheduler 在当贝网络科技大数据环境中的应用。

导读：近日，Apache Dolphin Scheduler 迎来了 3.0.0-beta-1 版本的正式发布。新版本主要针对 3.0.0-alpha 进行了代码和文档的修复，并引入了部分的功能，如支持 FlinkSQL 任务类型，新增 Zeppelin 任务类型，新增 Kubernetes namespace 管理功能，以及通过 bash 传参功能等，具体更新详见下文。

在软件开发领域有一个流行的原则：Don’t Repeat Yourself(DRY)，翻译过来就是：不要重复造轮子。而开源项目最基本的目的，其实就是为了不让大家重复造轮子。

（这个TaskInstance是可以重试并且设定为强制成功了的）把task放到completeTaskMap以及taskInstanceMap，并从队列中移除。

当今许多企业都有着技术架构的DataOps程度不够、二次开发成本高、迁移成本高、集群部署混乱等情况，团队在技术选型之后发现并不适合自己的需求，但是迁移成本和难度又比较大，甚至前团队还留下了不少坑，企业自有的开发能力又比较有限，导致后面的小伙伴上手难度高体验差。

在正式开始前，笔者想先鼓励一下大家。我们知道启动Master其实就是启动MasterServer，本质上与其他SpringBoot项目相似，即启动里面的main函数。但想要开始实操前，肯定有不少的人，尤其是初学者会突然发现这里面有十多个由bean注入的autowired。

在新网银行，每天都有大量的任务实例产生，其中实时任务占据多数。为了更好地处理任务实例，新网银行在综合考虑之后，选择使用 Apache DolphinScheduler 来完成这项挑战。如今，新网银行多个项目已经完成了实时与准实时的跑批，指标管理系统的离线跑批，应用于离线数据开发和任务调度、准实时数据开发和任务调度，以及其...

又是一年【开源之夏】季。今年，Apache DolphinScheduler 同样参与到了【开源之夏】活动中来，希望有更多学生群体关注到 Apache DolphinScheduler，并踊跃参与项目共建拿奖金！

2022年1月，科学技术部高新技术司副司长梅建平在“第六届中国新金融高峰论坛”上表示，当前数据量已经大大超过了处理能力的上限，若信息技术仍然是渐进式发展，则数据处理能力的提升将远远落后于指数级增长的数据量。因此，在一段时期内，数据处理能力与效率的提升仍将是大数据发展要面对的技术难点。

截止2022年，中国联通用户规模达到4.6亿，占据了全中国人口的30%，随着5G的推广普及，运营商IT系统普遍面临着海量用户、海量话单、多样化业务、组网模式等一系列变革的冲击。