参与开源已经快3年了，这次在Meetup上没有分享纯技术的话题，其初衷是想带这大家从一个开源社区维护者的视角来看开源，希望大家能从中获取到一些感悟，当然这次的话题有些观点可能抱有主观看法，大家多多包涵。

作者 | 胡泽康 鄞乐炜作者简介胡泽康联通（广东）产业互联网公司  大数据工程师，专注于开源大数据领域，从事大数据平台研发工作鄞乐炜联通（广东）产业互联网公司 大数据工程师，主要从事大数据平台的应用与引擎端开发01 背景介绍我们是联通医疗团队，一直践行 “服务医改，惠及民生” 的使命，全面驱动医疗健康产业数字...

Apache DolphinScheduler 社区线上 Meetup 讲师&议题正式对外征集啦！在全球疫情的笼罩下，我们的线上技术沙龙活动一直在紧锣密鼓的筹备举办，在此我们诚心向社区广大用户发起邀请，借你之力壮大社区影响力！社区重于代码，感谢所有的用户对社区的贡献！

Fordeal的数据平台调度系统之前是基于Azkaban进行二次开发的，但是在用户层面、技术层面都存在一些痛点问题难以被解决。比如在用户层面缺少任务可视化编辑界面、补数等必要功能，导致用户上手难体验差。在技术层面，架构过时，持续迭代难度大。基于这些情况，经过竞品对比和调研后，Fordeal数据平台新版系统决定基于Apac...

当大数据挖掘成为企业赖以生存、发展乃至转型的生命，如何找到一款好软件帮助企业满足需求，成为了许多大数据工程师困扰的问题。但在当下高速发展的大数据领域，光是一款好软件似乎都不足以满足所有场景业务需求，许多企业逐渐将目光转向了技术生态的“外延”——即结合各种场景打造企业适用的技术架构。

本周伊始，Apache DolphinScheduler 项目在 GitHub 上的 Github Star 总数首次突破 8K。目前，Apache DolphinScheduler 社区已经拥有 Contributor 345+，fork 数 3k+，社区发展呈现出一片欣欣向荣。

大家下午好，我是来自当贝网络科技大数据平台的基础开发工程师 王昱翔，感谢社区的邀请来参与这次分享，关于 Apache DolphinScheduler 在当贝网络科技大数据环境中的应用。

导读：近日，Apache Dolphin Scheduler 迎来了 3.0.0-beta-1 版本的正式发布。新版本主要针对 3.0.0-alpha 进行了代码和文档的修复，并引入了部分的功能，如支持 FlinkSQL 任务类型，新增 Zeppelin 任务类型，新增 Kubernetes namespace 管理功能，以及通过 bash 传参功能等，具体更新详见下文。

在软件开发领域有一个流行的原则：Don’t Repeat Yourself(DRY)，翻译过来就是：不要重复造轮子。而开源项目最基本的目的，其实就是为了不让大家重复造轮子。

（这个TaskInstance是可以重试并且设定为强制成功了的）把task放到completeTaskMap以及taskInstanceMap，并从队列中移除。

当今许多企业都有着技术架构的DataOps程度不够、二次开发成本高、迁移成本高、集群部署混乱等情况，团队在技术选型之后发现并不适合自己的需求，但是迁移成本和难度又比较大，甚至前团队还留下了不少坑，企业自有的开发能力又比较有限，导致后面的小伙伴上手难度高体验差。

在正式开始前，笔者想先鼓励一下大家。我们知道启动Master其实就是启动MasterServer，本质上与其他SpringBoot项目相似，即启动里面的main函数。但想要开始实操前，肯定有不少的人，尤其是初学者会突然发现这里面有十多个由bean注入的autowired。

在新网银行，每天都有大量的任务实例产生，其中实时任务占据多数。为了更好地处理任务实例，新网银行在综合考虑之后，选择使用 Apache DolphinScheduler 来完成这项挑战。如今，新网银行多个项目已经完成了实时与准实时的跑批，指标管理系统的离线跑批，应用于离线数据开发和任务调度、准实时数据开发和任务调度，以及其...

又是一年【开源之夏】季。今年，Apache DolphinScheduler 同样参与到了【开源之夏】活动中来，希望有更多学生群体关注到 Apache DolphinScheduler，并踊跃参与项目共建拿奖金！

2022年1月，科学技术部高新技术司副司长梅建平在“第六届中国新金融高峰论坛”上表示，当前数据量已经大大超过了处理能力的上限，若信息技术仍然是渐进式发展，则数据处理能力的提升将远远落后于指数级增长的数据量。因此，在一段时期内，数据处理能力与效率的提升仍将是大数据发展要面对的技术难点。

截止2022年，中国联通用户规模达到4.6亿，占据了全中国人口的30%，随着5G的推广普及，运营商IT系统普遍面临着海量用户、海量话单、多样化业务、组网模式等一系列变革的冲击。

随着互联网技术和信息技术的发展，信息的数据化产生了许多无法用常规工具量化、处理和捕捉的数字信息。面对多元的数据类型，海量的信息价值，如何有效地对大数据进行挖掘分析，对大数据工作流进行调度，是保障企业大数据任务高效运行的基础。

2022 年 4 月 22 日，Apache DolphinScheduler 正式宣布 3.0.0 alpha 版本发布！此次版本升级迎来了自发版以来的最大变化，众多全新功能和特性为用户带来新的体验和价值。3.0.0-alpha 的关键字，总结起来是 “更快、更现代化、更强、更易维护”。

北京时间 2021 年 4 月 9 日，ASF 官方宣布 Apache DolphinScheduler 毕业成为 Apache 顶级项目，让首个由国人主导并贡献到 Apache 的大数据工作流调度领域的顶级项目进入更多人的视野。

在 Apache DolphinScheduler& Apache ShenYu(Incubating) Meetup 上，YY 直播 软件工程师 袁丙泽 为我们分享了《YY直播基于Apache DolphinScheduler的适配与探索》。

数据分析师作为企业数据资产的缔造者之一，具有一定的维度与指标体系管理、血缘分析、ETL 调度平台等技能。能够灵活使用调度平台会为数据分析师带来很大的便利，然而对于编程技能水平参差不齐的数据分析师来说，一个操作简单，使用成本低的调度平台才能让他们如虎添翼，而不是增加额外的学习成本。

目前在大数据生态中，调度系统是不可或缺的一个重要组件。Apache DolphinScheduler 作为一个顶级的Apache 项目，其稳定性和易用性也可以说是名列前茅的。而对于一个调度系统来说，能够支持的可调度的任务类型同样是一个非常重要的因素，在调度、分布式、高可用、易用性解决了的情况下，随着业务的发展或者各种需求使用到...

2021 年 12 月 9 日，SeaTunnel (原名 Waterdrop) 成功加入 Apache 孵化器，进入孵化器后，SeaTunnel 社区花费了大量时间来梳理整个项目的外部依赖以确保整个项目的合规性，终于在贡献者们四个月的努力下，社区于 2022 年 3 月 18 日正式发布了首个 Apache 版本，该版本一次性通过 Apache 孵化器严苛的 2 轮投票审查，最...

2022 年 3 月 26 日（星期六）， Apache DolphinScheduler 和 Apache ShenYu(Incubating) 两大新生开源力量将携手，邀请来自 YY直播、自如、政采云等团队的实战型专家，更有 Apache ShenYu(Incubating)创始人 & PPMC  & Dromara 开源组织创始人，以及Apache ShenYu Committer 为企业大数据开发者、开源技术爱好者带来一...

杭州思科已经将 Apache DolphinScheduler 引入公司自建的大数据平台。目前，杭州思科大数据工程师 李庆旺 负责 Alert 模块的改造已基本完成，以更完善的 Alert 模块适应实际业务中对复杂告警的需求。

各位关注 Apache DolphinScheduler 的小伙伴们大家好呀！相信大家都已经从热闹的春节里回过神来，重新投入到忙碌的工作学习生活中去。海豚调度在这里祝福大家虎年大吉，万事顺利。

千呼万唤中，WorkflowAsCode 功能终于在 2.0.2 版本中如约上线，为有动态、批量创建和更新工作流需求的用户带来福音。引用此外，新版本还新增企业微信告警群聊会话消息推送，简化了元数据初始化流程，并修复了旧版本中强制终止后服务重启失败，添加 Hive 数据源失败等问题。

近日，由 OSCHINA 举办的 「2021 OSC 中国开源项目」 评选活动公布了评选结果。在广大用户和开源社区的喜爱和支持下，云原生分布式大数据调度系统 Apache DolphinScheduler 获评 2021 年度 「OSCHINA 人气指数 Top 50 开源项目」和「最受欢迎项目」，其商业运营公司白鲸开源科技也凭借出众的开源运营表现，获得 「优秀中...