开源 - 奋进者的盛宴 | Apache StreamPark in 2023

PowerData

以下文章来源于Apache StreamPark ，作者StreamPark

[

Apache StreamPark .

Apache StreamPark(Incubating) 让流处理更简单, Flink & Spark 流处理极速开发框架, 流批一体一站式大数据实时平台。

](#)

时间的指针已跨过 2023，对于 Apache StreamPark 社区而言，这是一个值得书写回顾的时刻。Apache StreamPark 从最初的个人项目到加入全球最大的开源软件基金会（Apache Software Foundation），一路走来我们始终相信坚持和协作的力量，相信社区的力量。开源，不是天才的甜点，而是奋进者的盛宴。此时此刻，让我们一起回顾 Apache StreamPark 社区过去一年的精彩时刻。

社 区 向 好 发 展

在过去一年，Apache StreamPark 一直在积极地建设社区，大力地培养开发者，遵循 Apache 软件基金会的「Community over Code」原则来运营社区，以开放包容、自由平等的态度对待每位参与者，在 2023 年社区有许多值得被分享的事情：

• 全年发布了 2.0.0 - 2.1.2 共 4 个 Apache 版本。
• 社区参加了 2023 年 8 月「Community over Code」ASIA 大会，带来3 场 Apache StreamPark 相关的主题分享。
• 投票推选了 2 位 PPMC Member 和5 位新晋 Committer，分别是：Chunjin Mu、Sizhu Wang、Li Zhou、Zhongqiang Gong、Yuepeng Pan、Cancai Cai、Chao Zhang，恭喜他们，感谢他们为 Apache StreamPark 所做的贡献。
• 重新制作上线了官网，整理上线了 8  篇生产实践的文章。
• 项目 Star 新增 800+，累积 3.5k , 项目 fork 累积 900+。
• 贡献者总数达到 130+  相比 2022 年新增了 40+ 。
• 共计 59 位开发者提交了超过 550 个 commit。

2023 年 9 月 1 日，是 Apache StreamPark 孵化整整一周年的日子，在这个值得纪念的日子里，我们特此剪辑了一个短片，回顾 Apache StreamPark 的发展历程：

<iframe class="video_iframe rich_pages" data-vidtype="2" data-mpvid="wxv_3266375211961221128" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fmmbiz_jpg%2F8LQOHpLWEkEIyuUJ49HGIJafTLQzhmpJuHhhibK8aznRBj0fr8KhRqDuUaBf7voLWEbq9YVZhuBIFrjLKGfeASA%2F0%3Fwx_fmt%3Djpeg" allowfullscreen="" frameborder="0" data-ratio="1.7777777777777777" data-w="1920" style="border-radius: 4px;" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&amp;action=mpvideo&amp;auto=0&amp;vid=wxv_3266375211961221128"></iframe>

项 目 关 键 进 展

2023 年 Apache StreamPark 在开发新功能的同时，对项目的稳定性持续打磨，在对 Apache Flink 的基础能力支持上日益成熟，以下是项目的关键进展:

1. 更好的 Flink 支持：在 Flink 作业的部署模式和版本支持上都做大量改进，开发管理 Flink 作业更加的简单丝滑。重构了 Flink on K8s 作业部署和状态监控，整体稳定性达到生产可用级别，并经过用户 500+ 生产环境作业的验证。
2. 新功能持续更新：项目在功能上持续更新，新增了团队管理、LDAP 登录、变量等深受欢迎的企业级特性和能力，更贴合企业的使用。基于 Vue3 重构了项目前端，显著提升了项目的可读性、可维护性，前端的构建和启动速度提升了 5~10 倍。
3. 产品越发成熟：这一年我们发布了三个改进 & Bug 修复版本，在此过程中我们收集了大量的用户反馈，项目从前端到后台，不论是作业的开发部署，还是状态管理，使用体验...方方面面都做了大量改进，产品综合表现越发成熟稳定。
4. 支持生态项目:  无缝地支持对接 Apache Doris、Paimon 等数据集成作业。
5. 安全性 & 合规性：作为孵化中的项目，项目合规是重要的一环，我们排查解决了项目中存在漏洞的依赖，修复了项目自身的漏洞，4 次发版通过 Apache 的检查，项目合规性得到有效保证。

用 户 持 续 增 长

在 2023 年 我们迎来了越来越多的用户，公开收集的登记使用用户新增 24 位。目前如 百度、腾讯、联通、天翼云、自如、圆通、网易智企、同程数科、长安汽车、马蜂窝 等一二线大厂都在使用，其他使用或者基于 Apache StreamPark 二次开发的公司更是不计其数。

荣 获 多 项 殊 荣

在 2023 年，Apache StreamPark 社区获得了多项荣誉。Apache StreamPark 作为一个年轻的开源项目，能在多个评选中获得各个不同主办方对项目的认可并被授予表彰，不仅证明了项目的价值，更提高了项目的知名度，这是对我们多年来坚持不懈努力的嘉许。这些奖项不仅肯定了我们才华横溢的贡献者，更见证了开源社区的繁荣与创新。感谢各个主办方，感谢我们的导师和所有的贡献者们。让我们牢记这份珍贵的荣誉，我们将继续努力，争取更好的成绩。

持 续 分 享 输 出

2023 Apache StreamPark 社区在技术分享上持续输出，在 2023 年 8 月「Community over Code」ASIA 大会，带来 3 场 Apache StreamPark 相关的主题分享。此外产生了来自 自如、顺网科技、海程邦达 等企业的多篇生产实践文章，并且生产了数十个原创视频，在各个渠道累计播放量 20W+ 。在此非常感谢各合作社区的关照和传播，正是各个合作社区伙伴们的帮衬和关照才能使得 Apache StreamPark 项目的影响力不断上升。

往期精彩文章汇总

[

惊讶！史上最年轻的 Apache Committer 诞生 !!!

](https://mp.weixin.qq.com/s?__...

[

自如基于 Apache StreamPark 的实时计算平台实践

](https://mp.weixin.qq.com/s?__...

[

StreamPark 在顺网科技的大规模生产实践

](https://mp.weixin.qq.com/s?__...

[

海程邦达基于 Apache Paimon + StreamPark 的流式数仓实践

](https://mp.weixin.qq.com/s?__...

[

StreamPark 2.0.0 重磅发布，首个 Apache 版本终于来了！｜发版通告

](https://mp.weixin.qq.com/s?__...

[

官宣！StreamPark 成功进入 Apache 孵化器

](https://mp.weixin.qq.com/s?__...

[

StreamPark 在联通数科万亿级实时计算中的生产实践

](https://mp.weixin.qq.com/s?__...

[

StreamPark 最佳实践 - Flink on Kubernetes 篇

](https://mp.weixin.qq.com/s?__...

[

StreamPark 一站式计算利器在海博科技的生产实践，助力智慧城市建设

](https://mp.weixin.qq.com/s?__...

[

StreamPark 一岁啦，感谢你见证我的成长，我将伴你一路而行！

](https://mp.weixin.qq.com/s?__...

[

StreamPark 使用手册 - 安装部署篇

](https://mp.weixin.qq.com/s?__...

[

StreamPark 在尘锋信息的最佳实践，化繁为简极致体验

](https://mp.weixin.qq.com/s?__...

[

StreamPark 在 Joyme 的生产实践，从遇见到相爱一气呵成！

](https://mp.weixin.qq.com/s?__...

Flink 开发利器 StreamPark

展 望 2024

如果用一个词概括总结 Apache StreamPark 的 2023, 我想就是: 奋进，持志如心痛，我们始终以奋进的姿态推动项目发展，为用户的使用落地保驾护航。停留片刻，岁月扉页已翻到 2024，2024 Apache StreamPark 有哪些期待呢？

Apache StremaPark 最初的想法就是简化 Flink | Spark 的开发和管理，让流处理更简单，因此会继续加大 对 Flink 的支持力度，包括不限于支持 PyFlink，探索 Sql-gateway 等交互式方面的体验，继续完善底层基础建设，改进 Flink on K8S 的基础能力，加强完善 SLA 的方面的保障体系，和生态项目共同建设发展，更好的支持和集成 Apache Paimon/Doris 和 Flink CDC 等生态项目。

Apache StreamPark 从来都不是一个独立的平台，也并非绑定在某个流计算引擎之上，因此，在 2024 年社区会发起讨论，启动对 Apache Spark 的支持，包括不限于开发框架和作业管控平台，使其真正做到让流处理更简单，成为流处理开发管理和实时计算平台事实上的最佳选择。

加 入 我 们

Apache StreamPark 是一个流处理应用程序开发管理框架。旨在轻松构建和管理流处理应用程序，提供使用 Apache Flink 和 Apache Spark 编写流处理应用程序的开发框架。同时 Apache StreamPark 提供了一个流处理应用管理平台，核心能力包括但不限于应用开发、调试、交互查询、部署、运维、实时数仓等，最初开源时项目名称叫 StreamX ，于 2022 年 8 月更名为 StreamPark，随后通过投票正式成为 Apache 软件基金会的孵化项目。目前已有腾讯、百度、联通、天翼云、自如、马蜂窝、同程数科、长安汽车、大健云仓等众多公司在生产环境使用。

💻 项目地址：https://github.com/apache/str...

🧐 提交问题和建议：https://github.com/apache/str...

🥁 贡献代码：https://github.com/apache/str...

*📮 Proposal：*https://cwiki.apache.org/conf...

📧 订阅社区开发邮件列表：mailto:[e-mail]

💁‍♀️社区沟通：