开源“摩尔定律”即将打破，《2022开源大数据热力报告》重磅发布

开源社KAIYUANSHE

11月5日，在2022云栖大会一体化大数据智能峰会上，由开放原子开源基金会、X-lab开放实验室和阿里巴巴开源委员会联合出品的《2022年开源大数据热力报告》重磅发布。

开放原子开源基金会副秘书长刘京娟女士对报告进行了深度解读。报告基于公开数据研究最活跃的102个开源大数据项目，探寻出开源大数据技术发展背后的“摩尔定律”：每隔40个月，开源项目热力值就会翻一倍，技术完成一轮更新迭代。在过去8年里，发生了5次较大规模的技术热力跃迁，多元化、一体化、云原生成为当前开源大数据发展趋势的最显著特征。

定量分析

“后 Hadoop 时代”开源趋势

Hadoop 作为开源大数据技术的起源，兴起于2006年，至今已有16年历史。我们收集了从Hadoop 发展第10年（即2015年）至今的相关公开数据，并进行了关联分析，定义了开源项目热力值研究模型，使用量化指标，来刻画开源项目的开发迭代活跃度和受开发者欢迎程度。

报告所呈现的开源大数据热力图，从技术全景、技术栈分类以及项目维度对入围项目的热力表现进行洞察，将项目进程中的关键事件与热力表现关联分析，并访谈了开源基金会、知名开源项目等领域专家，尝试找到项目健康发展一般规律，并对有效提升项目影响力的方法论进行了归纳总结。

开源大数据技术的“摩尔定律”

即将打破 

三大热力趋势：

多元化、一体化和云原生

用户需求多样化推动技术多元化。「数据湖」以34%的热力值年均复合增长率高居热力值增速第一位，「交互式分析」、「DataOps」紧随其后，分列第二、三位 。而原有 Hadoop 体系的产品迭代则趋于稳定，热力值年均复合增长率为1%。

从2015年开始，计算部分率先进入「一体化」演进历程，其中的典型代表「流批一体」在2019年出现第一个热力峰值。以数据湖存储为代表的存储一体化从2019年起进入了一个新的发展阶段，涌现了 Delta Lake、 Iceberg 和 Hudi 等热点项目。

云原生大规模重构开源技术栈。诞生于云原生时代的开源项目如雨后春笋般破土成长。「数据集成」、「数据存储」、「数据开发与管理」等领域都发生了非常大的项目更迭，新项目热力值占比已经超过了80%。

开源大数据热力榜单TOP30

本报告从102个入围项目中，评选出了TOP30热力榜单。Kibana 以989.40的热力值高居榜首。ClickHouse（数据查询与分析）、Airflow（数据调度与编排）、Flink（流处理）、Airbyte（数据集成）分别摘得各自细分领域的TOP1。Pulsar、Doris、StarRocks、DolphinScheduler、SeaTunnel 等一众中国开源项目也表现出高热力趋势。把解决用户痛点作为核心竞争力，是这些优秀开源项目的共同特征，这一特征保证它们与时俱进，成为热力趋势中的“常青树”。

感谢开源中国、InfoQ 和阿里云开发者社区的战略支持，感谢对本报告内容产出做出重要贡献的32位专家和贡献者。感谢 CSDN、DataFun、Segmentfault思否、开源社等社区合作。

报告下载地址：

https://files.alicdn.com/tpss...

编辑丨唐凌波

设计丨冯歆怡

相

关

阅

读

华为王泽锋：协作创新，开源的魅力所在

COSCon'22 上海会场回顾 | 齐聚一堂，共度盛典

COSCon'22演讲｜Joyqi：从Answer项目思考社区赋能

开源社简介

开源社成立于 2014 年，是由志愿贡献于开源事业的个人成员，依 “贡献、共识、共治” 原则所组成，始终维持厂商中立、公益、非营利的特点，是最早以 “开源治理、国际接轨、社区发展、开源项目” 为使命的开源社区联合体。开源社积极与支持开源的社区、企业以及政府相关单位紧密合作，以 “立足中国、贡献全球” 为愿景，旨在共创健康可持续发展的开源生态，推动中国开源社区成为全球开源体系的积极参与及贡献者。

2017 年，开源社转型为完全由个人成员组成，参照 ASF 等国际顶级开源基金会的治理模式运作。近八年来，链接了数万名开源人，集聚了上千名社区成员及志愿者、海内外数百位讲师，合作了近百家赞助、媒体、社区伙伴。