2024 年 10 月 12 日，Cloudberry Database 项目通过投票获准加入 Apache 软件基金会孵化器[1]，这标志着 Cloudberry 项目及其社区的一个重要里程碑。2024 年 11 月 5 日，Cloudberry 项目的关联代码仓库迁移至 Apache 软件基金会。随着此次转变，Cloudberry 正式加入 Apache 孵化器，并在其旗下启动孵化开发。此外，Clo...

数据孤岛：不同系统、格式的海量数据难以整合，如何打通数据流转的“任督二脉”？实时与批处理的融合需求：如何在数据复杂度和实时性要求不断提升的情况下实现高效整合？性能瓶颈：海量数据在查询和处理时的效率如何提升，尤其是复杂场景中的计算性能优化？生态协作：数据集成工具和仓库引擎如何高效协同以应对多样化业务...

PowerData以下文章来源于ApachePulsar ，作者谙流科技[ApachePulsar .Apache 软件基金会顶级项目，下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。](#)P...

PowerData编者荐语：滴滴，本周末的南京开源活动，感兴趣的小伙伴可以报名参与以下文章来源于开源社KAIYUANSHE ，作者KCC@南京[开源社KAIYUANSHE .开源社 - 开源人的家 KAIYUANSHE, Home of Open-Sourcers](#)一场开源视角的AI会议，将于2024年11月30日在南京举办。此次活动，知名开源导师-庄表伟老师将为大家介绍自己搭...

一年一度的 Apache Doris 峰会再次启航，Doris Summit Asia 2024 现已开启报名，将于 2024 年 12 月 14 日在深圳正式举办。

原创 PD韩立 PowerData专栏导语✦亲爱的读者小伙伴们：大家好，过去《数据人物》专栏访谈对象均为大数据方向从业者，通过他们分享自身经历中的点点滴滴，给我们的读者朋友们以启迪。在这里小编感谢之前接受采访的各位朋友的精彩分享。PowerData作为一个分享开源技术，传播开源文化的社区，我们将不再局限于数据领域的人物...

今年PowerData城市开源行圆满结束，社区将分享PPT资料梳理出来供大家下载学习，内容非常全面，欢迎转发给需要的朋友，资料转发请标注来源为：PowerData。

原创 PowerData-叶翔 PowerDataconsumer 初始化阶段 1：Find Group Coordinator查找 Group Coordinator的方式：先根据消费组 groupid的 hash值计算它所应该在\_\_consumer\_offsets中的分区编号；找到对应的分区号后，再寻找此分区 leader所在的 broker节点，则此节点即为自己的 Group Coordinator；注：注意这里是消费...

COSCon'24 第九届中国开源年会暨开源社十周年嘉年华，将于 2024 年 11 月 2-3 日 在中关村国家自主创新示范区会议中心举办。

COSCon'24 第九届 中国开源年会 暨开源社十周年嘉年华，将于 2024 年 11 月 2-3 日在中关村国家自主创新示范区会议中心举办。PowerData 作为联合出品社区，将于11月2日-11月3日 组织 开源大数据分论坛。

本次活动邀请了来自星火智云、玩心不止、飞轮科技、正泰集团、霖梓控股、中国电信等企业多位技术专家，为参会者分享在保险、游戏、制造和电信等领域的应用案例。演讲涵盖 Apache Doris 及阿里云数据库 SelectDB 版在各领域的数据仓库落地方案及场景实践，并将探讨在日志存储与分析、用户圈选等场景下的具体应用。现场参...

      Kafka 服务端的网络设计通常采用三层架构，它包括以下三层：网络层：Acceptor负责接受来自客户端的连接请求，并创建对应的网络连接。请求层：Processor 负责处理来自客户端的请求，并将其传递给合适的 Handler 进行处理。它处于请求处理的中间层，负责请求的分发和路由。处理层：Handler 接收到 Processor 分发的...

PowerData（扫描二维码，立刻报名）活动背景在当今数字化时代，人工智能与大数据已经成为引领科技创新的重要力量。它们相互促进，共同推动着各行业的变革与发展。面对海量数据的处理需求，如何高效、快速地完成AI模型训练和部署，提高大数据分析效率并降低运维成本，已经成为行业共同面临的挑战。诚挚邀请 AI & Data...

原创 PowerData叶翔 PowerDataproducer核心流程一个Producer客户端由两个线程协调运行，主线程和Sender线程。主线程中由 KafkaProducer创建消息，然后通过可能的拦截器、序列化器和分区器的作用之后缓存到消息累加器（RecordAccumulator，也称为消息收集器）中。注：这里的消息拦截器可以在发消息的之前对数据进行预处理...

PowerData编者荐语：优秀开源项目推荐以下文章来源于Datavines ，作者Datavines[Datavines .下一代数据可观测性平台](#)导 读  本文主要介绍长桥科技（长桥证券背后的科技公司）通过引入 Datavines 来解决多租户场景下数据质检任务挤占资源和耗时过长的问题，重点介绍了 Datavines 与其现有的数据平台的集成方案和应对业...

中国开源年会 COSCon 是业界最具影响力的开源盛会之一，由 开源社 在2015年首次发起，以其独特定位及日益增加的影响力，吸引了越来越多的国内外企业、高校、开源组织/社区的大力支持。

PowerData以下文章来源于Apache StreamPark ，作者StreamPark[Apache StreamPark .Apache StreamPark(Incubating) 让流处理更简单, Flink & Spark 流处理极速开发框架, 流批一体一站式大数据实时平台。](#)导 读  本文主要介绍马蜂窝原有实时平台不支持 Flink On Kubernetes，通过引入 Apache StreamPark 来解决原有...

PowerData编者荐语：一篇非常非常干货的技术文章，从代码层面剖析Pulsar是如何基于存算分离的基础之上，进行动态的负载均衡以下文章来源于ApachePulsar ，作者冯文智[ApachePulsar .Apache 软件基金会顶级项目，下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持...

PowerData编者荐语：Apache Pulsar Meetup 北京，欢迎大家报名参与~以下文章来源于ApachePulsar ，作者谙流科技[ApachePulsar .Apache 软件基金会顶级项目，下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一...

2024 年 8 月 25 日，PowerData 杭州开源行在杭州海智中心圆满落幕！此次技术交流活动汇聚了众多行业专家和热情的参与者，共同探讨了大数据领域的最新趋势和技术创新。

云原⽣数据仓库是当下最热⻔的技术之⼀，它能够实现存算分离，降低扩容成本，提⾼性能和可靠性。这个领域也出现过有许多优秀的开源项⽬和商业解决⽅案，如 ClickHouse、Presto、 Snowflake、BigQuery 等，它们各有特点和优势，但也⾯临着不同的挑战和问题。⽐如 ClickHouse 在应对⼤数据量和⾼可⽤等⽅⾯还存在不⾜。

本次活动邀请了来自抖音集团、飞轮科技、爱玛科技、中国电信、天翼云等多位行业技术专家，将为参会者带来多行业、跨领域的技术分享及落地实践。比如 Apache Doris 在电商场景、PB 级规模数据场景下的最佳实践，以及在制造企业、国产化环境中的应用及探索。现场参会名额有限，感兴趣的同学抓紧报名占位！

"总把西湖比西子，浓妆淡抹总相宜"，杭州，这座温婉如画的江南水乡，自古便以其独有的风姿吸引着无数文人墨客的驻足与赞美。其不仅承载着深厚的历史文化底蕴，更在时代的洪流中，以科技创新为翼，展现着古今交融的独特魅力与无限活力。

PowerData以下文章来源于Apache Doris 补习班 ，作者苏奕嘉[Apache Doris 补习班 .Apache Doris Active Contributor 和 SelectDB SA 来做的不定时更新，主打 Apache Doris 系列学习文章和相关信息、原理解析或者新特性使用教程，争取 All In 原创，欢迎投稿~](#)引言Apache Doris 作为一款 OLAP 实时数据仓库，在越来越...

2024年7月27日，PowerData西安开源行在西安市未央区搜宝中心圆满落幕！此次技术交流活动汇聚了众多行业专家和热情的参与者，共同探讨了大数据领域的最新趋势和技术创新。活动现场充满了热烈的讨论和深度的交流，展示了前沿技术的多样应用。让我们一同回顾这场精彩的开源行，感受大数据技术在各个领域的无限潜力与可能性...

古有“长安回望绣成堆，山顶千门次第开”，西安，这座拥有深厚历史文化底蕴的古都，自古以来便是国家的重要战略中心。在漫长的历史进程中，西安不仅孕育了辉煌的文化，更在现代化进程中展现出了蓬勃的发展活力。

古有“长安回望绣成堆，山顶千门次第开”，西安，这座拥有深厚历史文化底蕴的古都，自古以来便是国家的重要战略中心。在漫长的历史进程中，西安不仅孕育了辉煌的文化，更在现代化进程中展现出了蓬勃的发展活力。

随着各企业版图的不断扩张与业务创新的加速，实时数据的浪潮正在重塑每一个行业。如何高效处理和分析日益增长的海量实时数据，并灵活应对多样化的数据分析需求，已成为企业实现数字化转型与升级的核心关键。

本周四晚20:30，本篇文章的作者苏奕嘉同学，将会进行《Apache Doris 湖仓一体化新四大体系》的分享，欢迎大家预约直播并参与本次分享。

PowerData编者荐语：从硬件组装开始搞一套预生产的 Doris 集群（一）组装服务器以下文章来源于Apache Doris 补习班 ，作者苏奕嘉[Apache Doris 补习班 .Apache Doris Active Contributor 和 SelectDB SA 来做的不定时更新，主打 Apache Doris 系列学习文章和相关信息、原理解析或者新特性使用教程，争取 All In 原创，欢...