Apache Doris + Paimon 快速搭建指南|Lakehouse 使用手册(二)

7 月 25 日
阅读 13 分钟
46
湖仓一体(Data Lakehouse)融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势,帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版本中,Apache Doris 持续加深与数据湖的融合,已演进出一套成熟的湖仓一体解决方案。

Apache Doris 2.1.5 版本正式发布

7 月 25 日
阅读 6 分钟
37
亲爱的社区小伙伴们,Apache Doris 2.1.5 版本已于 2024 年 7 月 24 日正式发布。2.1.5 版本在湖仓一体、多表物化视图、半结构化数据分析等方面进行了全面更新及改进,同时在倒排索引、查询优化器、查询引擎、存储管理等 10 余方向上完成了若干问题修复,欢迎大家下载使用。

“SelectDB 实时数据仓库解决方案”入围工信部“信息技术应用创新典型解决方案”

7 月 16 日
阅读 2 分钟
71
7 月 11 日,由工业和信息化部网络安全产业发展中心(工业和信息化部信息中心)主办的 2024 信息技术应用创新发展大会暨解决方案应用推广大会在天津落下帷幕,会上集中发布了一系列技术水平先进、应用效果突出、产业带动性强的信息技术创新工作成果。其中,由飞轮科技申报的“基于新一代实时数据仓库 SelectDB 的大数据分...

Apache Doris + Apache Hudi 快速搭建指南|Lakehouse 使用手册(一)

7 月 11 日
阅读 14 分钟
152
导读:湖仓一体(Data Lakehouse)融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势,帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版本中,Apache Doris 持续加深与数据湖的融合,已演进出一套成熟的湖仓一体解决方案。为便于用户快速入门,我们将通过系列文章介绍 Apache Doris 与各类主...

从 ClickHouse 到 Apache Doris:快成物流的数智化货运应用实践

7 月 4 日
阅读 7 分钟
190
导读:随着快成物流的大宗商品产业链的不断发展,货运轨迹规划和实时数据分析的需求日益迫切,为了保障数据报表更新、用户画像圈选与物流轨迹实时更新等大数据核心系统性能,快成物流引入 Apache Doris 实时数仓升级了大数据算法平台,目前已经部署在 2 套生产集群,存储数据总量达百亿规模,覆盖实时数仓、BI 多维分析...

Apache Doris 2.0.12 版本正式发布

6 月 28 日
阅读 1 分钟
65
不再将建表的默认注释设置为表的类型,而是改成默认为空,比如 COMMENT 'OLAP' 变成 COMMENT '',这样对于依赖注释的BI软件更加友好。 #35855

网易游戏如何基于 Apache Doris 构建全新湖仓一体架构

6 月 28 日
阅读 11 分钟
60
导读:随着网易游戏品类及产品的快速发展,游戏数据分析场景面临着越来越多的挑战,为了保证系统性能和 SLA,要求引入新的组件来解决特定业务场景问题。为此,网易游戏引入 Apache Doris 构建了全新的湖仓一体架构。经过不断地扩张,目前已发展至十余集群、为内部上百个项目提供了稳定可靠的数据服务、日均查询量数百万...

Apache Doris 2.1.4 版本正式发布

6 月 26 日
阅读 5 分钟
171
亲爱的社区小伙伴们,Apache Doris 2.1.4 版本已于 2024 年 6 月 26 日正式发布。在 2.1.4 版本中,我们对数据湖分析场景进行了多项功能体验优化,重点修复了旧版本中异常内存占用的问题,同时提交了若干改进项以及问题修复,进一步提升了系统的性能、稳定性及易用性,欢迎大家下载使用。

抖音集团基于 Apache Doris 的实时数据仓库实践

6 月 26 日
阅读 6 分钟
876
在直播、电商等业务场景中存在着大量实时数据,这些数据对业务发展至关重要。而在处理实时数据时,我们也遇到了诸多挑战,比如实时数据开发门槛高、运维成本高以及资源浪费等。

《SelectDB 新一代日志存储分析平台解决方案》白皮书重磅发布|立即下载

6 月 18 日
阅读 2 分钟
347
随着信息技术的飞速进步,企业面临着前所未有的系统复杂性和数据挑战。在此背景下,日志数据成为了企业洞察系统内部状态、监控网络安全以及分析业务动态的宝贵资源,构建高效的日志存储与分析平台至关重要。

Apache Doris 全新分区策略 Auto Partition 应用场景与功能详解 | Deep Dive系列

6 月 17 日
阅读 22 分钟
518
在当今数据驱动的时代,如何高效、有序地管理数据库中的海量数据成为挑战。为了处理庞大的数据集,分布式数据库引入了类似分区和分桶策略,通过将数据按特定规则划分成较小的单位并分布到不同节点上,利用并行计算能力以提升处理和分析性能,并加强了数据管理的灵活性。

Apache Doris 2.0.11 版本正式发布

6 月 6 日
阅读 2 分钟
416
亲爱的社区小伙伴们,Apache Doris 2.0.11 版本已于 2024 年 6 月 5 日正式与大家见面,该版本提交了 123 个改进项以及问题修复,进一步提升了系统的性能及稳定性,欢迎大家下载体验。

毫秒级查询性能优化实践!Apache Doris 在极越汽车数字化运营和营销方向的解决方案

6 月 6 日
阅读 10 分钟
759
导读:极越是高端智能汽车机器人品牌,基于领先的百度 AI 能力和吉利 SEA 浩瀚架构生态赋能,致力于打造智能化领先的汽车机器人,以高阶智驾、智舱产品和创新数字化服务,为用户创造标杆级智能科技出行体验。随着全球汽车行业向电动化、智能化加速转型,对车端数据实时精准响应的需求也越来越高,经过对比选型,极越汽车...
封面图

现代化实时数仓 SelectDB 再次登顶 ClickBench 全球数据库分析性能排行榜

5 月 31 日
阅读 2 分钟
372
近日,在 ClickHouse 发起的分析型数据库性能测试排行榜 ClickBench 中,现代化实时数仓 SelectDB 在时隔两年后再次完成登顶,在全部近百款数据库和数十种机型中,性能位居总榜第一!

基于 Apache Doris 的实时/离线一体化架构,赋能中国联通 5G 全连接工厂解决方案

5 月 31 日
阅读 6 分钟
506
导读: 数据是 5G 全连接工厂的核心要素,为支持全方位的数据收集、存储、分析等工作的高效进行,联通 5G 全连接工厂从典型的 Lambda 架构演进为 All in Apache Doris 的实时/离线一体化架构,并凭借 Doris 联邦查询能力打造统一查询网关,数据处理及查询链路大幅简化,为联通 5G 全连接工厂带来数据时效性、查询响应、...

阿里云数据库 SelectDB 版全面商业化!开启现代化实时数据仓库的全新篇章

5 月 23 日
阅读 3 分钟
296
2024 年 5 月 21 日,由阿里云联合飞轮科技共同举办的「阿里云数据库 SelectDB 版商业化产品发布会」于线上召开。阿里巴巴集团副总裁、阿里云数据库产品事业部负责人李飞飞宣布,阿里云数据库 SelectDB 版在中国站及国际站全面发布,正式开启商业化的全新篇章!

Apache Doris 2.1.3 版本正式发布

5 月 22 日
阅读 4 分钟
196
亲爱的社区小伙伴们,Apache Doris 2.1.3 版本已于 2024 年 5 月 20 日正式发布。该版本在功能特性上对数据湖、物化视图、负载管理等方面进行了多项更新,进一步简化湖仓一体架构、加速了查询性能;同时提交了若干改进项以及问题修复,进一步提升了系统的性能及稳定性,欢迎大家下载体验。

Apache Doris 2.0.10 版本正式发布

5 月 17 日
阅读 1 分钟
102
亲爱的社区小伙伴们,Apache Doris 2.0.10 版本已于 2024 年 5 月 15 日正式与大家见面,该版本提交了 83 个改进项以及问题修复,进一步提升了系统的性能及稳定性,欢迎大家下载体验。

从 Volcano 火山模型到 Pipeline 执行模型,Apache Doris 执行模型的迭代

5 月 16 日
阅读 9 分钟
298
在现代数据库系统中,执行引擎在数据库体系结构中起着承上启下的作用,与查询优化器和存储引擎共同组成了数据库的三大模块。我们以 SQL 语句在数据库系统中的完整执行过程为例,来介绍执行引擎在其中发挥的作用:
封面图

从离线到实时:无锡锡商银行基于 Apache Doris 的数据仓库演进实践

5 月 8 日
阅读 6 分钟
153
导读:为实现数据资产的价值转化以及全面数字化、智能化的风险管理,无锡锡商银行大数据平台经历从 Hive 离线数据仓库到 Apache Doris 实时数据仓库的演进,目前已接入数百张实时表、上百数据服务接口 ,接口 QPS 达到数百万级别,解决了离线数据仓库时效性不足、成本高昂、效率低下等问题,查询提速超 10 倍,为用户提...

查询提速 11 倍、资源节省 70%,Apache Doris 在网易日志和时序场景的实践

5 月 6 日
阅读 9 分钟
580
导读:作为网易重要的业务线,灵犀办公和云信针对大规模日志/时序数据处理和分析的挑战,分别构建了灵犀 Eagle 监控平台和云信数据平台。本文将重点介绍 Apache Doris 在网易日志和时序场景中的应用,如何使用 Apache Doris 替换 Elasticsearch 和 InfluxDB,从而实现更低的服务器资源以及更高的查询性能体验,相较于 El...

Apache Doris 基于 Workload Group 的负载隔离能力解读|Deep Dive

4 月 25 日
阅读 7 分钟
121
现如今企业的数据查询需求在不断增多,在共享同一集群时,往往需要同时面对多个业务线或多种分析负载的并发查询。在有限的资源条件下,查询任务间的资源抢占将导致性能下降甚至集群不稳定,因此负载管理的重要性不言而喻。

从 Apache Doris 到 SelectDB Cloud:云原生架构下的弹性能力揭秘

4 月 23 日
阅读 2 分钟
97
随着云时代的到来,越来越多企业开始在公有云、私有云乃至 K8s 容器平台构建实时数据平台。云计算基础设施的革新,促使着数据仓库朝着云原生的方向发展。而用户日益复杂的业务负载和降本增效的需求,对于系统资源的精细化管理和成本效益等方面提出了更高的要求。

手把手教你实现 OceanBase 数据到 Apache Doris 的便捷迁移|实用指南

4 月 22 日
阅读 27 分钟
119
作为广受认可的分布式数据库,OceanBase 已在众多企业关键业务系统中得到广泛应用。在 Apache Doris 社区,有众多用户选择基于 OceanBase 与 Apache Doris 以构建强大的数据处理与分析链路,本文将详细介绍如何便捷高效将数据从 OceanBase 迁移/同步至 Apache Doris 。

Doris Manager 24.0 版本正式发布!

4 月 17 日
阅读 4 分钟
105
Cluster Manager for Apache Doris(简称 Doris Manager)是 SelectDB 推出的管理运维 Apache Doris 集群的工具。用户可以轻松通过该工具部署和接管集群,实时查看集群的运行状态和详情,快捷地对集群进行扩缩容、升级及重启操作。同时,该工具还支持监控告警、参数配置、日志查看、任务审计、集群巡检等功能,让集群管...

Apache Doris 2.1.2 版本正式发布!

4 月 17 日
阅读 1 分钟
108
亲爱的社区小伙伴们,Apache Doris 2.1.2 版本已于 2024 年 4 月 12 日正式发布。该版本提交了若干改进项以及问题修复,进一步提升了系统的性能及稳定性,欢迎大家下载体验。

Apache Doris 基于 Job Scheduler 实现秒级触发任务调度能力

4 月 9 日
阅读 6 分钟
128
作者|SelectDB 技术团队在数据管理愈加精细化的需求背景下,定时调度在其中扮演着重要的角色。它通常被应用于以下场景:定期数据更新,如周期性数据导入和 ETL 操作,减少人工干预,提高数据处理的效率和准确性。结合 Catalog 实现外部数据源数据定期同步,确保多源数据高效、准确的整合到目标系统中,满足复杂的业务分...

Apache Doris 2.1.1 版本正式发布!

4 月 3 日
阅读 2 分钟
137
亲爱的社区小伙伴们,Apache Doris 2.1.1 版本已于 2024 年 4 月 3 日正式发布。该版本针对 2.1.0 版本出现的问题进行较为全面的优化,提交了若干改进项以及问题修复,进一步提升了系统的性能及稳定性,欢迎大家下载体验。

钱大妈生鲜如何利用 CCR 实现 Apache Doris 集群读写分离

3 月 29 日
阅读 4 分钟
225
钱大妈是社区生鲜连锁品牌的开拓者,经过十一年的稳健运营,已成为行业内的领军品牌,截至 2023 年 7 月已全国布局超 30 多座城市,门店总数 3000 余家,服务家庭超 1000 万。近年来,随着业务的高速发展以及门店的快速扩张,钱大妈需要对生鲜产品的采购、销售、库存等数据进行实时监控和分析,以保障食品的新鲜度及品质...

Apache Doris 支持 Arrow Flight SQL 协议,数据传输效率实现百倍飞跃

3 月 26 日
阅读 13 分钟
226
近年来,随着数据科学、数据湖分析等场景的兴起,对数据读取和传输速度提出更高的要求。而 JDBC/ODBC 作为与数据库交互的主流标准,在应对大规模数据读取和传输时显得力不从心,无法满足高性能、低延迟等数据处理需求。为提供更高效的数据传输方案,Apache Doris 在 2.1 版本中基于 Arrow Flight SQL 协议实现了高速数据...