SF
SelectDB 技术团队
SelectDB 技术团队
注册登录
关注博客
注册登录
主页
关于
RSS
兼顾高性能与低成本,浅析 Apache Doris 异步物化视图原理及典型场景
SelectDB技术团队
11 月 20 日
阅读 14 分钟
44
在现代化的数据分析场景中,数据量以指数级速度快速膨胀,分析维度在不断扩展,查询逻辑的复杂度也在日益增加。从性能角度考虑,在承担高并发查询的压力下,秒级别甚至更快的响应速度已成为基本需求。同时,面对有限的计算资源,成本及性能如何平衡,严格的资源管控也显得尤为重要。
Apache Doris 2.1.7 版本正式发布
SelectDB技术团队
11 月 13 日
阅读 4 分钟
69
亲爱的社区小伙伴们,Apache Doris 2.1.7 版本已于 2024 年 11 月 10 日正式发布。2.1.7 版本持续升级改进,同时在湖仓一体、异步物化视图、半结构化数据管理、查询优化器、执行引擎、存储管理、以及权限管理等方面完成了若干修复。欢迎大家下载使用。
8+ 典型分析场景,25+ 标杆案例,Apache Doris 和 SelectDB 精选案例集(2024版)电子版上线
SelectDB技术团队
11 月 7 日
阅读 2 分钟
87
当前,各企业正面临前所未有的数据增量,不仅体现在数据规模的急剧上升,还体现在数据的类型多样性和产生速度的加快。数据体量大固然蕴藏着更大的潜力及可能性,但如何有效利用这些数据,解决实际问题、赋能业务增长,才是各企业发展的关键。因此,企业亟需搭建高效的数据处理与分析平台,以帮助其从海量数据中提取有价...
阿里云 DataWorks 正式支持 SelectDB & Apache Doris 数据源,实现 MySQL 整库实时同步
SelectDB技术团队
11 月 7 日
阅读 9 分钟
65
SelectDB 是由飞轮科技基于 Apache Doris 内核打造的现代化数据仓库,支持大规模实时数据上的极速查询分析。 通过实时、统一、弹性、开放的核心能力,能够为企业提供高性价比、简单易用、安全稳定、低成本的实时大数据分析支持。SelectDB 具备世界领先的实时分析能力,能够实现秒级的数据实时导入与同步,在宽表、复杂多...
Apache Doris 3.0 里程碑版本|存算分离架构升级、湖仓一体再进化
SelectDB技术团队
10 月 16 日
阅读 14 分钟
198
从 3.0 系列版本开始,Apache Doris 开始支持存算分离模式,用户可以在集群部署时选择采用存算一体模式或存算分离模式。基于云原生存算分离的架构,用户可以通过多计算集群实现查询负载间的物理隔离以及读写负载隔离,并借助对象存储或 HDFS 等低成本的共享存储系统来大幅降低存储成本。
Apache Doris 2.0.15 版本发布
SelectDB技术团队
10 月 12 日
阅读 1 分钟
150
亲爱的社区小伙伴们,Apache Doris 2.0.15 版本已于 2024 年 9 月 30 日正式与大家见面,该版本提交了 157 个改进项以及问题修复,进一步提升了系统的性能及稳定性,欢迎大家下载体验。
从 Elasticsearch 到 Apache Doris 腾讯音乐内容库升级,统一搜索分析引擎,成本直降 80%
SelectDB技术团队
10 月 12 日
阅读 6 分钟
180
导读:为满足更严苛数据分析的需求,腾讯音乐内容库借助 Apache Doris 替代了 Elasticsearch 集群,统一了内容库数据平台的内容搜索和分析引擎。并基于 Doris 倒排索引和全文检索的能力,支持了复杂的自定义标签计算,实现秒级查询响应需求。此外,实现写入性能提升 4 倍、使用成本节省达 80% 的显著成效。相关文章:#腾...
飞轮科技携手观测云亮相云栖大会,全方位展示阿里云数据库 SelectDB 版核心优势
SelectDB技术团队
9 月 27 日
阅读 2 分钟
135
9 月 19 日 - 21 日,以「云启智跃,产业蝶变」为主题的阿里云 2024 云栖大会在杭州云栖小镇顺利举办。大会设有三大主论坛、400 多个分论坛,并开放 4 万平方米的智能科技展区。作为中国云计算产业链的年度盛会,云栖大会已连续举办 15 届,始终站在云计算发展的前沿,见证中国云计算发展三次浪潮的每个重要时刻。
快手:从 Clickhouse 到 Apache Doris, 实现湖仓分离向湖仓一体架构升级
SelectDB技术团队
9 月 27 日
阅读 7 分钟
606
导读:快手 OLAP 系统为内外多个场景提供数据服务,每天承载近 10 亿的查询请求。原有湖仓分离架构,由离线数据湖和实时数仓组成,面临存储冗余、资源抢占、治理复杂、查询调优难等问题。通过引入 Apache Doris 湖仓一体能力,替换了 Clickhouse ,升级为湖仓一体架构,并结合 Doris 的物化视图改写能力和自动物化服务,...
Apache Doris 2.1.6 版本正式发布
SelectDB技术团队
9 月 20 日
阅读 8 分钟
184
亲爱的社区小伙伴们,Apache Doris 2.1.6 版本已于 2024 年 9 月 10 日正式发布。2.1.6 版本在 Lakehouse、异步物化视图、半结构化数据管理持续升级改进,同时在查询优化器、执行引擎、存储管理、数据导入与导出以及权限管理等方面完成了若干修复。欢迎大家下载使用。
查询性能提升 10 倍、存储空间节省 65%,Apache Doris 半结构化数据分析方案及典型场景
SelectDB技术团队
9 月 13 日
阅读 14 分钟
348
随着业务的蓬勃发展,各企业对数据处理的灵活性和可扩展性提出了更高的要求。在此背景下,JSON、XML 等半结构化数据凭借其较强的灵活性在众多企业得到广泛应用。然而,传统关系型数据库结构严格,难以应对半结构化数据的复杂性及多样性。为有效存储及分析这些数据,Apache Doris 针对不同应用场景提供了 Array、Map、Str...
Apache Doris Flink Connector 24.0.0 版本正式发布
SelectDB技术团队
9 月 11 日
阅读 1 分钟
212
亲爱的社区伙伴们,Apache Doris Flink Connector 24.0.0 版本已于 2024 年 9 月 5 日正式发布。该版本新增了对 Flink 1.20 的支持,并支持通过 Arrow Flight SQL 高速读取 Doris 中数据。此外,整库同步所依赖的 FlinkCDC,也需升级至 3.1.x 版本,以便更好的应用。
SelectDB 多计算集群核心设计要点揭秘与场景应用
SelectDB技术团队
9 月 11 日
阅读 5 分钟
152
写入与读取隔离:传统数仓架构中,数据的写入和读取在同一个计算集群,当遇到业务写入高峰期或突增的写入压力时,容易因资源相互抢占影响查询服务的性能和稳定性。如果能引入多个计算集群,通过独立的计算集群分别进行写入、读取操作,即使在写入压力非常高时,也可放心执行计算任务,无需担心影响到服务的稳定性。
兼容Trino Connector,扩展Apache Doris数据源接入能力|Lakehouse 使用手册(四)
SelectDB技术团队
9 月 6 日
阅读 11 分钟
199
Apache Doris 内置支持包括 Hive、Iceberg、Hudi、Paimon、LakeSoul、JDBC 在内的多种 Catalog,并为其提供原生高性能且稳定的访问能力,以满足与数据湖的集成需求。而随着 Apache Doris 用户的增加,新的数据源连接需求也随之增加。因此,从 3.0 版本开始,Apache Doris 引入了 Trino Connector 兼容框架。
AI大模型独角兽 MiniMax 基于 Apache Doris 升级日志系统,PB 数据秒级查询响应
SelectDB技术团队
9 月 3 日
阅读 4 分钟
136
导读:早期 MiniMax 基于 Grafana Loki 构建了日志系统,在资源消耗、写入性能及系统稳定性上都面临巨大的挑战。为此 MiniMax 开始寻找全新的日志系统方案,并基于 Apache Doris 升级了日志系统,新系统已接入 MiniMax 内部所有业务线日志数据,数据规模为 PB 级, 整体可用性达到 99.9% 以上,10 亿级日志数据的检索速...
招联金融基于 Apache Doris 数仓升级:单集群 QPS 超 10w,存储成本降低 70%
SelectDB技术团队
8 月 29 日
阅读 4 分钟
190
在竞争激烈的消费金融市场中,有效利用海量数据、提升业务运营效率是赢得市场的关键。早期招联采用典型的 Lambda 架构提供业务报表、数据运营、个性推荐、风险控制等数据服务,而 Lambda 过多的技术栈也引发了数据孤岛、查询效率不足、代码复用性差以及开发运维成本高昂等诸多问题。因此,招联引入 Apache Doris 对架构...
飞轮科技首席执行官马如悦受邀出席可信数据库发展大会,三大事件,一文解读!
SelectDB技术团队
8 月 13 日
阅读 6 分钟
268
近日,由中国通信标准化协会、大数据技术标准推进委员会主办,InfoQ 极客传媒联合主办的 “2024 可信数据库发展大会” 在京成功召开。此次大会汇聚了众多数据库行业领军企业、专家学者,共同探讨全球数据库发展趋势,分享最具权威性的产业洞察和前沿的实践案例。
计算效率提升 30 倍、存储资源节省 90%,雨润集团基于 Apache Doris 的统一实时数据仓库建设实践
SelectDB技术团队
8 月 6 日
阅读 6 分钟
240
导读:数字化转型的浪潮中,高效准确的数据分析能够帮助雨润集团快速洞察市场动态、优化供应链管理、提高生产效率。雨润集团引入了 Apache Doris 构建了统一实时数据仓库,实现了计算效率提升 30 倍、存储资源节省 90%、成本降低超 100 万、人员效率提升 3 倍,为智能化、高效化转型指明了方向。
Apache Doris + Iceberg 快速搭建指南|Lakehouse 使用手册(三)
SelectDB技术团队
8 月 2 日
阅读 16 分钟
356
湖仓一体(Data Lakehouse)融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势,能够更加便捷地满足各种数据处理分析的需求。Apache Doris 持续加深与数据湖的融合,已演进出一套成熟的湖仓一体解决方案。我们将通过一系列文章介绍 Apache Doris 与各类主流数据湖格式及存储系统的湖仓一体架构搭建指南,...
Apache Doris + Paimon 快速搭建指南|Lakehouse 使用手册(二)
SelectDB技术团队
7 月 25 日
阅读 13 分钟
402
湖仓一体(Data Lakehouse)融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势,帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版本中,Apache Doris 持续加深与数据湖的融合,已演进出一套成熟的湖仓一体解决方案。
Apache Doris 2.1.5 版本正式发布
SelectDB技术团队
7 月 25 日
阅读 6 分钟
411
亲爱的社区小伙伴们,Apache Doris 2.1.5 版本已于 2024 年 7 月 24 日正式发布。2.1.5 版本在湖仓一体、多表物化视图、半结构化数据分析等方面进行了全面更新及改进,同时在倒排索引、查询优化器、查询引擎、存储管理等 10 余方向上完成了若干问题修复,欢迎大家下载使用。
“SelectDB 实时数据仓库解决方案”入围工信部“信息技术应用创新典型解决方案”
SelectDB技术团队
7 月 16 日
阅读 2 分钟
189
7 月 11 日,由工业和信息化部网络安全产业发展中心(工业和信息化部信息中心)主办的 2024 信息技术应用创新发展大会暨解决方案应用推广大会在天津落下帷幕,会上集中发布了一系列技术水平先进、应用效果突出、产业带动性强的信息技术创新工作成果。其中,由飞轮科技申报的“基于新一代实时数据仓库 SelectDB 的大数据分...
Apache Doris + Apache Hudi 快速搭建指南|Lakehouse 使用手册(一)
SelectDB技术团队
7 月 11 日
阅读 14 分钟
417
导读:湖仓一体(Data Lakehouse)融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势,帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版本中,Apache Doris 持续加深与数据湖的融合,已演进出一套成熟的湖仓一体解决方案。为便于用户快速入门,我们将通过系列文章介绍 Apache Doris 与各类主...
从 ClickHouse 到 Apache Doris:快成物流的数智化货运应用实践
SelectDB技术团队
7 月 4 日
阅读 7 分钟
498
导读:随着快成物流的大宗商品产业链的不断发展,货运轨迹规划和实时数据分析的需求日益迫切,为了保障数据报表更新、用户画像圈选与物流轨迹实时更新等大数据核心系统性能,快成物流引入 Apache Doris 实时数仓升级了大数据算法平台,目前已经部署在 2 套生产集群,存储数据总量达百亿规模,覆盖实时数仓、BI 多维分析...
Apache Doris 2.0.12 版本正式发布
SelectDB技术团队
6 月 28 日
阅读 1 分钟
167
不再将建表的默认注释设置为表的类型,而是改成默认为空,比如 COMMENT 'OLAP' 变成 COMMENT '',这样对于依赖注释的BI软件更加友好。 #35855
网易游戏如何基于 Apache Doris 构建全新湖仓一体架构
SelectDB技术团队
6 月 28 日
阅读 11 分钟
146
导读:随着网易游戏品类及产品的快速发展,游戏数据分析场景面临着越来越多的挑战,为了保证系统性能和 SLA,要求引入新的组件来解决特定业务场景问题。为此,网易游戏引入 Apache Doris 构建了全新的湖仓一体架构。经过不断地扩张,目前已发展至十余集群、为内部上百个项目提供了稳定可靠的数据服务、日均查询量数百万...
Apache Doris 2.1.4 版本正式发布
SelectDB技术团队
6 月 26 日
阅读 5 分钟
316
亲爱的社区小伙伴们,Apache Doris 2.1.4 版本已于 2024 年 6 月 26 日正式发布。在 2.1.4 版本中,我们对数据湖分析场景进行了多项功能体验优化,重点修复了旧版本中异常内存占用的问题,同时提交了若干改进项以及问题修复,进一步提升了系统的性能、稳定性及易用性,欢迎大家下载使用。
抖音集团基于 Apache Doris 的实时数据仓库实践
SelectDB技术团队
6 月 26 日
阅读 6 分钟
1.2k
在直播、电商等业务场景中存在着大量实时数据,这些数据对业务发展至关重要。而在处理实时数据时,我们也遇到了诸多挑战,比如实时数据开发门槛高、运维成本高以及资源浪费等。
《SelectDB 新一代日志存储分析平台解决方案》白皮书重磅发布|立即下载
SelectDB技术团队
6 月 18 日
阅读 2 分钟
492
随着信息技术的飞速进步,企业面临着前所未有的系统复杂性和数据挑战。在此背景下,日志数据成为了企业洞察系统内部状态、监控网络安全以及分析业务动态的宝贵资源,构建高效的日志存储与分析平台至关重要。
Apache Doris 全新分区策略 Auto Partition 应用场景与功能详解 | Deep Dive系列
SelectDB技术团队
6 月 17 日
阅读 22 分钟
1.1k
在当今数据驱动的时代,如何高效、有序地管理数据库中的海量数据成为挑战。为了处理庞大的数据集,分布式数据库引入了类似分区和分桶策略,通过将数据按特定规则划分成较小的单位并分布到不同节点上,利用并行计算能力以提升处理和分析性能,并加强了数据管理的灵活性。
1
(current)
2
下一页
1
(current)
下一页