金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践

1 月 21 日
阅读 5 分钟
153
导读:中信银行信用卡中心每日新增日志数据 140 亿条(80TB),全量归档日志量超 40PB,早期基于 Elasticsearch 构建的日志云平台,面临存储成本高、实时写入性能差、文本检索慢以及日志分析能力不足等问题。因此使用 Apache Doris 替换 Elasticsearch,实现资源投入降低 50%、查询速度提升 2~4 倍,同时显著提高了运维...

终态部署、易扩展、无感升级,Doris Operator 支持高效 Kubernetes 容器化部署方案

1 月 15 日
阅读 8 分钟
270
容器化凭借其灵活性、跨平台性、自动化管理和极致弹性,吸引了众多企业的关注。一些企业希望将 Apache Doris 容器化部署,以实现高效的资源利用与部署迭代。Kubernetes 提供的编排和管理功能,能完成大规模容器部署,但 Kubernetes 自身的复杂性也导致众多企业面临部署复杂、运维困难、使用难度高等挑战。

计算效率提升 10 倍,存储成本降低 60%,灵犀科技基于 Apache Doris 建设统一数据服务平台

1 月 3 日
阅读 5 分钟
349
导读:灵犀科技早期基于 Hadoop 构建大数据平台,在战略调整和需求的持续扩增下,数据处理效率、查询性能、资源成本问题随之出现。为此,引入 Apache Doris 替换了复杂技术栈,升级为集存储、加工、服务为一体的统一架构,实现存储成本下降 60%,计算效率提升超 10 倍的显著成效。

飞轮科技荣获中国电信星海大数据最佳合作伙伴奖!

2024-12-26
阅读 1 分钟
303
近日,由中国电信集团数据发展中心主办的数据要素合作论坛在广州召开。大会以“数聚共生·智启未来”为主题,旨在展示数据要素应用成果,探索数据要素创新实践。与会期间,为了感谢 2024 年生态合作伙伴对中国电信数据业务发展工作的支持,会议举行了“星海大数据·最佳合作伙伴奖”颁奖仪式。飞轮科技凭借其在数据分析领域的...

Apache Doris 创始人:何为“现代化”的数据仓库?

2024-12-26
阅读 7 分钟
346
在 12 月 14 日的 Doris Summit Asia 2024 上,Apache Doris 创始人 & PMC 成员马如悦在开场演讲中,围绕“现代化数据仓库”这一主题,指出 3.0 版本是 Apache Doris 研发路程中的重要里程碑,他将这一进展总结为“实时之路”、“统一之路”和“弹性之路”,详细介绍了所对应的核心特性的设计思考与应用价值,揭晓了 2025 年社区...

一文了解多云原生的现代化实时数仓 SelectDB Cloud

2024-12-24
阅读 7 分钟
382
随着数字化转型的加速,云计算已成为现代企业运营中的关键组成部分。云的重要性体现在多个方面:首先,它提供更好的灵活性与可扩展性,可根据实际需求动态调整计算和存储资源,以快速适应市场变化并支持业务增长。其次,其采用按需计费的模式,使企业能够有效控制成本,避免高昂的硬件投资和维护费用。

峰会快讯:Doris Summit Asia 2024 圆满落幕!

2024-12-19
阅读 6 分钟
447
2024 年 12 月 14 日,由飞轮科技主办,腾讯云和阿里云联合主办的 Doris Summit Asia 2024 在深圳圆满落幕。活动当天,人潮涌动,会场弥漫着浓厚的技术气息。此次峰会吸引了众多大数据及数据库领域技术专家及开源爱好者的关注,现场参会者超过 500 名,线上直播吸引了数万名观众,共同见证了这场数据处理及分析领域技术...

Apache Doris 3.0.3 版本正式发布

2024-12-09
阅读 5 分钟
298
亲爱的社区小伙伴们,Apache Doris 3.0.3 版本已于 2024 年 12 月 02 日正式发布。 该版本进一步提升了系统的性能及稳定性,欢迎大家下载体验。

Cisco WebEx 数据平台基于 Apache Doris 统一 Trino、Pinot、Iceberg、Kyuubi技术栈

2024-11-29
阅读 6 分钟
360
导读:Cisco WebEx 早期数据平台采用了多系统架构(包括 Trino、Pinot、Iceberg 、 Kyuubi 等),面临架构复杂、数据冗余存储、运维困难、资源利用率低、数据时效性差等问题。因此,引入 Apache Doris 替换了 Trino、Pinot 、 Iceberg 及 Kyuubi 技术栈,依赖于 Doris 的实时数据湖能力及高性能 OLAP 分析能力,统一数据...

兼顾高性能与低成本,浅析 Apache Doris 异步物化视图原理及典型场景

2024-11-20
阅读 14 分钟
341
在现代化的数据分析场景中,数据量以指数级速度快速膨胀,分析维度在不断扩展,查询逻辑的复杂度也在日益增加。从性能角度考虑,在承担高并发查询的压力下,秒级别甚至更快的响应速度已成为基本需求。同时,面对有限的计算资源,成本及性能如何平衡,严格的资源管控也显得尤为重要。

Apache Doris 2.1.7 版本正式发布

2024-11-13
阅读 4 分钟
178
亲爱的社区小伙伴们,Apache Doris 2.1.7 版本已于 2024 年 11 月 10 日正式发布。2.1.7 版本持续升级改进,同时在湖仓一体、异步物化视图、半结构化数据管理、查询优化器、执行引擎、存储管理、以及权限管理等方面完成了若干修复。欢迎大家下载使用。

8+ 典型分析场景,25+ 标杆案例,Apache Doris 和 SelectDB 精选案例集(2024版)电子版上线

2024-11-07
阅读 2 分钟
234
当前,各企业正面临前所未有的数据增量,不仅体现在数据规模的急剧上升,还体现在数据的类型多样性和产生速度的加快。数据体量大固然蕴藏着更大的潜力及可能性,但如何有效利用这些数据,解决实际问题、赋能业务增长,才是各企业发展的关键。因此,企业亟需搭建高效的数据处理与分析平台,以帮助其从海量数据中提取有价...

阿里云 DataWorks 正式支持 SelectDB & Apache Doris 数据源,实现 MySQL 整库实时同步

2024-11-07
阅读 9 分钟
151
SelectDB 是由飞轮科技基于 Apache Doris 内核打造的现代化数据仓库,支持大规模实时数据上的极速查询分析。 通过实时、统一、弹性、开放的核心能力,能够为企业提供高性价比、简单易用、安全稳定、低成本的实时大数据分析支持。SelectDB 具备世界领先的实时分析能力,能够实现秒级的数据实时导入与同步,在宽表、复杂多...

Apache Doris 3.0 里程碑版本|存算分离架构升级、湖仓一体再进化

2024-10-16
阅读 14 分钟
362
从 3.0 系列版本开始,Apache Doris 开始支持存算分离模式,用户可以在集群部署时选择采用存算一体模式或存算分离模式。基于云原生存算分离的架构,用户可以通过多计算集群实现查询负载间的物理隔离以及读写负载隔离,并借助对象存储或 HDFS 等低成本的共享存储系统来大幅降低存储成本。

Apache Doris 2.0.15 版本发布

2024-10-12
阅读 1 分钟
274
亲爱的社区小伙伴们,Apache Doris 2.0.15 版本已于 2024 年 9 月 30 日正式与大家见面,该版本提交了 157 个改进项以及问题修复,进一步提升了系统的性能及稳定性,欢迎大家下载体验。

从 Elasticsearch 到 Apache Doris 腾讯音乐内容库升级,统一搜索分析引擎,成本直降 80%

2024-10-12
阅读 6 分钟
295
导读:为满足更严苛数据分析的需求,腾讯音乐内容库借助 Apache Doris 替代了 Elasticsearch 集群,统一了内容库数据平台的内容搜索和分析引擎。并基于 Doris 倒排索引和全文检索的能力,支持了复杂的自定义标签计算,实现秒级查询响应需求。此外,实现写入性能提升 4 倍、使用成本节省达 80% 的显著成效。相关文章:#腾...

飞轮科技携手观测云亮相云栖大会,全方位展示阿里云数据库 SelectDB 版核心优势

2024-09-27
阅读 2 分钟
236
9 月 19 日 - 21 日,以「云启智跃,产业蝶变」为主题的阿里云 2024 云栖大会在杭州云栖小镇顺利举办。大会设有三大主论坛、400 多个分论坛,并开放 4 万平方米的智能科技展区。作为中国云计算产业链的年度盛会,云栖大会已连续举办 15 届,始终站在云计算发展的前沿,见证中国云计算发展三次浪潮的每个重要时刻。

快手:从 Clickhouse 到 Apache Doris, 实现湖仓分离向湖仓一体架构升级

2024-09-27
阅读 7 分钟
838
导读:快手 OLAP 系统为内外多个场景提供数据服务,每天承载近 10 亿的查询请求。原有湖仓分离架构,由离线数据湖和实时数仓组成,面临存储冗余、资源抢占、治理复杂、查询调优难等问题。通过引入 Apache Doris 湖仓一体能力,替换了 Clickhouse ,升级为湖仓一体架构,并结合 Doris 的物化视图改写能力和自动物化服务,...

Apache Doris 2.1.6 版本正式发布

2024-09-20
阅读 8 分钟
303
亲爱的社区小伙伴们,Apache Doris 2.1.6 版本已于 2024 年 9 月 10 日正式发布。2.1.6 版本在 Lakehouse、异步物化视图、半结构化数据管理持续升级改进,同时在查询优化器、执行引擎、存储管理、数据导入与导出以及权限管理等方面完成了若干修复。欢迎大家下载使用。

查询性能提升 10 倍、存储空间节省 65%,Apache Doris 半结构化数据分析方案及典型场景

2024-09-13
阅读 14 分钟
560
随着业务的蓬勃发展,各企业对数据处理的灵活性和可扩展性提出了更高的要求。在此背景下,JSON、XML 等半结构化数据凭借其较强的灵活性在众多企业得到广泛应用。然而,传统关系型数据库结构严格,难以应对半结构化数据的复杂性及多样性。为有效存储及分析这些数据,Apache Doris 针对不同应用场景提供了 Array、Map、Str...

Apache Doris Flink Connector 24.0.0 版本正式发布

2024-09-11
阅读 1 分钟
309
亲爱的社区伙伴们,Apache Doris Flink Connector 24.0.0 版本已于 2024 年 9 月 5 日正式发布。该版本新增了对 Flink 1.20 的支持,并支持通过 Arrow Flight SQL 高速读取 Doris 中数据。此外,整库同步所依赖的 FlinkCDC,也需升级至 3.1.x 版本,以便更好的应用。

SelectDB 多计算集群核心设计要点揭秘与场景应用

2024-09-11
阅读 5 分钟
252
写入与读取隔离:传统数仓架构中,数据的写入和读取在同一个计算集群,当遇到业务写入高峰期或突增的写入压力时,容易因资源相互抢占影响查询服务的性能和稳定性。如果能引入多个计算集群,通过独立的计算集群分别进行写入、读取操作,即使在写入压力非常高时,也可放心执行计算任务,无需担心影响到服务的稳定性。

兼容Trino Connector,扩展Apache Doris数据源接入能力|Lakehouse 使用手册(四)

2024-09-06
阅读 11 分钟
321
Apache Doris 内置支持包括 Hive、Iceberg、Hudi、Paimon、LakeSoul、JDBC 在内的多种 Catalog,并为其提供原生高性能且稳定的访问能力,以满足与数据湖的集成需求。而随着 Apache Doris 用户的增加,新的数据源连接需求也随之增加。因此,从 3.0 版本开始,Apache Doris 引入了 Trino Connector 兼容框架。

AI大模型独角兽 MiniMax 基于 Apache Doris 升级日志系统,PB 数据秒级查询响应

2024-09-03
阅读 4 分钟
217
导读:早期 MiniMax 基于 Grafana Loki 构建了日志系统,在资源消耗、写入性能及系统稳定性上都面临巨大的挑战。为此 MiniMax 开始寻找全新的日志系统方案,并基于 Apache Doris 升级了日志系统,新系统已接入 MiniMax 内部所有业务线日志数据,数据规模为 PB 级, 整体可用性达到 99.9% 以上,10 亿级日志数据的检索速...

招联金融基于 Apache Doris 数仓升级:单集群 QPS 超 10w,存储成本降低 70%

2024-08-29
阅读 4 分钟
278
在竞争激烈的消费金融市场中,有效利用海量数据、提升业务运营效率是赢得市场的关键。早期招联采用典型的 Lambda 架构提供业务报表、数据运营、个性推荐、风险控制等数据服务,而 Lambda 过多的技术栈也引发了数据孤岛、查询效率不足、代码复用性差以及开发运维成本高昂等诸多问题。因此,招联引入 Apache Doris 对架构...

飞轮科技首席执行官马如悦受邀出席可信数据库发展大会,三大事件,一文解读!

2024-08-13
阅读 6 分钟
375
近日,由中国通信标准化协会、大数据技术标准推进委员会主办,InfoQ 极客传媒联合主办的 “2024 可信数据库发展大会” 在京成功召开。此次大会汇聚了众多数据库行业领军企业、专家学者,共同探讨全球数据库发展趋势,分享最具权威性的产业洞察和前沿的实践案例。

计算效率提升 30 倍、存储资源节省 90%,雨润集团基于 Apache Doris 的统一实时数据仓库建设实践

2024-08-06
阅读 6 分钟
323
导读:数字化转型的浪潮中,高效准确的数据分析能够帮助雨润集团快速洞察市场动态、优化供应链管理、提高生产效率。雨润集团引入了 Apache Doris 构建了统一实时数据仓库,实现了计算效率提升 30 倍、存储资源节省 90%、成本降低超 100 万、人员效率提升 3 倍,为智能化、高效化转型指明了方向。

Apache Doris + Iceberg 快速搭建指南|Lakehouse 使用手册(三)

2024-08-02
阅读 16 分钟
506
湖仓一体(Data Lakehouse)融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势,能够更加便捷地满足各种数据处理分析的需求。Apache Doris 持续加深与数据湖的融合,已演进出一套成熟的湖仓一体解决方案。我们将通过一系列文章介绍 Apache Doris 与各类主流数据湖格式及存储系统的湖仓一体架构搭建指南,...

Apache Doris + Paimon 快速搭建指南|Lakehouse 使用手册(二)

2024-07-25
阅读 13 分钟
546
湖仓一体(Data Lakehouse)融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势,帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版本中,Apache Doris 持续加深与数据湖的融合,已演进出一套成熟的湖仓一体解决方案。

Apache Doris 2.1.5 版本正式发布

2024-07-25
阅读 6 分钟
574
亲爱的社区小伙伴们,Apache Doris 2.1.5 版本已于 2024 年 7 月 24 日正式发布。2.1.5 版本在湖仓一体、多表物化视图、半结构化数据分析等方面进行了全面更新及改进,同时在倒排索引、查询优化器、查询引擎、存储管理等 10 余方向上完成了若干问题修复,欢迎大家下载使用。