Flink + Doris 实时湖仓解决方案

今天 11:54
阅读 6 分钟
19
摘要:本文整理自 SelectDB 技术副总裁、Apache Doris PMC Chair 陈明雨老师在 Flink Forward Asia 2024 行业解决方案(二) 专场中的分享。内容主要分为以下三个部分:Introduction: What is Apache DorisLakehouse Solution: Apache Flink + Paimon + DorisEcosystem: Doris Community & Clould

网易游戏 x Apache Doris:湖仓一体架构演进之路

今天 11:53
阅读 5 分钟
18
导读:网易游戏引入 Apache Doris 升级架构,先是替换 Elasticsearch、Hbase、Clickhouse 构建了实时数仓,而后基于 Apache Doris 和 Iceberg 构建了湖仓融合架构,实现架构的大幅简化及统一。目前,网易游戏 Apache Doris 集群超 20 个 ,总节点数百个,已对接内部 200+ 项目,日均查询量超过 1500 万,总存储数据量 PB...

Apache Doris & SelectDB 技术能力全面解析

4 月 11 日
阅读 13 分钟
199
Apache Doris 是一款开源的 MPP 数据库,以其优异的分析性能著称,被各行各业广泛应用在实时数据分析、湖仓融合分析、日志与可观测性分析、湖仓构建等场景。Apache Doris 目前被 5000 多家中大型的企业深度应用在生产系统中,包含互联网、金融、制造、电信、能源、物流、政务等行业。目前项目已在 GitHub 获得超过 13000...

Apache Doris 2.1.9 版本正式发布

4 月 3 日
阅读 2 分钟
350
亲爱的社区小伙伴们,Apache Doris 2.1.9 版本已正式发布。2.1.9 版本对湖仓一体、倒排索引、半结构化数据类型、查询优化器、执行引擎、存储管理进行了若干改进优化。欢迎大家下载使用。

Apache Doris 2025 Roadmap:构建 GenAI 时代实时高效统一的数据底座

4 月 3 日
阅读 6 分钟
313
在全球 290 位开发者的协作下,Apache Doris 在 2024 年完成了 7000+ 次代码提交,并发布了 22 个版本,实现在实时分析、湖仓一体和半结构化数据分析等核心场景的技术突破及创新。

拉卡拉 x Apache Doris:统一金融场景 OLAP 引擎,查询提速 15 倍,资源直降 52%

4 月 2 日
阅读 6 分钟
394
导读:拉卡拉早期基于 Lambda 架构构建数据系统面临存储成本高、实时写入性能差、复杂查询耗时久、组件维护复杂等问题。为此,拉卡拉选择使用 Apache Doris 替换 Elasticsearch、Hive、Hbase、TiDB、Oracle / MySQL 等组件,实现了 OLAP 引擎的统一、查询性能提升 15 倍、资源减少 52% 的显著成效。

为什么 Apache Doris 是比 Elasticsearch 更好的实时分析替代方案?

3 月 27 日
阅读 11 分钟
300
Elasticsearch 是一款开源的分布式检索引擎,广泛应用于日志分析、全文搜索和数据监控等领域。凭借其强大的实时搜索能力和灵活的查询语言,在市场上获得了广泛认可。然而,在过去两年,我们注意到一个趋势,很多 Elasticsearch 用户倾向于采用 Apache Doris 替代 Elasticsearch。

MiniMax GenAI 可观测性分析 :基于阿里云 SelectDB 构建 PB 级别日志系统

3 月 20 日
阅读 4 分钟
400
"阿里云SelectDB作为MiniMax日志存储服务的核心支撑,为在线和离线业务提供了高效、稳定的查询与聚合分析能力。其支持实时物化视图、租户资源隔离、冷热分离等企业级特性,不仅有效解决了日志场景下PB级别数据查询的性能瓶颈,还通过智能化的资源调度与存储优化,实现了成本与效率的最佳平衡,为业务的高效运转提供了坚...

天翼云:Apache Doris + Iceberg 超大规模湖仓一体实践

3 月 18 日
阅读 5 分钟
349
导读:天翼云基于 Apache Doris 成功落地项目已超 20 个,整体集群规模超 50 套,部署节点超 3000 个,存储容量超 15PB。天翼云基于 Apache Doris 和 Apache Iceberg 构建的湖仓一体方案,兼具灵活性、高性能和低成本优势,同时满足了报表和 BI 分析、湖仓融合分析、日志存储分析、高并发实时分析、MPPDB 国产化替代等多...

Apache Doris 3.0.4 版本正式发布

3 月 17 日
阅读 5 分钟
434
亲爱的社区小伙伴们,Apache Doris 3.0.4 版本已于 2025 年 02 月 28 日正式发布。 该版本持续在存算分离、湖仓一体、异步物化视图等方面进行改进提升与问题修复,进一步加强系统的性能和稳定性,欢迎大家下载体验。

SelectDB 实时分析性能突出,宝舵成本锐减与性能显著提升的双赢之旅

3 月 12 日
阅读 4 分钟
524
BOCDOP 宝舵早期基于 TiDB 构建实时数仓,随着数据量增长,在数据处理效率、OLAP 能力扩展、功能支持、成本与资源方面存在一定优化空间。为提升数据分析能力并优化成本,宝舵引入 SelectDB,达成写入速度提升 10 倍,成本直降 30% 的显著成效。

云原生时代的架构革新,Apache Doris 存算分离如何实现弹性与性能双重提升

3 月 6 日
阅读 6 分钟
420
导读: 随着云基础设施的成熟,Apache Doris 3.0 正式支持了存算分离全新模式。基于这一架构,能够实现更低成本、极致弹性以及负载隔离。本文将介绍存算分离架构及其优势,并通过导入性能、查询性能、资源成本的测试,直观展现存算分离架构下的性能表现,为读者提供具体场景下的使用参考。

从湖仓分离到湖仓一体,四川航空基于 SelectDB 的多源数据联邦分析实践

3 月 3 日
阅读 8 分钟
512
导读:随着川航大规模数据导入需求增长,数据响应频繁出现卡顿,原 Hadoop + Apache Doris 的数据架构存在着涉及组件多、并发性不足、数据导入受限的痛点。经过综合选型对比,川航选择引入 SelectDB 建设湖仓一体大数据分析引擎,取得了数据导入效率提升 3-6 倍,查询分析性能提升 10-18 倍、实时性提升至 5 秒内等收益。

数据无界、湖仓无界,Apache Doris 湖仓一体典型场景实战指南(下篇)

2 月 21 日
阅读 11 分钟
683
导读: 湖仓一体是将数据湖和数据仓库的优势相结合的数据管理系统。Apache Doris 结合自身特性,提出了【数据无界】和【湖仓无界】核心理念。上篇文章已介绍了 Apache Doris 湖仓一体完整方案,本文将聚焦典型应用场景,进一步深入,帮助读者更好地理解和应用 Apache Doris 湖仓一体。

数据无界、湖仓无界, Apache Doris 湖仓一体解决方案全面解读(上篇)

2 月 19 日
阅读 8 分钟
447
导读:湖仓一体架构融合了数据湖的低成本、高扩展性,以及数据仓库的高性能、强数据治理能力,高效应对大数据时代的挑战。为助力企业实现湖仓一体的建设,Apache Doris 提出了数据无界和湖仓无界核心理念,并结合自身特性,助力企业加速从 0 到 1 构建湖仓体系,降低转型过程中的风险和成本。本文将对湖仓一体演进及 Apa...

从 ClickHouse 到 Apache Doris:在网易云音乐日增万亿日志数据场景下的落地

2 月 14 日
阅读 10 分钟
491
导读:日志数据已成为企业洞察系统状态、监控网络安全及分析业务动态的宝贵资源。网易云音乐引入 Apache Doris 作为日志库新方案,替换了 ClickHouse。解决了 ClickHouse 运维复杂、不支持倒排索引的问题。目前已经稳定运行 3 个季度,规模达到 50 台服务器, 倒排索引将全文检索性能提升7倍,2PB 数据,每天新增日志量...

湖仓分析|浙江霖梓基于 Doris + Paimon 打造实时/离线一体化湖仓架构

2 月 13 日
阅读 7 分钟
535
导读:浙江霖梓早期使用 CDH 产品套件搭建了大数据系统,面临业务逻辑冗余、查询效率低下等问题,基于 Apache Doris 进行整体架构与表结构的重构,并基于湖仓一体和查询加速展开深度探索与实践,打造了 Doris + Paimon 的实时/离线一体化湖仓架构,实现查询提速 30 倍、资源成本节省 67% 等显著成效。

Apache Doris 2.1.8 版本正式发布

1 月 24 日
阅读 4 分钟
609
亲爱的社区小伙伴们,Apache Doris 2.1.8 版本已于 2025 年 01 月 24 日正式发布。 该版本持续在湖仓一体、异步物化视图、查询优化器与执行引擎、存储管理等方面进行改进提升与问题修复,进一步加强系统的性能和稳定性,欢迎大家下载体验。

金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践

1 月 21 日
阅读 5 分钟
605
导读:中信银行信用卡中心每日新增日志数据 140 亿条(80TB),全量归档日志量超 40PB,早期基于 Elasticsearch 构建的日志云平台,面临存储成本高、实时写入性能差、文本检索慢以及日志分析能力不足等问题。因此使用 Apache Doris 替换 Elasticsearch,实现资源投入降低 50%、查询速度提升 2~4 倍,同时显著提高了运维...

终态部署、易扩展、无感升级,Doris Operator 支持高效 Kubernetes 容器化部署方案

1 月 15 日
阅读 8 分钟
647
容器化凭借其灵活性、跨平台性、自动化管理和极致弹性,吸引了众多企业的关注。一些企业希望将 Apache Doris 容器化部署,以实现高效的资源利用与部署迭代。Kubernetes 提供的编排和管理功能,能完成大规模容器部署,但 Kubernetes 自身的复杂性也导致众多企业面临部署复杂、运维困难、使用难度高等挑战。

计算效率提升 10 倍,存储成本降低 60%,灵犀科技基于 Apache Doris 建设统一数据服务平台

1 月 3 日
阅读 5 分钟
670
导读:灵犀科技早期基于 Hadoop 构建大数据平台,在战略调整和需求的持续扩增下,数据处理效率、查询性能、资源成本问题随之出现。为此,引入 Apache Doris 替换了复杂技术栈,升级为集存储、加工、服务为一体的统一架构,实现存储成本下降 60%,计算效率提升超 10 倍的显著成效。

飞轮科技荣获中国电信星海大数据最佳合作伙伴奖!

2024-12-26
阅读 1 分钟
532
近日,由中国电信集团数据发展中心主办的数据要素合作论坛在广州召开。大会以“数聚共生·智启未来”为主题,旨在展示数据要素应用成果,探索数据要素创新实践。与会期间,为了感谢 2024 年生态合作伙伴对中国电信数据业务发展工作的支持,会议举行了“星海大数据·最佳合作伙伴奖”颁奖仪式。飞轮科技凭借其在数据分析领域的...

Apache Doris 创始人:何为“现代化”的数据仓库?

2024-12-26
阅读 7 分钟
653
在 12 月 14 日的 Doris Summit Asia 2024 上,Apache Doris 创始人 & PMC 成员马如悦在开场演讲中,围绕“现代化数据仓库”这一主题,指出 3.0 版本是 Apache Doris 研发路程中的重要里程碑,他将这一进展总结为“实时之路”、“统一之路”和“弹性之路”,详细介绍了所对应的核心特性的设计思考与应用价值,揭晓了 2025 年社区...

一文了解多云原生的现代化实时数仓 SelectDB Cloud

2024-12-24
阅读 7 分钟
688
随着数字化转型的加速,云计算已成为现代企业运营中的关键组成部分。云的重要性体现在多个方面:首先,它提供更好的灵活性与可扩展性,可根据实际需求动态调整计算和存储资源,以快速适应市场变化并支持业务增长。其次,其采用按需计费的模式,使企业能够有效控制成本,避免高昂的硬件投资和维护费用。

峰会快讯:Doris Summit Asia 2024 圆满落幕!

2024-12-19
阅读 6 分钟
796
2024 年 12 月 14 日,由飞轮科技主办,腾讯云和阿里云联合主办的 Doris Summit Asia 2024 在深圳圆满落幕。活动当天,人潮涌动,会场弥漫着浓厚的技术气息。此次峰会吸引了众多大数据及数据库领域技术专家及开源爱好者的关注,现场参会者超过 500 名,线上直播吸引了数万名观众,共同见证了这场数据处理及分析领域技术...

Apache Doris 3.0.3 版本正式发布

2024-12-09
阅读 5 分钟
526
亲爱的社区小伙伴们,Apache Doris 3.0.3 版本已于 2024 年 12 月 02 日正式发布。 该版本进一步提升了系统的性能及稳定性,欢迎大家下载体验。

Cisco WebEx 数据平台基于 Apache Doris 统一 Trino、Pinot、Iceberg、Kyuubi技术栈

2024-11-29
阅读 6 分钟
664
导读:Cisco WebEx 早期数据平台采用了多系统架构(包括 Trino、Pinot、Iceberg 、 Kyuubi 等),面临架构复杂、数据冗余存储、运维困难、资源利用率低、数据时效性差等问题。因此,引入 Apache Doris 替换了 Trino、Pinot 、 Iceberg 及 Kyuubi 技术栈,依赖于 Doris 的实时数据湖能力及高性能 OLAP 分析能力,统一数据...

兼顾高性能与低成本,浅析 Apache Doris 异步物化视图原理及典型场景

2024-11-20
阅读 14 分钟
604
在现代化的数据分析场景中,数据量以指数级速度快速膨胀,分析维度在不断扩展,查询逻辑的复杂度也在日益增加。从性能角度考虑,在承担高并发查询的压力下,秒级别甚至更快的响应速度已成为基本需求。同时,面对有限的计算资源,成本及性能如何平衡,严格的资源管控也显得尤为重要。

Apache Doris 2.1.7 版本正式发布

2024-11-13
阅读 4 分钟
355
亲爱的社区小伙伴们,Apache Doris 2.1.7 版本已于 2024 年 11 月 10 日正式发布。2.1.7 版本持续升级改进,同时在湖仓一体、异步物化视图、半结构化数据管理、查询优化器、执行引擎、存储管理、以及权限管理等方面完成了若干修复。欢迎大家下载使用。

8+ 典型分析场景,25+ 标杆案例,Apache Doris 和 SelectDB 精选案例集(2024版)电子版上线

2024-11-07
阅读 2 分钟
532
当前,各企业正面临前所未有的数据增量,不仅体现在数据规模的急剧上升,还体现在数据的类型多样性和产生速度的加快。数据体量大固然蕴藏着更大的潜力及可能性,但如何有效利用这些数据,解决实际问题、赋能业务增长,才是各企业发展的关键。因此,企业亟需搭建高效的数据处理与分析平台,以帮助其从海量数据中提取有价...