DTC 2024,Databend 数据汇聚平台的建设与挑战

33 分钟前
阅读 9 分钟
5
近日,第十三届数据技术嘉年华(DTC 2024)在北京新云南皇冠假日酒店落下帷幕。本届大会以“智能·云原生·一体化——DB 与 AI 协同创新,模型与架构融合发展”为主题,汇聚了 80 余位杰出技术领袖、学术精英、行业实践者、生态布道者,带来了多场精彩绝伦的主题演讲。Databend Labs 联合创始人吴炳锡也在本届 DTC 盛会上,带...

Databend 开源周报第 141 期

4 月 23 日
阅读 3 分钟
12
在近期的更新中,Databend 进一步增强了全文检索能力,对 match 和 query 函数进行了扩展和优化,使得用户能够根据复杂的需求进行精确的搜索和数据检索。
封面图

Databend Cloud 正式上线腾讯云市场,加速挖掘数据创新价值

4 月 18 日
阅读 2 分钟
19
近日,新一代大数据分析平台 Databend Cloud 正式上线腾讯云千帆云市场,成为腾讯云 SaaS 生态圈中的重要一员。依托腾讯云平台的技术支持和市场资源, Databend Cloud 将充分发挥数据价值的挖掘能力,助力更多企业实现数据驱动的决策运营。
封面图

Databend 开源周报第 140 期

4 月 16 日
阅读 2 分钟
38
Databend 现已支持 EXECUTE IMMEDIATE 命令,此命令允许用户在单个语句中执行复杂的 SQL 逻辑,提供更为灵活的 SQL 处理能力。
封面图

数据安全之路:Databend 用户与角色管理应用

4 月 11 日
阅读 5 分钟
17
通过本指南,我们会了解权限和角色在 Databend 中的基本概念,以及如何管理角色、继承角色与建立层级、设置默认角色以及所有权的重要性。这些功能使得用户能够根据实际需求,灵活地配置和管理数据访问权限,简化了权限管理的复杂性,提高了数据安全管控的效率。
封面图

Databend 开源周报第 139 期

4 月 9 日
阅读 3 分钟
21
📢 Databend 现已默认启用全新聚合哈希表实现,在 Hits 基准测试中单条查询性能提升最高达 40% !Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:[链接] 。What's On In Databend探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。支持 CHANGES 子...
封面图

Databend 集成 PRQL:现代数据处理的一小步

4 月 3 日
阅读 3 分钟
46
在 v1.2.380-nightly 版本中,得益于社区贡献者 @ncuwaln 提交的重要 PR,Databend 成功地引入了对 PRQL 语言的支持。这一新特性进一步增强了 Databend 查询的灵活性和用户友好性。
封面图

Databend 开源周报第 138 期

4 月 2 日
阅读 2 分钟
49
Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:[链接] 。What's On In Databend探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。支持多表插入Databend 现已支持多表插入,可以根据实际需要将数据插入到多张不同的表中,支持无条件插入和有条件...
封面图

数据安全之路:Databend 用户策略指南

3 月 27 日
阅读 5 分钟
66
在 Databend 中,我们致力于保护用户的数据安全。除了身份认证之外,我们还提供了多种访问策略,包括网络策略(Network Policy)、密码策略(Password Policy)和数据脱敏策略(Masking Policy)。让我们来了解一下 Databend 中的用户类型以及这些安全策略的应用。

Databend 开源周报第 137 期

3 月 26 日
阅读 3 分钟
64
Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:[链接] 。What's On In Databend探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。支持查询匹配倒排索引倒排索引是文档检索系统中最常用的数据结构,用来存储在全文搜索下某个单词在一个文档或者一...
封面图

Databend x CubeFS:面向未来的企业级云原生数据存储与分析

3 月 21 日
阅读 5 分钟
53
用场景的丰富,企业面临着前所未有的数据存储挑战。大规模数据存储变得日常化,伴随着超大容量和快速变化的I/O需求,传统的存储解决方案已经难以满足企业对弹性、运维效率及总体拥有成本(TCO)的更高要求。这些挑战促使基于分布式架构的软件定义存储(SDS)技术应运而生,并逐渐走向成熟。

Databend 开源周报第 136 期

3 月 19 日
阅读 3 分钟
66
Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:[链接] 。What's On In Databend探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。理解 Databend 中的任务与通知Databend 现已支持完备的任务与通知机制。任务会根据计划或基于 DAG 的任务图执行指...
封面图

Databend 开源周报第 135 期

3 月 12 日
阅读 2 分钟
43
Databend 现已支持查询队列功能,通过设置 max_running_queries 确定可最大并发运行的查询数量。如有更多查询,这些查询会排入队列,直到处理资源被释放。
封面图

一文读懂 Databend 的开放表格式引擎

3 月 7 日
阅读 6 分钟
60
本文介绍了 Databend 开放表格式引擎的支持情况,包括优势与不足、使用方法、与 Catalog 方案的对比。此外,还包含一个简单的 Workshop ,介绍如何利用 Databend Cloud 分析位于对象存储中的 Delta Table 。
封面图

Databend Labs 成立 3 周年!

3 月 6 日
阅读 2 分钟
70
「Databend Labs」是开源 Data Cloud 基础设施研发商,也是背后支撑 Databend 开源项目和 Databend Cloud 云平台的核心团队,致力于为用户提供更低成本、更高性能、更加易用的企业级数据建设处理一站式解决方案。
封面图

Databend 开源周报第 134 期

3 月 5 日
阅读 2 分钟
87
Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:[链接] 。What's On In Databend探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。支持多语句事务Databend 现已支持提供基本的多语句事务支持。多语句事务的用途包括:在单个事务中对多个表执行 DM...
封面图

淘宝用户购物行为分析

2 月 29 日
阅读 9 分钟
202
该数据集为 CSV 格式,包含了 2017 年 11 月 25 日至 2017 年 12 月 3 日之间,有行为的约一百万随机用户的所有行为(包括点击、购买、加购、喜欢)。数据集的每一行表示一条用户行为,由以下 5 列组成,并以逗号分隔:
封面图

Databend 开源周报第 133 期

2 月 27 日
阅读 2 分钟
316
Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:[链接] 。What's On In Databend探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。了解对开放表格式的引擎支持Databend 通过表引擎支持不同类型的开放表格式,以满足不同技术栈数据湖方案的高级分...
封面图

TPC-H 基准测试:Databend Cloud 与 Snowflake 对比

2 月 22 日
阅读 3 分钟
165
TPC-H 基准测试是评估决策支持系统的标准,专注于复杂查询和数据维护。在这项分析中,我们使用 TPC-H SF100(SF1 = 600万行)数据集比较了 Databend Cloud 和 Snowflake,该数据集包含 100GB 数据和大约 6 亿行,跨越 22 个查询。
封面图

Databend 开源周报第 132 期

2 月 20 日
阅读 2 分钟
164
Databend 现已提供对 CREATE [ OR REPLACE ] 语法糖的全面支持,以覆盖潜在的 DROP IF EXISTS ... + CREATE ... 用例。
封面图

数据所在,计算随行:Databend 的 2023 年度总结

2 月 9 日
阅读 5 分钟
217
2023 年是 Databend 为用户和客户全面交付 Data Cloud 数据云平台的一年,真正实现了「数据所在,计算随行」的理念,即将计算力带至数据之处,致力于为用户交付更澎湃的算力。
封面图

Databend 开源周报第 131 期

2 月 6 日
阅读 2 分钟
257
Databend 本周新增对地理数据类型的初步支持,以更好处理地理数据的存储和操作。该实现使用 EWKB 来序列化地理数据,并使用 EWKT 来显示地理数据。
封面图

Databend Stream 的设计与实现 | Data Infra 第 18 期

2 月 2 日
阅读 1 分钟
136
年前最后一场 Data Infra 直播活动将于本周六(02月03日)与大家见面。本次活动我们邀请到了 Databend 研发工程师-张祖前,与大家分享主题为《 Databend Stream 的设计与实现 》的相关知识。
封面图

当我谈查询优化器时,我谈些什么 (1)—— IR 设计

2 月 1 日
阅读 23 分钟
118
这几天和迟先生 (github@skyzh) 聊天时偶然聊到他最近在 CMU 做的 optd 项目(一个基于 Cascades 框架设计的查询优化器库),一起吐槽了各种数据库优化器的设计与实现。这时我突然意识到有些技术上的东西聊起来还是挺有意思的,值得记录下来。
封面图

Databend 开源周报第 130 期

1 月 29 日
阅读 3 分钟
147
Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:[链接] 。What's On In Databend探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。支持 CREATE OR REPLACE DATABASECREATE OR REPLACE DATABASE 是一个语法糖,可以合并原本的: {代码...} 对 CREA...
封面图

从 Greenplum 到 Databend,万全网络数据库平台架构演进

1 月 25 日
阅读 5 分钟
498
作者: 代城万全网络高级工程师,负责万全网络数据平台整体架构研发工作,拥有超过 7 年的大数据相关技术研发经验,一直关注着开源和云技术的发展。

Databend 开源周报第 129 期

1 月 22 日
阅读 2 分钟
105
Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:[链接] 。What's On In Databend探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。支持标准流标准流 能够捕获所有类型的数据变更,包括更新和删除。相较于仅追加流,标准流的功能更加完备,并且适...
封面图

Databend x HuggingFace,海量数据,随心分析

1 月 18 日
阅读 7 分钟
86
作者:尚卓燃(PsiACE)澳门科技大学在读硕士,Databend 研发工程师实习生Apache OpenDAL(Incubating) Committer[链接]
封面图

Databend 开源周报第 128 期

1 月 16 日
阅读 3 分钟
62
HuggingFace 是目前最火热的 AI 社区。Databend 现已支持直接查询和分析存储在 HuggingFace 文件系统中的海量数据和模型,帮助您释放数据潜能。
封面图

从 AutoMQ Kafka 导出数据到 Databend

1 月 11 日
阅读 3 分钟
124
Databend是使用 Rust 研发、开源的、完全面向云架构、基于对象存储构建的新一代云原生数据仓库,为企业提供湖仓一体化、计 算和存储分离的大数据分析平台。
封面图