2024 年对 Databend Labs 来说是非凡的一年，也是具有里程碑意义的一年。这一年，Databend 不仅迎来了成立三周年，更迈入了商业化元年。

时光荏苒，转眼间 2025 年已然来临，这又是我从传统 OLTP 数据库领域转向云原生湖仓 Databend 的第三个年头，这段转变恰如一场快速的旅程，让我深感这一年如飞箭般迅速。展望未来，我意识到，尽管数据库行业正面临明显的瓶颈，湖仓领域却蕴藏着无尽的潜力，而 AI 的崛起将进一步提高从业门槛。以下，我将从四个方面与大...

很高兴为您带来 Databend 2024 年 12 月的最新更新、新功能和改进！我们希望这些增强功能对您有所帮助，并期待您的反馈，祝您新年快乐！

在现代企业中，随着对技术的依赖日益加深，空间数据的重要性愈发显著。它通过结合地理成分（如纬度、经度、地址、邮编等）与业务数据，成为解决复杂问题的重要工具。地理空间数据可从多种来源获取，例如卫星影像、传感器网络和现场调查，广泛应用于优化业务流程、提升效率及推进智慧城市建设。无论是优化门店选址、提升...

作者：韩山杰 Databend Cloud 研发工程师 [链接]Testcontainers 是一个开源库，用于提供一次性的、轻量级的数据库实例、消息代理、网络浏览器，或者任何可以在 Docker 容器中运行的服务。其核心特点是：一次性：测试完成后可以直接丢弃轻量级：启动快速，资源占用少基于 Docker：利用容器技术实现隔离主要可以用到以下场...

11 月 30 日，Rust China Tour 武汉站在武汉恺德光谷城际酒店举行。本次活动汇聚了来自 Databend、GreptimeDB、华中科技大学的多位 Rust 技术专家和研究者，共同探讨 Rust 语言在前沿技术中的创新应用。Databend 数据库研发工程师张祖前在活动中带来主题演讲《云原生数仓 Databend 的 Rust 开发实践》，重点探讨 Databen...

Databend Cloud 现在允许您通过为计算集群分配特定角色来管理计算集群访问，以便只有具有该角色的用户才能访问计算集群。需要注意的是，计算集群访问控制默认未启用。要启用访问控制，请在 工单 > 创建新工单 提交请求。

用户行为数据埋点指标是数据仓库中不可或缺的重要数据源之一，同时也是企业最宝贵的资产之一。通常情况下，用户行为数据分析包含两大数据源：用户行为分析日志和上游关系型数据库（如 MySQL）。基于这些数据，企业可以进行用户增长分析、用户行为研究，甚至通过用户行为分析精准排查用户问题。

存算分离架构，作为数据处理领域的一个重要概念，从其最初的雏形到如今广泛应用，经历了多次迭代和变革。雁飞老师在分享中从过去的存算架构，逐步讲述存算分离的演进，现今的存算分离架构的优势及其在 Databend 中的体现，直至未来存算分离的发展方向。

很高兴为您带来 Databend 2024 年 10 月的最新更新、新功能和改进！我们希望这些增强功能对您有所帮助，并期待您的反馈。Databend Cloud：多集群的计算集群多集群的计算集群会根据工作负载需求自动调整计算资源，添加或移除集群。它通过按需扩展或缩减，确保高并发和性能的同时优化成本。您可以在创建计算集群时启用多集...

上周六下午（10月26日），TiDB 地区交流活动在杭州圆满举办！本次活动由 TiDB 社区杭州地区组织者——电魂网络任嘉伟老师与杭州银行邵健老师精心筹办，来自电魂网络、杭州银行、bilibili、安能物流、Databend、云猿生、美创科技、PingCAP 等多位资深技术专家齐聚一堂，共同探讨 TiDB 在各行业的创新实践和技术应用。

随着生成式人工智能（Generative AI）的崛起，从图像生成、自然语言处理到个性化推荐系统，生成式 AI 技术正迅速改变着各行各业的面貌。而在这场变革背后，数据的管理和治理显得尤为重要。对于企业来说，数据不仅是基础资源，更是构建 AI 应用和增强业务能力的关键。Apache Gravitino（incubating） 与 Databend 作为数...

您现在可以通过定义字典的结构并指定外部数据源来创建字典。Databend 的字典功能提供了一种高效的方式，可以直接在 Databend 中集成并查询来自支持的外部数据源（目前支持 MySQL 和 Redis）。通过充当内存中的键值存储，字典能够快速访问外部数据，而不需要复杂的数据管道或传统的 ETL 过程。

随着云计算和大数据技术的发展，存储与计算分离（Separation of Storage and Compute，简称存算分离）逐渐成为数据库和大数据处理系统的主流架构。这一架构的核心思想是将数据存储与计算资源解耦，以便在需要时能够独立扩展。这种方式极大地提高了资源的利用率和系统的灵活性，成为云原生数据库设计中的重要趋势。

作者：洪文丽开源之夏2024“支持 External Dictionaries”项目参与者东北大学软件工程专业云计算方向大二在读，喜欢挑战自我，尝试新鲜事物

上周六，第二十一期「Data Infra 研究社」在线上与大家相见。活动邀请到了西门子数据分析师陈砚林与 Databend 联合创始人王吟，为我们带来了一场关于 Snowflake 和 Databend 的技术探索。Snowflake，这个市值曾超过 700 亿美元的云原生数据仓库巨头，以其独特的存储与计算分离架构，正在改变传统数据仓库的面貌。尽管进...

近年来，随着大数据的快速发展，企业对数据存储和计算的需求日益增长。然而，随着数据量的爆炸式增长，传统数据仓库架构面临着高昂的运维和扩展成本。许多公司发现，当数据规模达到一定程度时，存储、计算和网络开销会显著增加，从而导致运营成本成倍上升。

Greenplum 是知名开源数据仓库项目，曾是大数据分析领域的明星产品，在全球范围内尤其是在国内市场上有着重要的地位。今年 6 月， Greenplum 的 GitHub 仓库突然被改为归档模式，访问权限也修改为只读，用户将失去对源代码的访问权，意味着项目重回闭源，这对于依赖开源代码进行定制和优化的企业来说，是一个沉重的打击...

我们推出了一种将 Kafka 连接到 Databend 的新方式：databend-kafka-connect，这是一个 Kafka Connect sink connector 插件。该插件支持 Append Only 和 Upsert 两种写入模式，并能根据数据的 schema 自动在 Databend 中创建目标表。了解更多详情，请查看文档。

Databend 的 meta-service 是一个基于 Raft 共识算法的分布式服务。其核心架构可以概括为一个 Raft 应用，如图中虚线框所示。Raft 协议的主要组成部分包括：分布式日志（Log）状态机（State Machine）分布式日志日志主要用于记录分布式系统的操作。当一条日志被写入本地并通过网络同步到其他 Raft 节点后，系统会等待日...

将消息从 Apache Kafka 导入到像 Databend 这样的云数据仓库可能是一项艰巨的任务。bend-ingest-kafka 工具简化了这一过程，使您能够轻松地将 Kafka 消息导入到 Databend 表中。

8 月 22 日 ~ 24 日，由 IT168 联合旗下 ITPUB、ChinaUnix 两大技术社区主办的第 15 届中国数据库技术大会（DTCC2024）在北京朗丽兹西山花园酒店成功召开。本次大会以“自研创新 数智未来”为主题，通过深度交流与探讨，推动数据库技术的自主创新和数智化转型。作为一家技术领先的数据仓库服务商，Databend 也在本次大会亮...

在大数据与人工智能时代，数据的生成和存储量呈指数级增长。企业面临着如何高效处理和分析海量数据的巨大挑战。在面对如此规模的数据时，数据库究竟该选择存算一体，还是存算分离架构？如何才能提升资源利用率、扩展性，降低运维成本，这是数据从业者都在思考的问题。

Confluent Cloud 是由 Confluent 公司提供的云服务，它是基于 Apache Kafka 的企业级事件流平台，允许用户轻松构建和管理分布式流处理应用。Confluent 由 Apache Kafka 的原始创建者创立，专注于提供围绕 Kafka 技术的产品和服务 。

此前，共享视图是通过创建数据库（CREATE DATABASE xx FROM SHARE xxx;）的方式来实现的，这种方法在使用和管理上存在一定的复杂性和局限性。

生成式人工智能（Generative AI）近年来快速崛起，从图像生成、自然语言处理到个性化推荐系统，生成式 AI 的应用范围越来越广泛。在这其中，数据可以说是企业在生成式 AI 时代取得成功的关键，每个公司都能访问相同的基础模型，但那些能够利用自己的数据构建具有真正商业价值的生成式人工智能应用的公司，将会是成功的公...

Databend 现已支持 SQL 变量，用户可以在查询中更方便地动态设置和使用变量。有助于减少重复代码，简化复杂查询的编写，提高开发效率。

数据是洞察力的基石，越来越多的企业开始建设以数据资产为中心的存储和分析一体化方案，这要求 Data Infra 架构能够提供可扩展、灵活且统一的数据工作流。现代数据湖架构同时兼顾数据湖的可扩展性和数据仓库的性能，满足对大规模数据处理的需求，并应对数据的复杂性挑战。本文将介绍如何围绕 Databend 生态系统构建现代...

在窗口函数的使用中，处理 NULL 值是一个常见且重要的问题。为了提供更加灵活和精确的查询能力，Databend 正在为窗口排名函数 first\_value、last\_value 和 nth\_value 添加 IGNORE NULLS 和 RESPECT NULLS 选项。这两个选项的具体功能如下：

上周六（7月13日），第 19 期 Data Infra 研究社直播活动与大家见面了。本次活动我们邀请到了 Databend 研发工程师-尚卓燃，为大家带来了一场主题为《面向现代分层存储的 Caching 技术漫谈》的分享。通过卓燃的分享，我们深入理解了面向现代分层存储的 Caching 技术，并学习了机器学习如何影响缓存的设计与应用。本次活...