存算分离架构，作为数据处理领域的一个重要概念，从其最初的雏形到如今广泛应用，经历了多次迭代和变革。雁飞老师在分享中从过去的存算架构，逐步讲述存算分离的演进，现今的存算分离架构的优势及其在 Databend 中的体现，直至未来存算分离的发展方向。

很高兴为您带来 Databend 2024 年 10 月的最新更新、新功能和改进！我们希望这些增强功能对您有所帮助，并期待您的反馈。Databend Cloud：多集群的计算集群多集群的计算集群会根据工作负载需求自动调整计算资源，添加或移除集群。它通过按需扩展或缩减，确保高并发和性能的同时优化成本。您可以在创建计算集群时启用多集...

上周六下午（10月26日），TiDB 地区交流活动在杭州圆满举办！本次活动由 TiDB 社区杭州地区组织者——电魂网络任嘉伟老师与杭州银行邵健老师精心筹办，来自电魂网络、杭州银行、bilibili、安能物流、Databend、云猿生、美创科技、PingCAP 等多位资深技术专家齐聚一堂，共同探讨 TiDB 在各行业的创新实践和技术应用。

随着生成式人工智能（Generative AI）的崛起，从图像生成、自然语言处理到个性化推荐系统，生成式 AI 技术正迅速改变着各行各业的面貌。而在这场变革背后，数据的管理和治理显得尤为重要。对于企业来说，数据不仅是基础资源，更是构建 AI 应用和增强业务能力的关键。Apache Gravitino（incubating） 与 Databend 作为数...

您现在可以通过定义字典的结构并指定外部数据源来创建字典。Databend 的字典功能提供了一种高效的方式，可以直接在 Databend 中集成并查询来自支持的外部数据源（目前支持 MySQL 和 Redis）。通过充当内存中的键值存储，字典能够快速访问外部数据，而不需要复杂的数据管道或传统的 ETL 过程。

随着云计算和大数据技术的发展，存储与计算分离（Separation of Storage and Compute，简称存算分离）逐渐成为数据库和大数据处理系统的主流架构。这一架构的核心思想是将数据存储与计算资源解耦，以便在需要时能够独立扩展。这种方式极大地提高了资源的利用率和系统的灵活性，成为云原生数据库设计中的重要趋势。

作者：洪文丽开源之夏2024“支持 External Dictionaries”项目参与者东北大学软件工程专业云计算方向大二在读，喜欢挑战自我，尝试新鲜事物

上周六，第二十一期「Data Infra 研究社」在线上与大家相见。活动邀请到了西门子数据分析师陈砚林与 Databend 联合创始人王吟，为我们带来了一场关于 Snowflake 和 Databend 的技术探索。Snowflake，这个市值曾超过 700 亿美元的云原生数据仓库巨头，以其独特的存储与计算分离架构，正在改变传统数据仓库的面貌。尽管进...

近年来，随着大数据的快速发展，企业对数据存储和计算的需求日益增长。然而，随着数据量的爆炸式增长，传统数据仓库架构面临着高昂的运维和扩展成本。许多公司发现，当数据规模达到一定程度时，存储、计算和网络开销会显著增加，从而导致运营成本成倍上升。

Greenplum 是知名开源数据仓库项目，曾是大数据分析领域的明星产品，在全球范围内尤其是在国内市场上有着重要的地位。今年 6 月， Greenplum 的 GitHub 仓库突然被改为归档模式，访问权限也修改为只读，用户将失去对源代码的访问权，意味着项目重回闭源，这对于依赖开源代码进行定制和优化的企业来说，是一个沉重的打击...

我们推出了一种将 Kafka 连接到 Databend 的新方式：databend-kafka-connect，这是一个 Kafka Connect sink connector 插件。该插件支持 Append Only 和 Upsert 两种写入模式，并能根据数据的 schema 自动在 Databend 中创建目标表。了解更多详情，请查看文档。

Databend 的 meta-service 是一个基于 Raft 共识算法的分布式服务。其核心架构可以概括为一个 Raft 应用，如图中虚线框所示。Raft 协议的主要组成部分包括：分布式日志（Log）状态机（State Machine）分布式日志日志主要用于记录分布式系统的操作。当一条日志被写入本地并通过网络同步到其他 Raft 节点后，系统会等待日...

将消息从 Apache Kafka 导入到像 Databend 这样的云数据仓库可能是一项艰巨的任务。bend-ingest-kafka 工具简化了这一过程，使您能够轻松地将 Kafka 消息导入到 Databend 表中。

8 月 22 日 ~ 24 日，由 IT168 联合旗下 ITPUB、ChinaUnix 两大技术社区主办的第 15 届中国数据库技术大会（DTCC2024）在北京朗丽兹西山花园酒店成功召开。本次大会以“自研创新 数智未来”为主题，通过深度交流与探讨，推动数据库技术的自主创新和数智化转型。作为一家技术领先的数据仓库服务商，Databend 也在本次大会亮...

在大数据与人工智能时代，数据的生成和存储量呈指数级增长。企业面临着如何高效处理和分析海量数据的巨大挑战。在面对如此规模的数据时，数据库究竟该选择存算一体，还是存算分离架构？如何才能提升资源利用率、扩展性，降低运维成本，这是数据从业者都在思考的问题。

Confluent Cloud 是由 Confluent 公司提供的云服务，它是基于 Apache Kafka 的企业级事件流平台，允许用户轻松构建和管理分布式流处理应用。Confluent 由 Apache Kafka 的原始创建者创立，专注于提供围绕 Kafka 技术的产品和服务 。

此前，共享视图是通过创建数据库（CREATE DATABASE xx FROM SHARE xxx;）的方式来实现的，这种方法在使用和管理上存在一定的复杂性和局限性。

生成式人工智能（Generative AI）近年来快速崛起，从图像生成、自然语言处理到个性化推荐系统，生成式 AI 的应用范围越来越广泛。在这其中，数据可以说是企业在生成式 AI 时代取得成功的关键，每个公司都能访问相同的基础模型，但那些能够利用自己的数据构建具有真正商业价值的生成式人工智能应用的公司，将会是成功的公...

Databend 现已支持 SQL 变量，用户可以在查询中更方便地动态设置和使用变量。有助于减少重复代码，简化复杂查询的编写，提高开发效率。

数据是洞察力的基石，越来越多的企业开始建设以数据资产为中心的存储和分析一体化方案，这要求 Data Infra 架构能够提供可扩展、灵活且统一的数据工作流。现代数据湖架构同时兼顾数据湖的可扩展性和数据仓库的性能，满足对大规模数据处理的需求，并应对数据的复杂性挑战。本文将介绍如何围绕 Databend 生态系统构建现代...

在窗口函数的使用中，处理 NULL 值是一个常见且重要的问题。为了提供更加灵活和精确的查询能力，Databend 正在为窗口排名函数 first\_value、last\_value 和 nth\_value 添加 IGNORE NULLS 和 RESPECT NULLS 选项。这两个选项的具体功能如下：

上周六（7月13日），第 19 期 Data Infra 研究社直播活动与大家见面了。本次活动我们邀请到了 Databend 研发工程师-尚卓燃，为大家带来了一场主题为《面向现代分层存储的 Caching 技术漫谈》的分享。通过卓燃的分享，我们深入理解了面向现代分层存储的 Caching 技术，并学习了机器学习如何影响缓存的设计与应用。本次活...

KubeSphere 企业版 4.1.1 目前已经正式发布，推出「在线订阅」模式，致力于让云原生技术更加普及和可负担，以惠及更多中小企业。现在，中小企业每年仅需支付￥1500 起，即可获得近千家企业生产环境验证、多重安全与防护加固，并提供专家级在线支持的商用云原生操作系统，大幅降低采用云原生技术的初始成本。

Databend 现在已经支持在创建或修改用户时设置 must_change_password 选项，确保新用户在首次登录后必须更改密码。这一功能有助于提升账户安全性，防止初始密码泄露风险。

本文作者丁皓是Databend 研发工程师，也是 ASF Member， Apache OpenDAL PMC Chair ，主要研究领域包括存储、自动化与开源。

Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：[链接] 。What's On In Databend探索 Databend 本周新进展，遇到更贴近你心意的 Databend。支持内置 UDFsDatabend 现在已经支持在配置文件中预定义 UDFs 的能力，允许在部署时预先内置部分实用的 UDFs。示例...

Databend是一个开源、高性能、低成本易于扩展的新一代云数据仓库。bend-ingest-kafka 是一个专为 Databend 设计的实时数据导入工具，它允许用户从 Apache Kafka 直接将数据流导入到 Databend 中，实现数据的实时分析和处理。

Databend 现在已经支持递归调用用户定义函数，使其能够适用于处理可以被分解为多个相似子问题的任务，进一步扩展了其应用场景和功能复杂性。

6月21日(上周五)，OpenAI 官方宣布完成对实时分析数据库 Rockset 的收购，一时引起数据库圈和 AI 圈热议，很多朋友也来询问 Databend 如何看待这个事件。这次收购表明了市场对实时数据分析和数据处理解决方案的高度重视，数据是 AI 发展的核心要素，拥有强大的数据处理能力将帮助 OpenAI 能够更好地将数据与 AI 技术进行...

提到 “SaaS 出海”这个词大家肯定并不陌生，SaaS 企业将业务拓展到海外市场已经成为许多 SaaS 公司的重要战略方向。随着企业对于灵活性、可扩展性以及成本效益需求的不断增长， SaaS 模式提供了理想的解决方案。对于寻求出海机会的 SaaS 企业来说，全球化市场的巨大潜力尤为吸引人。在许多地区，尤其是发展中市场， SaaS ...