Databend v0.8 新版本上线!

2022-08-22
阅读 6 分钟
868
Databend v0.8 的开发于 3 月 28 号开始,总计 5000+ commits,4600+ 文件变更。在过去的 5 个月中,社区的 120 余位贡献者新增了 42 W 行代码,删除了 16 W 行,相当于把 Databend 重写了一遍。在该版本中,社区对 SQL Planner 框架做出了重大改进,并将所有的 SQL 语句都迁移到了新的 Planner 上,提供了完整的 JOIN ...
封面图

Databend 源码阅读系列(一): 开篇

2022-08-04
阅读 5 分钟
1.4k
Databend 在 2021 年开源后,陆续受到了很多社区同学的关注。Databend 使用了 Rust 编程语言。为了吸引更多的开发者,特别是没有 Rust 开发经验的新同志,我们设计了 Rust 相关课程,同时建立了多个 Rust 兴趣小组。 Databend 在 issue 中还引入了“Good First issue”的 label 来引导社区新同学参与第一次贡献,目共有超...
封面图

OpenRaft 在交易撮合引擎中的应用

2022-08-03
阅读 15 分钟
1.2k
由于工作需要,一直对原子多播应用有非常浓厚的兴趣。通过一段时间的技术选型。我们非常幸运的得到了 Openraft 实操分享 Databend 社区的热心支持。我也想通过我们的实际工作,对 Openraft 的未来应用尽一些微薄之力。
封面图

如何设置 Databend 开发环境

2022-07-29
阅读 4 分钟
712
为方便开发者快速建立开发环境,Databend 维护了一个复杂的 shell 脚本,位于 scripts/setup/dev_setup.sh。只需执行一条指令即可完成开发环境配置:
封面图

Rust 并发安全相关的几个概念(下)

2022-07-27
阅读 6 分钟
1.3k
本文介绍 Rust 并发安全相关的几个概念:Send、Sync、Arc,Mutex、RwLock 等之间的联系。这是其中的下篇,主要介绍 Arc,Mutex、RwLock 这几个线程安全相关的类型。
封面图

Databend 性能剖析方法与工具

2022-07-21
阅读 6 分钟
928
Databend 整合了一些性能剖析工具,可以方便进行深入分析。本文将会介绍如何进行 CPU / Memory Profiling。CPU Profiling
封面图

Rust 并发安全相关的几个概念(上)

2022-07-20
阅读 5 分钟
688
本文介绍一下 Rust 并发安全相关的几个概念:Send、Sync、Arc,Mutex、RwLock 等之间的联系。这是其中的上篇,主要介绍 Send、Sync 这两个trait。
封面图

100 行代码的压缩前缀树:50% smaller

2022-07-14
阅读 8 分钟
749
用前缀树存储一个排序数组,去掉指针,压缩掉 50% 的空间;例如在本文的例子中, 存储 2.4 MB 的 200 万个单词, 只需要 1.2 MB。
封面图

如何对 Databend 进行基准测试

2022-07-12
阅读 7 分钟
931
Databend 的设计目标之一就是保持最佳性能,为了更好观测和评估性能,社区不光提供一套简单的本地基准测试方案,还建立了可视化的持续基准测试。
封面图

如何为 Databend 添加新的测试

2022-07-08
阅读 7 分钟
508
Databend 的单元测试组织形式有别于一般的 Rust 项目,是直接一股脑放在 tests/it 目录下的。同时,在各个 crate 的 Cargo.toml 中,也针对性地禁用了 doctest 和 bin/lib test 。 优点:
封面图

Databend Cloud 入选中国信通院《云原生产品目录》

2022-07-07
阅读 2 分钟
887
中国信通院为解决云原生用户选型困境,全面拉齐行业认知,推动云原生产业蓬勃发展,而发起、征集和评选出来的,Databend 的技术能力获得了权威认可,成功入选目录。本次发布的《云原生产品目录》共收录云原生技术服务产品及解决方案 251 个,涉及容器、微服务、服务网格、无服务器、中间件服务、云原生安全,以及云原生...

开源,无禁止即可为

2022-07-05
阅读 3 分钟
659
尽管我们经常说代码贡献并不是唯一的开源贡献方式,参与讨论,Review RFC 也是参与开源的良好途径。但是很多同学仍然会有疑虑:我不是项目的 Maintainer/Committer/Reviewer,我有资格 Review 别人的 PR 吗?本文以我在 envd 中的实践来阐述这样的观点:开源,无禁止即可为。
封面图

如何贡献复杂的项目

2022-06-29
阅读 4 分钟
677
​Iteration 121 从 4/23 开始到 5/6 结束,为期两周。这个周期成功走出了自己的舒适圈,探索了不少之前自己从未了解的东西,比如 tree-sitter,parser,hdfs,java 等等,感觉收获非常多。最近反复读了很多遍 @mitchellh2 写的 Contributing to Complex Projects3,今天这份周报就结合自己从零开始参与贡献 difftastic4 ...

使用 Databend 助力 MySQL 的数据分析

2022-06-29
阅读 3 分钟
740
Databend 是一个非常先进的基于对象存储云原生数仓1可以提强大的计算分析及存储能力。让 MySQL DBA 非常眼馋。今天想把 MySQL 的 wubx 库从 MySQL 全量迁移到 Databend 中。借助工具: dumpling2
封面图

Read-Write Quorum System 及在 Raft 中的实践

2022-06-24
阅读 5 分钟
830
在 Paxos、Raft 这类一致性算法的描述里,经常会看到 Majority、Quorum 这两个词,在以前我以为都是表达“半数以上”的含义,最近才发现两者有不小的区别。本文介绍这两者的区别,以及在 Raft 中实践中的问题。有了 Quorum 的视角,能更好得理解一致性算法。
封面图

Databend SQL Planner 全新设计

2022-06-21
阅读 5 分钟
1.5k
为了支持复杂的 SQL 查询,并且提供更好的使用体验,我们在最近的几个月里对 Databend 的 SQL planner 进行了大规模的重构。目前重构已经接近尾声,感兴趣的朋友可以通过修改 Databend 的 Session settings
封面图

Multi-Master-Paxos-3

2022-06-16
阅读 10 分钟
620
200 行代码实现 paxos-kv 中介绍了一款非常简洁的分布式 kv 存储实现,它是基于 classic-paxos 实现分布式一致性。在 paxos 的直观解释 中我们提到,每次写入,也就是每个 paxos 实例需要 2 轮 RPC 完成,效率低。
封面图

利用云原生数仓 Databend 构建 MySQL 的归档分析服务

2022-06-16
阅读 4 分钟
964
MySQL 常用 OLTP 业务环境,一般会使用比较好的硬件资源来提供对外服务。现在 MySQL 数据对外提供的数据动不动好几个 T 也是正常的。在很多业务中,数据有较强的生命周期,在线一段时间后,可能就是失去业务意义,如:

Databend 在数据归档分析中的优秀表现

2022-06-13
阅读 6 分钟
1.6k
前言本篇文章基于 Databend 的用户测试体验整理,详情可戳原文链接查看,正文总体分为四部分:Databend 产品简介Databend 对 Ceph 的支持Databend 在数据归档中的优秀表现产品使用总结Databend 产品简介atabend 是一个使用 Rust 研发、开源、完全面向云架构的新式数仓,提供极速的弹性扩展能力,致力于打造按需、按量的 ...
封面图

深度探究 OpenRaft |Data Infra 研究社第二期

2022-06-10
阅读 1 分钟
695
第二期的议题我们将和大家分享关于【OpenRaft 】的相关知识,感兴趣的朋友们不要错过,赶紧扫描下方二维码或点击文末「阅读原文」报名约起来吧~⏰ 时间:北京时间 6 月 18 日上午 10:00 - 11:00(周六)
封面图

技术配图的一些心得

2022-06-08
阅读 6 分钟
601
对于理工科出身的同学,对于可以量化的事情,总是很习惯根据量化差异来做出判断,比如一个程序性能优化之后,对比优化之前快出多少,都能很容易的通过一个量化的数字来说明。
封面图

解决 Databend 命令行参数加载问题

2022-06-02
阅读 8 分钟
824
前言Iteration 11[1] 从 4/9 开始到 4/22 结束,为期两周。这个周期非常快乐,我造了一堆轮子来解决 Databend 的命令行使用体验问题:serde-bridge[2]:将一个值在不同的 serde 实现中进行转换serde-env[3]:支持将环境变量解析为嵌套的结构体serfig[4]:基于 serde 实现的多层配置系统,支持从环境变量,配置文件,自身...
封面图

将 Paxos 和 Raft 统一为一个协议: Abstract-paxos

2022-06-01
阅读 17 分钟
997
之前写了一篇 Paxos 的直观解释,用简单的语言描述了 paxos 的工作原理,看过的朋友说是看过的最易懂的 paxos 介绍,同时也问我是否也写一篇 raft 的。但 raft 介绍文章已经很多很优质了,感觉没什么可写的,就一直拖着。后来想起来,在分布式岗的面试中,会经常被问到 raft 和 paxos 有什么区别, 虽然可能会惹恼面试官...
封面图

如何简单、高效的进行留存和漏斗分析

2022-05-26
阅读 4 分钟
871
Databend 是一个使用 Rust 研发、开源的、完全面向云架构的新式数仓,致力于提供极速的弹性扩展能力,打造按需、按量的 Data Cloud 产品体验。开源地址:[链接]
封面图

如何为开源项目撰写 RFC

2022-05-25
阅读 4 分钟
902
对于任何 non-trivial 的改动,都需要有一定的描述来表明动机;对于大的改动,更需要设计文档来留存记忆。人的记忆不是永久的,总会忘记最初的时候自己为什么做某一件事情,设计文档的沉淀对于社区摆脱人的不确定性演化有至关重要的作用。
封面图

200 行代码实现基于 Paxos 的 KV 存储

2022-05-20
阅读 14 分钟
710
写完【paxos 的直观解释】之后,网友都说疗效甚好,但是也会对这篇教程中一些环节提出疑问(有疑问说明真的看懂了 🤔),例如怎么把只能确定一个值的 paxos 应用到实际场景中。
封面图

解密云原生数据库|Data Infra 研究社第一期

2022-05-20
阅读 1 分钟
772
随着科技的进步,大数据已经作为一种重要的战略资产,从科学前沿逐渐渗透到各行各业,其深度应用对于企业经营活动有巨大的帮助。直接结果就是这几年市场上大数据人才供不应求。
封面图

Databend 全链路追踪

2022-05-18
阅读 7 分钟
1.1k
全链路追踪意味着能够追踪到每一个调用请求的完整调用链路、收集性能数据并反馈异常。Databend 使用 tracing 赋能可观测性,实现全链路追踪。
封面图

Meetup|MySQL 归档管理,放个大招给你看!

2022-05-16
阅读 1 分钟
647
随着云原生架构的快速发展,海量数据的归档处理已经令众多小伙伴苦不堪言,那是否能有一个更完美的方式去解决归档问题呢?为此,我们邀请到了Datafuse Labs 联合创始人兼架构师吴炳锡来和大家分享一下如何通过 Databend 来更优雅的进行MySQL 数据归档及分析管理。感兴趣的朋友们不要错过,赶紧扫描下方二维码或点击文末...
封面图

可靠分布式系统- paxos 的直观解释

2022-05-13
阅读 12 分钟
970
前言paxos 是什么?在分布式系统中保证多副本数据强一致的算法。paxos 有啥用?没有 paxos 的一堆机器, 叫做分布式;有 paxos 协同的一堆机器, 叫分布式系统。Google Chubby 的作者 Mike Burrows 说过:这个世界上只有一种一致性算法,那就是Paxos …其他一致性算法, 都可以看做 paxos 在实现中的变体和扩展。另外一个经...
封面图