如何贡献复杂的项目

2022-06-29
阅读 4 分钟
605
​Iteration 121 从 4/23 开始到 5/6 结束,为期两周。这个周期成功走出了自己的舒适圈,探索了不少之前自己从未了解的东西,比如 tree-sitter,parser,hdfs,java 等等,感觉收获非常多。最近反复读了很多遍 @mitchellh2 写的 Contributing to Complex Projects3,今天这份周报就结合自己从零开始参与贡献 difftastic4 ...

使用 Databend 助力 MySQL 的数据分析

2022-06-29
阅读 3 分钟
630
Databend 是一个非常先进的基于对象存储云原生数仓1可以提强大的计算分析及存储能力。让 MySQL DBA 非常眼馋。今天想把 MySQL 的 wubx 库从 MySQL 全量迁移到 Databend 中。借助工具: dumpling2
封面图

Read-Write Quorum System 及在 Raft 中的实践

2022-06-24
阅读 5 分钟
661
在 Paxos、Raft 这类一致性算法的描述里,经常会看到 Majority、Quorum 这两个词,在以前我以为都是表达“半数以上”的含义,最近才发现两者有不小的区别。本文介绍这两者的区别,以及在 Raft 中实践中的问题。有了 Quorum 的视角,能更好得理解一致性算法。
封面图

Databend SQL Planner 全新设计

2022-06-21
阅读 5 分钟
1.3k
为了支持复杂的 SQL 查询,并且提供更好的使用体验,我们在最近的几个月里对 Databend 的 SQL planner 进行了大规模的重构。目前重构已经接近尾声,感兴趣的朋友可以通过修改 Databend 的 Session settings
封面图

Multi-Master-Paxos-3

2022-06-16
阅读 10 分钟
535
200 行代码实现 paxos-kv 中介绍了一款非常简洁的分布式 kv 存储实现,它是基于 classic-paxos 实现分布式一致性。在 paxos 的直观解释 中我们提到,每次写入,也就是每个 paxos 实例需要 2 轮 RPC 完成,效率低。
封面图

利用云原生数仓 Databend 构建 MySQL 的归档分析服务

2022-06-16
阅读 4 分钟
834
MySQL 常用 OLTP 业务环境,一般会使用比较好的硬件资源来提供对外服务。现在 MySQL 数据对外提供的数据动不动好几个 T 也是正常的。在很多业务中,数据有较强的生命周期,在线一段时间后,可能就是失去业务意义,如:

Databend 在数据归档分析中的优秀表现

2022-06-13
阅读 6 分钟
1.5k
前言本篇文章基于 Databend 的用户测试体验整理,详情可戳原文链接查看,正文总体分为四部分:Databend 产品简介Databend 对 Ceph 的支持Databend 在数据归档中的优秀表现产品使用总结Databend 产品简介atabend 是一个使用 Rust 研发、开源、完全面向云架构的新式数仓,提供极速的弹性扩展能力,致力于打造按需、按量的 ...
封面图

深度探究 OpenRaft |Data Infra 研究社第二期

2022-06-10
阅读 1 分钟
613
第二期的议题我们将和大家分享关于【OpenRaft 】的相关知识,感兴趣的朋友们不要错过,赶紧扫描下方二维码或点击文末「阅读原文」报名约起来吧~⏰ 时间:北京时间 6 月 18 日上午 10:00 - 11:00(周六)
封面图

技术配图的一些心得

2022-06-08
阅读 6 分钟
499
对于理工科出身的同学,对于可以量化的事情,总是很习惯根据量化差异来做出判断,比如一个程序性能优化之后,对比优化之前快出多少,都能很容易的通过一个量化的数字来说明。
封面图

解决 Databend 命令行参数加载问题

2022-06-02
阅读 8 分钟
642
前言Iteration 11[1] 从 4/9 开始到 4/22 结束,为期两周。这个周期非常快乐,我造了一堆轮子来解决 Databend 的命令行使用体验问题:serde-bridge[2]:将一个值在不同的 serde 实现中进行转换serde-env[3]:支持将环境变量解析为嵌套的结构体serfig[4]:基于 serde 实现的多层配置系统,支持从环境变量,配置文件,自身...
封面图

将 Paxos 和 Raft 统一为一个协议: Abstract-paxos

2022-06-01
阅读 17 分钟
753
之前写了一篇 Paxos 的直观解释,用简单的语言描述了 paxos 的工作原理,看过的朋友说是看过的最易懂的 paxos 介绍,同时也问我是否也写一篇 raft 的。但 raft 介绍文章已经很多很优质了,感觉没什么可写的,就一直拖着。后来想起来,在分布式岗的面试中,会经常被问到 raft 和 paxos 有什么区别, 虽然可能会惹恼面试官...
封面图

如何简单、高效的进行留存和漏斗分析

2022-05-26
阅读 4 分钟
723
Databend 是一个使用 Rust 研发、开源的、完全面向云架构的新式数仓,致力于提供极速的弹性扩展能力,打造按需、按量的 Data Cloud 产品体验。开源地址:[链接]
封面图

如何为开源项目撰写 RFC

2022-05-25
阅读 4 分钟
776
对于任何 non-trivial 的改动,都需要有一定的描述来表明动机;对于大的改动,更需要设计文档来留存记忆。人的记忆不是永久的,总会忘记最初的时候自己为什么做某一件事情,设计文档的沉淀对于社区摆脱人的不确定性演化有至关重要的作用。
封面图

200 行代码实现基于 Paxos 的 KV 存储

2022-05-20
阅读 14 分钟
628
写完【paxos 的直观解释】之后,网友都说疗效甚好,但是也会对这篇教程中一些环节提出疑问(有疑问说明真的看懂了 🤔),例如怎么把只能确定一个值的 paxos 应用到实际场景中。
封面图

解密云原生数据库|Data Infra 研究社第一期

2022-05-20
阅读 1 分钟
654
随着科技的进步,大数据已经作为一种重要的战略资产,从科学前沿逐渐渗透到各行各业,其深度应用对于企业经营活动有巨大的帮助。直接结果就是这几年市场上大数据人才供不应求。
封面图

Databend 全链路追踪

2022-05-18
阅读 7 分钟
880
全链路追踪意味着能够追踪到每一个调用请求的完整调用链路、收集性能数据并反馈异常。Databend 使用 tracing 赋能可观测性,实现全链路追踪。
封面图

Meetup|MySQL 归档管理,放个大招给你看!

2022-05-16
阅读 1 分钟
558
随着云原生架构的快速发展,海量数据的归档处理已经令众多小伙伴苦不堪言,那是否能有一个更完美的方式去解决归档问题呢?为此,我们邀请到了Datafuse Labs 联合创始人兼架构师吴炳锡来和大家分享一下如何通过 Databend 来更优雅的进行MySQL 数据归档及分析管理。感兴趣的朋友们不要错过,赶紧扫描下方二维码或点击文末...
封面图

可靠分布式系统- paxos 的直观解释

2022-05-13
阅读 12 分钟
744
前言paxos 是什么?在分布式系统中保证多副本数据强一致的算法。paxos 有啥用?没有 paxos 的一堆机器, 叫做分布式;有 paxos 协同的一堆机器, 叫分布式系统。Google Chubby 的作者 Mike Burrows 说过:这个世界上只有一种一致性算法,那就是Paxos …其他一致性算法, 都可以看做 paxos 在实现中的变体和扩展。另外一个经...
封面图

从 Git 到 Databend Fuse Engine 存储引擎

2022-05-11
阅读 8 分钟
877
Databend 是一个使用 Rust 研发、开源的、完全面向云架构的新式数仓,致力于提供极速的弹性扩展能力,打造按需、按量的 Data Cloud 产品体验。 开源地址:[链接]
封面图

一个 C 系程序员的 Rust 初体验

2022-05-07
阅读 4 分钟
884
引言:在工作里使用 Rust 已经有两个多月的时间了,谈谈我做为一名多年的 C 系(C、C++)程序员,对 Rust 的初体验。一个C系程序员的Rust初体验最近由于工作的原因,使用上了 Rust 语言,在此之前我有多年的 C、C++ 编码经验(以下将C、C++ 简称 C 系语言)。使用 C 系语言编码时,最经常面对的问题就是内存问题,诸如:...

探索Snowflake auto clustering 设计

2022-04-29
阅读 6 分钟
919
Snowflake 利用云端近似无限的计算和存储资源,基于存算分离的新式架构,真正实现了按需、按量的付费模式,极大的降低了用户的使用成本,让用户更加专注于数据价值的挖掘。对于传统的数据仓库来说,Snowflake 就像一块降维打击的二向箔。

如何阅读一份源代码?

2022-04-20
阅读 6 分钟
2.3k
阅读优秀的项目源码是学习他人优秀经验的重要途径之一,这一点我自己深有体会。 读代码与写代码是两个不太一样的技能,原因在于“写代码是在表达自己,读代码是在理解别人”。因为面对的项目多,项目的作者有各自的风格,理解起来需要花费不少的精力。

基于 Databend 和腾讯云 COS 打造新型云数仓

2022-04-15
阅读 50 分钟
1.2k
本篇文章向大家演示如何使用 Databend 基于腾讯云 COS 构建新式数仓及其计算能力。如果你也在找一个低成本、高性能、支持弹性的数仓,Databend 可以为大家提供一个基于对象存储的云原生数仓解决方案。目前 Databend 支持数据的 stream load , copy into from stage , insert 等方式的数据写入,部署上支持单机和集群模式...