头图

Xline是什么?我们为什么要做Xline?

Xline是一个基于Curp协议的,用于管理元数据的分布式KV存储。现有的分布式KV存储大多采用Raft共识协议,需要两次RTT才能完成一次请求。当部署在单个数据中心时,节点之间的延迟较低,因此不会对性能产生大的影响。

但是,当跨数据中心部署时,节点之间的延迟可能是几十或几百毫秒,此时 Raft 协议将成为性能瓶颈。Curp 协议就是为了解决这个问题而设计的。它可以在命令不冲突的情况下减少一个RTT,从而提高性能。因此,Xline旨在实现高性能的数据访问和跨数据中心场景下的强一致性。

V0.7.0版本有什么新功能?

v0.7.0新版本修复问题以及重构如下:

⭐ 新功能

[Feature]CURP WAL (Write-Ahead-Log) 实现:我们设计了一个 Write-Ahead-Log 来保存 curp 的日志条目。

[Feature]重复数据删除:使用RIFL论文中的exactly-once语义实现命令重复数据删除。

[Feature]:快照恢复 #630

[Feature]:维护服务器接口#543

[Feature]:支持使用 tls 运行 #328

️ 重构

[Refactor]:为自动更新lock lease添加会话结构#684

[Refactor]:启动流程#629

[Refactor]:重构speculative pool的GC #439

[Refactor]:新的命令执行逻辑:我们删除了cmd workers和相关的命令执行逻辑。现在,Xline 将使用串行执行(通过批处理)来防止锁争用。

[Refactor]:Garbage Collection:我们在dedup实现的基础上重构了garbage collection logic。

[Refactor]:客户端Proposal优化:我们重构了 curp 客户端,以使用 gRPC 流向集群发送提议。这降低了 gRPC 服务器的负载并提高了整体性能。

[Refactor]:冲突检测:我们删除了冲突检查的 mpmc。现在Xline将使用conflict pools(speculative pool和uncommitted pool)来检测命令冲突。

[Refactor]:Read Index:我们实现了 Raft 论文中的 Read Index 机制,用于只读命令。替换了之前的读取状态实现。

[Refactor]:xline-client 重构:我们为 xline-client crate 切换到更直观的用户界面。

[Refactor]:各种性能优化

错误修复

[Bug]:实现 ReadIndex #870

[etcdapi] [Bug]:重复revision #848

[Bug]:测试用例 curp::it server::shutdown\_rpc\_should\_shutdown\_the_cluster 失败 #774

[Bug]:Xline 在使用watch功能时会丢失事件#677

[Bug]:xlinectl 不会续订锁定密钥的lease #664

[Bug]:无法将新成员node4添加到三节点xline集群#661

[Refactor]:revision生成期间的只读命令#502

[Bug]:在读取状态期间执行时读取不同的值#501

[Bug]:sync txn 请求未按照子请求的顺序执行 #498

[Bug]:读取状态#497

[Bug]:revision生成#491、#848

[Bug]:单个 txn 中的请求不按顺序执行 #471

[Bug]:raw\_curp中的batch\_index最终会溢出#368

[Bug]:修复 GC 可能会破坏 CURP 持久性的问题 #159

✍️已知问题

在基准测试期间,如果集群处于高负载下,集群有时可能会由于重复数据删除机制而无法取得进展。

重大变化

etcd 兼容 API 现在将使用 2-RTT 操作来防止revision生成问题。

❤️ 贡献者

我们要感谢所有参与此版本发布的贡献者!

@themanforfree

@iGxnon

@Phoenix500526

@bsbds

相关链接

·Curp相关论文:

https://www.usenix.org/system/files/nsdi19-park.pdf

·Curp相关文章:

https://medium.com/@datenlord/curp-revisit-the-consensus-protocol-384464be1600

往期推荐

1.Xline 0.7重构性能分析总述

2.Xline中区间树实现小结

3.Xline v0.6.1: 一个用于元数据管理的分布式KV存储

Xline于2023年6月加入CNCF 沙箱计划,是一个用于元数据管理的分布式KV存储。Xline项目以Rust语言写就。感谢每一位参与的社区伙伴对Xline的帮助和支持,也欢迎更多使用者和开发者参与体验和使用Xline。

GitHub链接:

https://github.com/xline-kv/Xline

Xline官网:www.xline.cloud

Xline Discord:

https://discord.gg/XyFXGpSfvb


Datenlord
14 声望6 粉丝

DatenLord专注打造新一代云原生高性能存储平台,实现跨云、跨数据中心之间数据高速访问,从而极大提升存储系统的可扩展性,满足企业客户海量数据跨地域高速访问需求,在互联网、金融、电信、能源等不同行业均有广...