Databend 社区积极拥抱 Rust 生态(202111回顾)

databend

Databend 旨在成为一个 开源、弹性、可靠 的无服务器数仓,查询快如闪电,与 弹性、简单、低成本 的云服务有机结合。数据云的构建,从未如此简单!

Databend 对 Rust 社区的意义

Databend 的团队成员大多有丰富的数据库/数据平台开发及开源协作经验。我们选用 Rust 来开发高性能、高可靠的下一代数据云服务。

  1. 打造 Rust 数仓领域的头号种子选手,展示 Rust 的魅力,推动 Rust 在数据库领域的进一步应用。
  2. 持续推动 Rust 在数据治理/数据库/云原生等领域的发力,改善生态和工具。
  3. 为广大 Rustacean 提供更多学习/练手/就业机会,也为社区培养一批数据库开发能手。

Databend 和 Rust 生态的紧密联系

从 Databend 社区建立的第一天起,我们就抱有“从社区中来,到社区中去”的信念,积极拥抱开源和 Rust 生态。

课程

自 8 月起,Databend 和 Rust 中文社区、知数堂一道,启动了面向 Rustacean 和数据库开发人员的公开课计划。

Rust 培养提高计划

上游

Databend 的成功离不开 Rust 生态的繁荣和高质量的上游项目,Databend 社区也会不定期向上游提供补丁,为共筑更好的 Rust 生态而努力。
file

  • advisory-db - 为发布在 crates.io 的 Rust crate 制作的安全咨询数据库
  • 为 RUSTSEC-2020-0009 添加 flatbuffers 补丁版本
  • arrow-rs & arrow-flight & parquet - Apache Arrow / Parquet 的官方 Rust 实现,Databend 早期的重要依赖

    • 为 sort 添加 limit 选项
    • 受 RUSTSEC-2020-0009 影响,更新 flatbuffers 到最新版本
    • prettytable-rs 处于未维护状态,替换为 comfy-table
    • 更新 prost 到 0.8 ,以及相应的 tonic 更新
    • 更新 prost 到 0.9 ,以及相应的 tonic 更新,修复 error
  • arrow2 & arrow-format & parquet2 - 使用 transmute-free 操作重写的 Arrow 和最快也最安全(unsafe free)的 Parquet 实现

    • 为 merge sort 添加 limit 选项
    • 改进 sort
    • 添加 wrapping_cast 提高 cast 性能
    • 添加对 BinaryArray 的计算支持
    • prettytable-rs 处于未维护状态,替换为 comfy-table
    • 更新 prost 到 0.8 ,以及相应的 tonic 更新
    • 更新 prost 到 0.9 ,以及相应的 tonic 更新,修复 error 及 clippy lints
  • async-raft - 基于 tokio 的异步 raft 共识算法实现

    • 修复:重启时 NonVoter 应该保持其身份而不是转为 Follower
    • 一系列额外的修复,列在 https://github.com/async-raft...
    • 由于 async-raft 原库的维护状态并不好,特别维护 datafuse-extras/async-raft
  • cargo-license - 用于查看依赖所采用许可协议的实用工具

    • 更新依赖以避免冲突,修复 clippy lints
  • clickhouse-srv - 用于编写可以充当 ClickHouse 服务器的绑定

    • 该项目由 Databend 团队成员开发并维护。
    • 目前已经合并到 Databend 项目,位于 common/clickhouse-srv
  • float-cmp - 浮点数近似比较

    • 指定 num-traits 的最小版本,并修复 clippy lints,以帮助上游依赖通过 minver test
  • hashbrown - 高性能 HashMap ,目前也是标准库的一部分

    • 更新 rand 到 0.8.3
  • lru-rs - Lru Cache 实现

    • 更新 hashbrown 到 0.11.2 ,修复 clippy lints
  • mockall - 用于方便编写测试的实用库

    • 更新受 RUSTSEC-2020-0095 影响的依赖
  • msql-srv - 用于编写可以充当 MySQL / MariaDB 服务器的绑定

    • 修复 COM_FIELD_LIST 的相应
    • 同步依赖到最新版本,修复测试中的依赖
    • 增加基本的 AuthPlugin 支持
    • 查询进度信息统计
    • 部分补丁正在试图合并到上游,目前可以先在 datafuse-extras/msql-srv 试用
  • pprof - CPU / 应用程式性能测试工具

    • 更新 prost 到 0.8 ,以及相应的 tonic 更新
    • 更新 prost 到 0.9 ,以及相应的 tonic 更新,修复 clippy lints
  • ritelinked - 快速 & 好用的 LinkedHashMap & LinkedHashSet 实现

    • 该项目由 Databend 团队成员开发并维护。
    • 目前位于 ritelabs/ritelinked
  • sqlparser-rs - 可拓展的 SQL 词法分析器和语法解析器

    • 使用返回 error 替代 panic
    • 添加基于 honggfuzz 的模糊测试工具
    • 支持 tinyint
    • datafuse-extras/sqlparser-rs 目前包含一些 Databend 定制的特性

      • 支持 INSERT FORMAT
      • 支持 cast(a, b)
      • 使函数支持参数
      • 支持 substring(string, start, length) 语法
  • structopt-toml - structopt 的 TOML 默认值加载工具

    • failure 处于未维护状态,替换为 anyhow

Databend 的社区建设计划

Databend 社区是由每一个关注者、开发者、使用者共同建设的平台,在未来我们也会持续完善回馈机制,帮助每个社区成员能够在社区建设过程中获得成长与进步。

  1. 建立和健全开发者成长体系,为 Rustacean 提供学习、实践、创新的平台
  2. 持续输出高质量 Rust + 数据库 课程,邀请行业专家分享开发实践经验,宣传 Databend 生态中的优质项目
  3. 为重要的上下游项目和优质开发者提供赞助、培训等机会,以鼓励其在开源和生态中的贡献
Databend 名字渊源于相对论。由于物质的存在,时间和空间会发生弯曲,这就是相对论的 Time Bend 。我们期望 Databend 的出现可以让用户重新审视数据,从而挖掘数据中存在的更大价值, 同时让用户大数据这个领域中:Make life easier 。

欢迎加入 Databend 社区,与我们一道,用 Rust 构建下一代的数据云服务。

阅读 725

Databend 旨在成为一个 开源、弹性、可靠 的无服务器数仓,查询快如闪电,与 弹性、简单、低成本 的云服...

17 声望
5 粉丝
0 条评论

Databend 旨在成为一个 开源、弹性、可靠 的无服务器数仓,查询快如闪电,与 弹性、简单、低成本 的云服...

17 声望
5 粉丝
文章目录
宣传栏