零磁盘架构 - blag

主要观点:传统磁盘连接机器的方式存在问题,限制了水平扩展,状态导致弹性和可扩展性降低,而分离状态和计算的解耦存储能解决诸多问题。
关键信息

  • 主流数据库如 Postgres 水平扩展困难,BlueSky 团队从 Postgres 切换到 Scylla 和 SQLite 就是因为 Scylla 可水平扩展。
  • 解耦存储可实现可扩展、弹性、数据库“无服务器”(即时启动和关闭)、即时故障转移等。
  • 存储服务器存在管理状态的问题,有将其外包给其他团队、使用现有开源存储引擎、自己构建等几种选择。
  • 亚马逊 S3 满足解耦存储的所有要求,如提供高耐久性和可用性保证,成本和延迟在不断降低,现在有 S3 Express One Zone 速度更快。
  • 数据库写入 S3 时存在延迟和成本的权衡,可根据需求选择直接写入 S3 或通过写通缓存服务器,零磁盘架构对于不关心延迟的系统很有吸引力,许多系统已将 S3 作为主要存储。
    重要细节
  • 文中提到的一些使用 S3 作为主要存储的系统,如 Snowflake、WarpStream 等。
  • 提到 Jack Vanlightly 的相关文章,如关于成本分析的文章等。
  • 说明对于存储 1000 亿对象每年可能丢失一个,存储 1000 万个对象可能 10000 年才丢失一个等数据。
  • 指出解耦存储主要对数据库供应商和大型科技公司有意义,因为操作复杂且有权衡。
阅读 10
0 条评论