面向未来数据库的现代硬件

主要观点:数据库正处于激动人心的时代,各硬件领域的进步有望塑造最优数据库架构,但必要硬件的可及性存疑。
关键信息和重要细节

  • 网络方面:VoltDB 测试显示约 60%服务器周期用于 TCP/IP 栈,虽有 QUIC 等替代方案,但 CPU 开销与 TCP 相似,需减少内核网络栈开销,如将计算密集部分移至硬件(如分担分段和校验和)、移除内核作为中间件(如 DPDK)、利用 RDMA(远程直接内存访问)降低延迟和提高吞吐量等,新硬件如 SmartNICs 可进一步提升网络性能。
  • 存储方面:HDD 出现叠瓦式磁记录(SMR)和 SSD 的区域存储(Zonal SSD),减少成本并提高效率,Google 和 Meta 合作的 Flexible Data Placement(FDP)旨在优化写入,还有如 KV-SSD 改变数据模型,SmartSSDs 允许在 SSD 中进行任意计算,对查询处理有潜在影响。
  • 计算方面

    • 事务处理: unikernels 可让数据库针对自身需求定制操作系统,Secure Enclaves 能保护数据免受恶意攻击,时钟同步对地理分布式数据库的事务排序很重要,硬件事务性内存历史坎坷。
    • 查询处理:有利用 GPU、Neural Processing Units/Tensor Processing Units 和 FPGAs 加速查询处理的尝试,ADMS 是相关研究会议,但 ASICs 似乎不太值得,内存带宽是瓶颈。
  • 云可用性方面:硬件进步若不可及则无意义,云在提供硬件进步方面表现不佳,如网络中 DPDK 较易获取,RDMA 仅在部分云可用,存储中 SMR HDD 和 ZNS SSD 多为企业购买,SmartSSDs 未公开,计算方面云允许 unikernels 和 TPM,但仅 AWS 和 Azure 支持 Secure Enclaves,GPU 和 FPGA 受内存限制,且更快的计算在云环境中受限于 PCIe 速度。总体而言,下一代数据库受限于硬件的可及性和云的部署意愿,Alibaba 在提供硬件进步方面表现突出。
阅读 17
0 条评论