QCon London会议：John Spray谈有状态云服务设计的复杂性

在QCon London的云原生工程专题中，Neon.tech的存储工程负责人John Spray以Neon Serverless Postgres为例，探讨了有状态云服务设计中常被忽视的复杂性。他的演讲涵盖了现代IT基础设施中的数据管理和存储的关键问题，包括数据本地化与复制、数据存储的优化策略以及确保数据完整性和可用性所需的副本数量。

主要观点与讨论内容

1. 数据复制策略：

   • 同步复制：Spray指出，同步复制通常更受青睐，因为它避免了异步系统中的“时间旅行”问题，用户更容易理解。Neon内部在Safekeeper节点之间使用完全同步复制，延迟保持在约1毫秒内，确保用户不会感知到节点丢失。
   • 异步复制：异步复制允许主节点在从节点响应不佳时继续运行，适用于高延迟链路或从节点负载较高的情况。Neon的读副本直接从分布式存储后端读取数据，避免了对主节点的额外负载。

2. 恢复策略与存储选择：

   • 本地磁盘存储：Neon通过跨可用区的3倍复制（Safekeeper服务）和对象存储（S3）的组合确保数据持久性。本地磁盘存储成本较高，但提供了更低的写入延迟。
   • 对象存储：对象存储的故障恢复策略更为灵活，Neon通过在其他Pageserver节点上保持热备用缓存来减轻Pageserver节点故障的影响。
   • 块存储：Spray提到，虽然网络块存储（如EBS）可以简化设计，但其成本/持久性权衡不佳，通常只在一个可用区内复制。

3. 多可用区/多区域部署的成本与性能平衡：

   • 成本控制：跨可用区复制的流量成本高昂，应仅限于对延迟要求严格的写入操作。Spray建议尽快将数据写入对象存储，以避免跨可用区的出口费用。
   • 压缩技术：通过使用轻量级压缩（如LZ4）可以减少跨可用区传输的数据量，降低费用。
   • 多区域部署：跨区域数据复制的成本更高，企业应根据业务需求谨慎考虑是否进行跨区域复制。

4. Kubernetes在状态服务中的应用：

   • Spary提到，Kubernetes在状态服务中的应用需要更加谨慎，尤其是在使用StatefulSet时，需考虑节点替换对服务维护的影响。虽然Kubernetes在某些情况下是合适的工具，但其在状态服务中的应用比无状态服务需要更多的思考。

总结

John Spray的演讲深入探讨了有状态云服务设计中的关键问题，特别是在数据复制、存储选择和成本控制方面的权衡。通过Neon Serverless Postgres的案例，他展示了如何在确保数据持久性和服务可用性的同时，优化性能和成本。此外，他还分享了在多可用区和多区域部署中的最佳实践，以及Kubernetes在状态服务中的应用注意事项。