主要观点：

• 在 Google Cloud 设计和运营数据管道多年，深知韧性不可或缺，节点会死机、配额会耗尽等，功能性管道和有韧性的管道区别在于能否承受故障并满足延迟要求。
• 延迟和韧性是孪生问题，在 GCP 设计有韧性的管道需权衡两者，避免过度配置韧性导致尾延迟或单纯优化延迟而降低失败韧性。
• 指出 GCP 管道中反复出现的故障模式，如节点故障、配额耗尽、区域中断、模式不匹配等，需将韧性设计到管道中。
• 从研究和运营实例中汲取经验，如 LEGOStore 的动态重新配置和 Google SRE 工作手册的延迟预算概念等。
• 总结了在 GCP 管道中设计抗故障的模式，如将 Pub/Sub 作为持久缓冲区、利用 Dataflow 弹性功能、处理 BigQuery 延迟 SLA 问题、使用 Cloud Composer 进行编排等。
• 强调可观测性在韧性中的重要性，通过监控检测和响应延迟峰值，制定预定义的恢复计划。
• 介绍了有效的恢复模式，如检查点 + 幂等性、死信队列、金丝雀管道、混沌测试等。
• 指出韧性是持续的实践和文化，需在运营中不断完善。

关键信息：

• GCP 数据管道常见故障模式及应对方法。
• 从研究和运营中获得的韧性设计经验和教训。
• 提高 GCP 分布式管道韧性的模式和策略。
• 可观测性在检测和响应延迟峰值中的作用。
• 有效的恢复模式及韧性的持续实践。

重要细节：

• Pub/Sub 作为稳定缓冲，注意消息保留时间和重复问题。
• Dataflow 自动缩放和流式引擎检查点的平衡使用。
• BigQuery 高活动时的微批处理和模式漂移处理。
• Cloud Composer 编排中的重试和跨区域操作。
• 通过监控 Pub/Sub 订阅延迟、Dataflow 水印指标等检测延迟峰值。
• 恢复模式如检查点、死信队列等的应用。