Jepsen: Bufstream 0.1.0

主要观点:Bufstream 是与 Kafka 兼容的流系统,存记录于对象存储服务,发现 5 个安全和 2 个活性问题,包括卡住的消费者和生产者、虚假零偏移、健康集群中已确认写入的丢失等,这些问题在 0.1.3 版本解决,还指出 Kafka 相关的 4 个问题,如事务文档缺失、Java 客户端死锁等,且大多未解决,报告由 Buf 资助并遵循伦理政策。
关键信息

  • Bufstream 工作原理及组成部分,如 agent、object store、coordination service 等。
  • 客户端安全设置,如生产者和消费者的配置选项。
  • Kafka 事务的复杂语义及相关问题,如 G0、G1a、G1c 现象等。
  • 测试设计,包括测试环境、工具、工作负载等。
  • Bufstream 和 Kafka 的各种结果,如 stuck consumers、lost writes 等问题及修复情况。
  • 对 Kafka 的一些问题,如错误消息、消费者关闭阻塞、事务失败后消费者偏移不可预测等的发现。
    重要细节
  • Bufstream 不同版本的问题及修复时间,如 0.1.0 到 0.1.3 系列版本的各种问题及对应修复版本。
  • 测试过程中的各种操作和检查方法,如 queue 工作负载的操作和错误检查。
  • Kafka 事务协议的缺陷及导致的各种问题,如 aborted read、torn transactions 等。
  • 对 Bufstream 和 Kafka 的建议,如 Bufstream 用户注意事项、Kafka 需完善事务文档等。
阅读 10
0 条评论