GitHub - tansu-io/tansu: 与 S3、PostgreSQL、Apache Iceberg 和 Delta Lake 兼容的 Apache Kafka® 代理

主要观点:Tansu 是 Apache Kafka 的替代品,可与 PostgreSQL、S3 或内存存储引擎配合使用,支持模式支持的主题(Avro、JSON 或 Protocol buffers)写入 Apache Iceberg 或 Delta Lake 表,具有与 Apache Kafka API 兼容等特点。
关键信息

  • 包含 broker、topic、cat、proxy 等子命令,broker 为默认命令,可通过不同命令进行相关操作。
  • 可配置 S3 或 PostgreSQL 存储引擎,配置过程及相关操作示例详细。
  • 提供多种示例,如使用 pyiceberg、Apache Spark、Delta Lake 等。
  • 若遇到问题可提 issue,Tansu 基于 Apache 2.0 许可。
    重要细节
  • broker 可通过默认命令或指定其他命令运行,有多种选项可配置,如 Kafka 集群 ID、监听地址等,默认启动时会加载环境变量。
  • topic 命令可创建或删除由 broker 管理的主题。
  • cat 命令可轻松消费或生产 Avro、JSON 或 Protobuf 消息到主题,produce 子命令可根据主题模式编码消息。
  • S3 配置需创建 bucket、访问密钥等,PostgreSQL 切换需修改环境变量并启动相应服务,且都有相关操作示例。
阅读 13
0 条评论