构建自定义 Kafka Connect 连接器

主要观点:介绍在 Landoop 的开源 UI 工具中定制、构建和部署Kafka Connect连接器的方法,以 FileStreamSourceConnector 为例,展示如何满足特定需求,包括定制其行为(发送源 IP 作为消息键)、构建连接器、在 Landoop 的 docker 镜像中部署并使用它。
关键信息:

  • FileStreamSourceConnector 是简单的文件连接器,会将本地文件的每行发送到配置的 Kafka 主题的多个分区,默认无键。
  • 需定制此行为以将同一源 IP 的日志发送到同一分区,需将源 IP 作为消息键。
  • 构建连接器需 fork Apache Kafka 源代码到自己的 GitHub 账号,克隆并构建 jar,修改相关代码并复制 jar 到特定文件夹。
  • 部署连接器需创建 docker-compose.yaml 文件启动 Apache Kafka 集群,挂载相关文件和文件夹,创建主题,在 Landoop UI 中创建新的文件源连接器并配置属性,可在 Kafka Topics UI 查看结果。
    重要细节:
  • 构建连接器的代码路径及相关命令,如git clone https://github.com/Randhir123/kafka.gitgradle./gradlew jar等。
  • 部署连接器的 docker-compose.yaml 文件内容及相关操作,如docker-compose up kafka-cluster等。
  • 在 Landoop UI 中创建文件源连接器的配置细节,如"connector.class": "org.apache.kafka.connect.file.MyFileStreamSourceConnector"等。
    注意:此用例仅用于教学,生产中有其他日志解决方案,如ELKEFKSplunk等。
阅读 6
0 条评论