主要观点:介绍在 Landoop 的开源 UI 工具中定制、构建和部署Kafka Connect连接器的方法,以 FileStreamSourceConnector 为例,展示如何满足特定需求,包括定制其行为(发送源 IP 作为消息键)、构建连接器、在 Landoop 的 docker 镜像中部署并使用它。
关键信息:
- FileStreamSourceConnector 是简单的文件连接器,会将本地文件的每行发送到配置的 Kafka 主题的多个分区,默认无键。
- 需定制此行为以将同一源 IP 的日志发送到同一分区,需将源 IP 作为消息键。
- 构建连接器需 fork Apache Kafka 源代码到自己的 GitHub 账号,克隆并构建 jar,修改相关代码并复制 jar 到特定文件夹。
- 部署连接器需创建 docker-compose.yaml 文件启动 Apache Kafka 集群,挂载相关文件和文件夹,创建主题,在 Landoop UI 中创建新的文件源连接器并配置属性,可在 Kafka Topics UI 查看结果。
重要细节: - 构建连接器的代码路径及相关命令,如
git clone https://github.com/Randhir123/kafka.git
、gradle
、./gradlew jar
等。 - 部署连接器的 docker-compose.yaml 文件内容及相关操作,如
docker-compose up kafka-cluster
等。 - 在 Landoop UI 中创建文件源连接器的配置细节,如
"connector.class": "org.apache.kafka.connect.file.MyFileStreamSourceConnector"
等。
注意:此用例仅用于教学,生产中有其他日志解决方案,如ELK、EFK、Splunk等。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。