ClickHouse整合kafka

使用Kafka表引擎作为数据管道用途的示意图

在上图中，整个拓扑分为三类角色：

1. 首先是Kafka数据表A，它充当的角色是一条数据管道，负责拉取Kafka中的数据。
2. 接着是另外一张任意引擎的数据表B，它充当的角色是面向终端用户的查询表，在生产环境中通常是MergeTree系列。
3. 最后，是一张物化视图C，它负责将表A的数据实时同步到表B。

现在用一个示例演示使用方法

• 数据库规划

queue_beijing_bs --数据管道数据库
query_beijing_bs --终端用户的查询数据库
view_beijing_bs --同步数据物化视图库

• 创建数据库

create database queue_beijing_bs on cluster ck_cluster
create database query_beijing_bs on cluster ck_cluster
create database view_beijing_bs on cluster ck_cluster

• 创建表

• 建Kafka引擎表

  首先新建一张Kafka引擎的表，让其充当数据管道

CREATE TABLE queue_beijing_bs.kafka_queue on cluster ck_cluster(
id String,
name String,
age String,
date String
)ENGINE = Kafka()
SETTINGS
    kafka_broker_list = 'server01:9092,server02:9092,server03:9092',--Broker服务的地址列表
    kafka_topic_list = 'WAYBILL',--订阅消息主题的名称列表
    kafka_group_name = 'chgroup',--消费组的名称
    kafka_format = 'JSONEachRow',--解析消息的数据格式
    kafka_skip_broken_messages = 100 --表引擎按照预定格式解析数据出现错误时，允许跳过失败的数据行数

• 建本地查询表

  新建一张面向终端用户的本地查询表，这里使用ReplicatedMergeTree表引擎

CREATE TABLE query_beijing_bs.waybill_local on cluster ck_cluster(
id Int32,
name String,
age Int16,
date date  
)ENGINE = ReplicatedMergeTree('/clickhouse/tables/{uuid}/waybill', '{replica}')
PARTITION BY date
ORDER BY id

• 建分布式查询表

CREATE TABLE query_beijing_bs.waybill_all ON CLUSTER ck_cluster(
id Int32,
name String,
age Int16,
date date
)ENGINE = Distributed(
ck_cluster, --clickhouse集群名称
query_beijing_bs, --数据库
waybill_local,--表
rand() --分片键
)

• 建物化视图表

CREATE MATERIALIZED VIEW view_beijing_bs.waybill_kafka_consumer ON CLUSTER ck_cluster TO query_beijing_bs.waybill_all
AS
SELECT
toInt32(id) id,
name,
toInt16(age),
toDate(`date`)
FROM queue_beijing_bs.kafka_queue