Kafka TO Doris 保姆级入门详解

PowerData

以下文章来源于一臻数据，作者乙真仙人

[

一臻数据 .

一臻数据致力于大数据AI时代的前沿内容分享，欢迎大家投稿，共建共进❗️

](#)

导读本文主要分享如何快速将Kafka数据接入至Doris。

全文目录：

环境信息
Kafka介绍
Kafka安装部署
Routine Load介绍
Routine Load体验
Routine Load常见问题

环境信息

1. 硬件信息

CPU：4C
CPU架构：ARM
内存：8G
硬盘：66G SSD

2. 软件信息

VM镜像版本：CentOS-7
Apache Doris版本：2.0.2-rc05
Apache Kafka版本：3.2.0

Kafka介绍

Apache Kafka 是一个高效、可扩展的、高吞吐的、可容错的分布式发布订阅式的消息系统，能够将消息数据从一个端点传递到另一个端点，较之传统的消息中间件(例如 RocketMQ、RabbitMQ)，Kafka 具有高吞吐量、内置分区、支持消息副本和高容错的特性，非常适合大规模消息数据处理。

Kafka安装部署

1. Kafka下载

#根据自己scala版本和系统进行下载

2. Kafka初始化

修改kafka-server配置。

#修改kafka-server的配置文件

修改自带zookeeper配置，也可以自己另外部署zk不适用自带的zk。

vim config/zookeeper.properties

3. 启动Kafka和ZK

#启动ZK

4. 服务测试

① Topic测试。

#创建topic，使用 kafka-topics.sh 创建单分区单副本的 topic test01

② Producer测试。

#开一个窗，启动生产者

③ Consumer测试。

#开一个窗，启动消费者

Routine Load介绍

Routine Load适合Kafka直接实时写数据到Doris的场景；它支持用户提交一个常驻的导入任务，通过不断地从指定的数据源中读取数据，将数据导入到 Doris 中。

场景说明：

① Kafka To Doris可支持单表或多表导入

② Kafka数据直接同步至Doris对应表中，并可进行where数据筛选

③ 不适合硬删除的源数据，如果是硬删除建议转一次Flink改为软删除入Doris或其它方式处理

Routine Load体验

1. 创建Doris结果测试表

-- 创建测试库

2. 创建Routine Load任务**

CREATE ROUTINE LOAD routine_load.rl_test01 -- db.任务名，任务名可自定义

3. 查看Routine Load**

SHOW ROUTINE LOAD

4. 发送Kafka测试数据

./bin/kafka-console-producer.sh --broker-list doris:9092 --topic rl_test01

5. 查看Doris结果数据

select * from rl_test01

Routine Load常见问题

1. failed to get all partitions of kafka topic

异常详情：detailMessage = Failed to get all partitions of kafka topic: rl\_test01

可能原因：

机房访问不了本地host
kafka未提前设置自动创建topic，即topic不存在需要创建

2. current error rows is more than max error num

异常详情：ErrorReason{code=errCode = 102, msg=‘current error rows is more than max error num’}

原因：

max\_error\_number：默认为0导致，即不允许有错误行

3. host resolution failure

be.INFO异常详情：kafka error: Local: Host resolution failure, event: GroupCoordinator: kafka:9092: Failed to resolve 'kafka:9092': Name or service not known (after 8ms in state CONNECT)

原因：

be节点中未配置kafka集群host导致；无论FE还是BE都需要与Kafka集群保证网络互通，如果使用了host，则be节点也需要在/etc/hosts中配置相应的host

至此，《Kafka TO Doris 保姆级入门详解》分享结束，查阅过程中若遇到问题欢迎留言交流。

往期推荐

[

大数据平台开发规范示例

](http://mp.weixin.qq.com/s?__b...

[

Apache Doris 资源隔离详解

](http://mp.weixin.qq.com/s?__b...

[

Apache Doris IP变更问题详解