实践教程之如何将 PolarDB-X 与大数据等系统互通

本期实验将指导您使用PolarDB-X+Canal+ClickHouse搭建实时分析系统。

本期免费实验地址

本期教学视频地址

前置准备

假设已经根据前一讲内容完成了PolarDB-X的搭建部署,可以成功链接上PolarDB-X数据库。

部署Canal

Canal是一款流行的MySQL Binlog增量订阅工具,详情请参见Canal说明文档。

Canal提供了Docker镜像,详情请参见Canal Docker镜像文档。

(1) 执行如下命令,下载脚本。

wget https://raw.githubusercontent.com/alibaba/canal/master/docker/run.sh

(2) 执行如下命令,构建一个destination name为test的队列。

注意 :您需要将none_loopback_host_ip修改为云产品资源列表中的ECS的弹性IP,请勿使用localhost或127.0.0.1。

sh run.sh -e canal.auto.scan=false \
 -e canal.destinations=test \
 -e canal.instance.master.address=none_loopback_host_ip:8527 \
 -e canal.instance.dbUsername=polardbx_root \
 -e canal.instance.dbPassword=123456 \
 -e canal.instance.connectionCharset=UTF-8 \
 -e canal.instance.tsdb.enable=true \
 -e canal.instance.gtidon=false

部署ClickHouse

ClickHouse是一款分析系统,详情请参见ClickHouse官方文档。ClickHouse提供了Docker镜像,详情请参见ClickHouseDocker镜像文档。

执行如下命令,部署ClickHouse。

docker run -d --name some-clickhouse-server --ulimit nofile=262144:262144 -p 8123:8123 yandex/clickhouse-server

在PolarDB-X和ClickHouse中创建测试库和表

(1) 执行如下命令,登录PolarDB-X数据库。

mysql -h127.0.0.1 -P8527 -upolardbx_root -p123456

(2) 执行如下SQL语句,创建数据库

testdb。CREATE DATABASE testdb;

(3) 执行如下SQL语句,使用数据库

testdb。USE testdb;

(4) 执行如下SQL语句,创建test表。

CREATE TABLE test( id INT(11) AUTO_INCREMENT PRIMARY KEY, name CHAR(20) not null );

(5) 输入exit退出数据库。
(6) 执行如下命令,登录ClickHouse数据库。

docker run -it --rm --link some-clickhouse-server:clickhouse-server yandex/clickhouse-client --host clickhouse-server

(7) 执行如下SQL语句,创建数据库

testdb。CREATE DATABASE testdb;

(8) 执行如下SQL语句,使用数据库

testdb。USE testdb;

(9) 执行如下SQL语句,创建test表。

Create Table test(id INT(32),name CHAR(20)) Engine = MergeTree() Order By id;

(10) 输入exit退出数据库。

运行Canal Client消费并投递增量变更

经过以上步骤,您已经准备好了PolarDB-X、Canal Server和ClickHouse三个容器,并且在源端(PolarDB-X)和目标端(ClickHouse)建好了测试用的数据库和表。接下来我们通过Canal Client消费Canal Server获取的增量数据,并将源端DML中的Insert事件投递到ClickHouse中。

(1) 执行如下命令,使用yum安装JDK 1.8。

yum -y install java-1.8.0-openjdk*

(2) 执行如下命令,下载polardb-x-to-clickhouse-canal-client.jar投递代码文件。

wget https://labfileapp.oss-cn-hangzhou.aliyuncs.com/polardb-x-to-clickhouse-canal-client.jar

(3) 执行如下命令,运行polardb-x-to-clickhouse-canal-client.jar代码文件。

java -jar polardb-x-to-clickhouse-canal-client.jar

注意:请勿中断投递代码文件,否则会造成投递失败。

(4) 投递链路已成功打通,接下来您可以在源端(PolarDB-X)执行INSERT语句,并观察目标端(ClickHouse)中的数据变化。在实验页面,单击右上角的

图片

图标,创建新的终端窗口。

图片

(5) 在新的终端窗口中,执行如下命令,登录PolarDB-X数据库。

mysql -h127.0.0.1 -P8527 -upolardbx_root -p123456

(6) 执行如下SQL语句,使用数据库

testdb。USE testdb;

(7) 执行如下SQL语句,插入一条数据。

INSERT INTO test(name) values("polardb-x"), ("is"), ("awsome");

(8) 输入exit退出数据库。
(9) 执行如下命令,登录ClickHouse数据库。

docker run -it --rm --link some-clickhouse-server:clickhouse-server yandex/clickhouse-client --host clickhouse-server

(10) 执行如下SQL语句,使用数据库testdb。

USE testdb;

(11) 执行如下SQL语句,查询test表

SELECT * FROM test;

返回结果如下,您可以看到目标端(ClickHouse)接收到投递过来的数据。

图片

原文链接

本文为阿里云原创内容,未经允许不得转载。


阿里云栖号
汇集阿里技术精粹-yq.aliyun.com

阿里云官网内容平台!

27.6k 声望
35.6k 粉丝
0 条评论
推荐阅读
数禾科技 AI 模型服务 Serverless 容器化之旅
“使用阿里云容器服务 Knative 和 ECI 虚拟节点配合部署,在保证线上模型应对突发流量的稳定性大幅提升的同时,又使资源利用效率获得了显著的提高,极大的节约了资源成本。”

阿里云云栖号

花了几个月时间把 MySQL 重新巩固了一遍,梳理了一篇几万字 “超硬核” 的保姆式学习教程!(持续更新中~)
MySQL 是最流行的关系型数据库管理系统,在 WEB 应用方面 MySQL 是最好的 RDBMS(Relational Database Management System:关系数据库管理系统)应用软件之一。

民工哥11阅读 1k

封面图
一次偶然机会发现的MySQL“负优化”
今天要讲的这件事和上述的两个sql有关,是数年前遇到的一个关于MySQL查询性能的问题。主要是最近刷到了一些关于MySQL查询性能的文章,大部分文章中讲到的都只是一些常见的索引失效场合,于是我回想起了当初被那个...

骑牛上青山8阅读 2.2k评论 2

云计算再爆新热点,SnapStart解决Serverless冷启动问题
Amazon Lambda无服务器函数作为亚马逊云科技主推的云原生技术,是不折不扣的云原生第一梯队。Lambda无服务器函数自2014年由亚马逊云科技推出以来,被越来越多的云原生应用所使用,到目前为止已经累计关联了100余...

思否编辑部5阅读 16.4k

阿里云被曝 UI 抄袭,复刻 SkyWalking Trace Profiling 页面
2023 年 1 月 3 日,SkyWalking 官网发布消息,称阿里云抄袭了 SkyWalking Trace Profiling 整体页面 UI,包括页面布局、文字和分析任务设置,唯一的区别仅有颜色方案。

鸣飞5阅读 5.3k

程序员英语学习指南
动机为什么程序员要学习英语?工作:我们每天接触的代码都是英文的、包括很多技术文档也是英文的学习:最新最前沿的技术最开始都是只有English版本就业:学好英语让你的就业范围扩大到全球,而不只限于国内目标读...

九旬6阅读 612

又一款内存数据库横空出世,比 Redis 更强,性能直接飙升一倍!杀疯了
KeyDB是Redis的高性能分支,专注于多线程,内存效率和高吞吐量。除了多线程之外,KeyDB还具有仅在Redis Enterprise中可用的功能,例如Active Replication,FLASH存储支持以及一些根本不可用的功能,例如直接备份...

民工哥4阅读 646评论 1

封面图

阿里云官网内容平台!

27.6k 声望
35.6k 粉丝
宣传栏