KubeSphere 部署 TiDB 云原生分布式数据库

TiDB 是 PingCAP 公司自主研发的开源分布式关系型数据库 TiDB,为企业关键业务打造,具备「分布式强一致性事务、在线弹性水平扩展、故障自恢复的高可用、跨数据中心多活」等核心特性,助力企业最大化发挥数据价值,释放企业增长空间。

KubeSphere 是在 Kubernetes 之上构建的以应用为中心的多租户容器平台,完全开源,支持多云与多集群管理,提供全栈的 IT 自动化运维的能力,简化企业的 DevOps 工作流。KubeSphere 提供了运维友好的向导式操作界面,帮助企业快速构建一个强大和功能丰富的容器云平台。

本文将介绍如何在 KubeSphere 上部署 TiDB。

部署环境准备

KubeSphere 是由青云 QingCloud 开源的容器平台,支持在任何基础设施上安装部署。在青云公有云上支持一键部署 KubeSphere(QKE)。

下面以在青云云平台快速启用 KubeSphere 容器平台为例部署 TiDB 分布式数据库,至少需要准备 3 个可调度的 node 节点。你也可以在任何 Kubernetes 集群或 Linux 系统上安装 KubeSphere,可以点击【阅读原文】参考KubeSphere 官方文档。

1\. 登录青云控制台:https://console.qingcloud.com/,点击左侧容器平台,选择 KubeSphere,点击创建并选择合适的集群规格:

2\. 创建完成后登录到 KubeSphere 平台界面:

3\. 点击下方的 Web Kubectl 集群客户端命令行工具,连接到 Kubectl 命令行界面。执行以下命令安装 TiDB Operator CRD:

kubectl apply -f https://raw.githubusercontent.com/pingcap/tidb-operator/v1.1.6/manifests/crd.yaml

 4\. 执行后的返回结果如下:

5\. 点击左上角平台管理,选择访问控制,新建企业空间,这里命名为 dev-workspace

6\. 进入企业空间,选择应用仓库,添加一个 TiDB 的应用仓库:

7\. 将 PingCAP 官方 Helm 仓库添加到 KubeSphere 容器平台,Helm 仓库地址如下:

https://charts.pingcap.org

8\. 添加方式如下:

部署 TiDB-Operator

1\. 首选创建一个项目(namespace)用于运行 TiDB 集群:

2\. 创建完成后点击进入项目,选择应用,部署新应用:

3\. 选择来自应用模板:

4\. 选择 PingCAP,该仓库包含了多个 Helm Chart,当前主要部署 TiDB Operator 和TiDB Cluster。

5\. 点击TiDB Operator 进入 Chart 详情页,点击配置文件可查看或下载默认的 values.yaml,选择版本,点击部署:

6\. 配置应用名称并选择应用版本,确认应用部署位置:

7\. 继续下一步,该步骤可以在界面直接编辑 values.yaml 文件,自定义配置,当前保留默认即可:

8\. 点击部署,等待应用状态变为活跃:

9\. 点击工作负载(Deployment),查看TiDB Operator 部署了 2 个 Deployment 类型资源:

部署 TiDB-Cluster

1.TiDB Operator 部署完成后,可以继续部署TiDB Cluster。与部署TiDB Operator 操作相同,选择左侧应用,点击TiDB Cluster:

2\. 切换到配置文件,选择版本,下载 values.yaml 到本地: 

3\. TiDB Cluster 中部分组件需要持久存储卷,青云公有云平台提供了以下几种类型的 StorageClass:

/ # kubectl get sc
NAME                       PROVISIONER     RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
csi-high-capacity-legacy   csi-qingcloud   Delete          Immediate           true                   101m
csi-high-perf              csi-qingcloud   Delete          Immediate           true                   101m
csi-ssd-enterprise         csi-qingcloud   Delete          Immediate           true                   101m
csi-standard (default)     csi-qingcloud   Delete          Immediate           true                   101m
csi-super-high-perf        csi-qingcloud   Delete  

4\. 这里选择 csi-standard 类型,values.yaml 中的 StorageClassName 字段默认配置为 local-storage。因此,在下载的 yaml 文件中直接替换所有的 local-storage 字段为 csi-standard。在最后一步使用修改后的 values.yaml 覆盖应用配置文本框中的内容,当然也可以手动编辑配置文件逐个替换:

5\. 这里仅修改 storageClassName 字段用于引用外部持久存储,如果需要将TiDB、TiKV 或 PD 组件调度到独立节点,可参考 NodeAffinity 相关参数进行修改。点击部署,将TiDB Cluster 部署到容器平台,最终在应用列表中可以看到如下 2 个应用:

查看 TiDB 集群监控

1\. TiDB 集群部署后需要一定时间完成初始化,选择工作负载,查看 Deployment 无状态应用:

2\. 查看有状态副本集(StatefulSets),其中TiDB、TiKV 和 PD 等组件都为有状态应用:

3\. 在 KubeSphere 监控面板查看TiDB负载情况,可以看到 CPU、内存、网络流出速率有明显的变化:

4\. 在 KubeSphere 监控面板查看 TiKV 负载情况:

5\. 查看容器组(Pod)列表,TiDB集群包含了 3 个 PD、2 个TiDB以及 3 个 TiKV 组件:

6\. 点击存储管理,查看存储卷,其中 TiKV 和 PD 这 2 个组件使用了持久化存储:

7\. 查看某个存储卷用量信息,以 TiKV 为例,可以看到当前存储的存储容量和剩余容量等监控数据。

8\. 在 KubeSphere 项目首页查看TiDB Cluster 项目中资源用量排行:

访问 TiDB 集群

1\. 点击左侧服务,查看 TiDB 集群创建和暴露的服务信息。

2\. 其中 TiDB 服务 4000 端口绑定的服务类型为 NodePort,直接可以在集群外通过 nodeIP 访问。测试使用 MySQL 客户端连接数据库。

[root@k8s-master1 ~]# docker run -it --rm mysql bash


[root@0d7cf9d2173e:/# mysql -h 192.168.1.102 -P 32682 -u root    
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 201
Server version: 5.7.25-TiDB-v4.0.6 TiDB Server (Apache License 2.0) Community Edition, MySQL 5.7 compatible
 
Copyright (c) 2000, 2020, Oracle and/or its affiliates. All rights reserved.
 
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.


Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
 
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| INFORMATION_SCHEMA |
| METRICS_SCHEMA     |
| PERFORMANCE_SCHEMA |
| mysql              |
| test               |
+--------------------+
5 rows in set (0.01 sec)
 
mysql>

查看 Grafana 监控面板

另外,TiDB 自带了 Prometheus 和 Grafana,用于数据库集群的性能监控,可以看到 Grafana 界面的 Serivce 3000 端口同样绑定了 NodePort 端口。访问 Grafana UI,查看某个指标:

总结

KubeSphere 容器平台对于云原生应用部署非常友好,对于还不熟悉 Kubernetes 的应用开发者而又希望通过在界面简单配置完成 TiDB 集群的部署,可以参考以上步骤快速上手。我们将在下一期的文章中,为大家分享另一种部署玩法:将 TiDB 应用上架到 KubeSphere 应用商店实现真正的一键部署。

另外,TiDB 还可以结合 KubeSphere 的多集群联邦功能,部署 TiDB 应用时可一键分发 TiDB 不同的组件副本到不同基础设施环境的多个 Kubernetes 集群,实现跨集群、跨区域的高可用。如果大家感兴趣,我们将在后续的文章中为大家分享 TiDB 在 KubeSphere 实现多集群联邦的混合云部署架构。

阅读 291

推荐阅读

这里收集了各种 TiDB 踩坑经验,来自 TiDB User Group 成员的自发分享,enjoy!更多社区问答讨论可以登...

7 人关注
52 篇文章
专栏主页