编者荐语:
来自PowerData张彬华同学的Doris优秀工具推荐好文~!
以下文章来源于一臻数据 ,作者乙真仙人
[
一臻数据 .
一臻数据致力于大数据AI时代的前沿内容分享,欢迎大家投稿,共建共进❗️
](#)
导读 本文主要分享官方运维管理平台Cluster Manager for Apache Doris的体验总结。
全文目录:
- 标准化 VS 可视化运维管理
- 环境信息
- 前置准备
- 集群初始化
- 集群升级
- 集群扩缩容
- 多集群管理
- 总结
标准化 VS 可视化运维管理
标准化运维管理,首先得自己手动在集群的每台节点上去分发包、并解压;然后分别对FE和BE进行配置初始化(FE主要修改IP和JAVA目录,BE主要修改IP、JAVA目录和存储路径配置)。
做完上面的包分发及配置初始化后,还需分别到对应节点去启动FE、BE和Broker进程,如果节点较多需要考虑写脚本分发命令或借助外部运维平台简化。其中BE和Broker可以直接把进程全部拉起,然后通过Client逐个Add加入集群即可,但FE集群有类似Zookeeper的选举机制,所以非第一个FE节点第一次启动时、还得注意加–helper命令。
初始化完集群后,如果想做可视化监控得另外集成Prometheus和Grafana,如果要做告警管理可能还得另外部署夜莺N9E。这一套组合拳下来,运维管理体系算是基本完成了,但是天都夜màma了。
可视化运维管理(Cluster Manager for Apache Doris,简称 Doris Manager,再简称 Manager),它让使用者有了更多的时间钓鱼、消化饼 and 早点回家。
Manager能够快速拉起一套又一套的Doris/SelectDB集群,集成了监控告警、集群巡检和WebUI等模块,提供了集群启停、扩缩容和升级等常规运维操作可视化的快捷入口,能够极大地提高运维管理效率,且使用起来也非常顺畅。
接下来一起来纵享Manager的丝滑体验吧!
环境信息
1. 硬件信息
- 内存:256G
- CPU:48C
- CPU架构:X86\_64
2. 软件信息
- Doris版本:2.0.2
- SelectDB版本:2.0.2
- Manager版本:23.10.3
- 系统:CentOS
前置准备
官方专项微信群公告中应有尽有,还没有进群的小伙伴们可私信公众号拉你!
1. 安装包准备
(1)Manager下载地址:
https://selectdb-doris-130870...
(2)Doris/SelectDB下载地址
2. 文档手册准备
(1)部署手册:
https://selectdb.feishu.cn/do...\_copylin
(2)使用指南:
https://selectdb.feishu.cn/do...\_copylin
(3)FAQ文档:
https://selectdb.feishu.cn/do...\_copylink
(4)WebUI文档:
https://cn.selectdb.com/docs/...
(5)问题收集与反馈:
https://selectdb.feishu.cn/sh...
集群初始化
1. 系统参数预设
① 交换分区(swap)未关闭,请打开终端窗口, 输入以下命令以禁用交换分区:
sudo swapoff -a
② 最大打开文件数小于65535,请打开终端窗口,输入以下命令:
sudo vim /etc/security/limits.conf
③ 虚拟内存区域数量不符合要求,请打开终端窗口,输入以下命令:
sudo sysctl -w vm.max_map_count=2000000
④ 机器时钟一致
各节点之间的时差默认需要小于5秒。
2. Manager部署
① 创建一个Manager目录
mkdir manager
② 上传准备的Manager和SelectDB包
③ 解压Manager包
tar -zxvf doris-manager-23.10.3-x64-bin.tar.gz
Manager安装目录说明。
deps // Doris Manager 管控依赖组件
④ 配置web服务(可选)
不配置时,默认会将web服务的元数据存放在一个h2内置小数据库。
vim webserver/conf/manager.conf
manager.conf 如下:
# Doris Manager Web服务组件监听的端口
⑤ 启动web服务
sh ./webserver/bin/start.sh
由于本次是用Mysql作为Manager元数据库,当服务正常启动后、对应的DB下也会自动初始化相关表。
同时会起相应的进程doris-manager.jar。
⑥ 访问web服务
直接通过浏览器输入URL——http://{Web服务机器IP}:{Web服务端口},比如http://127.0.0.0:8004
⑦ 初始化Manager管理员账号密码
⑧ 配置服务组件部署信息
根据自己环境填写,如果暂时用不到监控告警模块可以选择[关闭];填写后点击【启动Doris Manager】。当前没有开启监控告警服务,后续可以重新打开。
⑨ 部署服务组件
点击【启动Doris Manager】后 ,提示正在启动 Doris Manager。
启动成功后,提示用户进入 Doris Manager,即Managerbu部署完成 :
3. 新集群部署
① 新建集群
填写自定义的集群名称、选择部署版本(会根据填写的包路径自动识别)以及数据库root用户密码后,点击【下一步】。
② 节点配置
根据集群节点信息填写后点击【部署集群】即可。
③ 开始部署
部署成功后,提示用户进入集群:
进入集群,如下所示,即新集群部署完成:
4. 监控告警
由于Manager部署流程中关闭了监控告警服务、故不会在左侧栏显示监控告警的入口,如下可重新开启监控告警。
(1)监控
Manager 监控模块集成了丰富的监控指标,相较于自己搭建Prometheus和Grafana去做监控指标可视化,大开方便之门。
(2)告警
Manager 告警模块支持邮箱、企业微信、飞书和钉钉群等方式发送告警通知,不会让你错过任何一条异常告警信息,非常贴心。
至此,集群初始化完成。通过Manager来体验下常用的集群升级、集群扩所容以及多集群管理场景吧。
集群升级
1. 新包准备
准备好新版本的包与之前的包放在同一级目录下。
2. 一键升级
Manager中选择【集群升级】。
选择目标版本,这里用的是SelectDB 2.0.3 rc04作为升级的目标版本,之后直接点点即可。
3. 升级验收
点击右上角可查看当前的版本,核验无误【立即验收】。
集群扩所容
1. 一键扩容
以BE为例,选择【BE扩容】。
可以单独扩容一个节点、也可以选择【批量添加节点】,之后直接点点即可。
扩容结果查看。
2. 一键缩容
以刚刚扩容的BE为例,选择【BE缩容】。
确定需要下线缩容的BE节点【选择下线】,之后直接点点即可。
缩容结果查看。
多集群管理
Manager支持同时管理多套集群。在已有一套集群的情况下,可以继续新建集群或者接管现有集群。本次以接管集群为例,接管现有的Doris 2.0.2集群。
1. 新建/接管集群
2. 环境配置
自定义集群名称,选择【接管现有集群】。
3. 节点配置
填写FE的IP/HTTP端口/JDBC端口以及节点用户名/密码/SSH端口后,Manager会自动识别待接管集群的FE和BE节点信息。
之后直接点【接管集群】即可自动接管完成。
总结
一个字总结:丝滑!
两个字总结:极致丝滑!!
至此,【Apache Doris】Manager 极致丝滑地运维管理 分享结束,查阅过程中若遇到问题欢迎留言交流。**
往期推荐
[
大数据平台开发规范示例
](http://mp.weixin.qq.com/s?__b...
[
Kafka TO Doris 保姆级入门详解
](http://mp.weixin.qq.com/s?__b...
[
【Apache Doris】审计日志插件 | 快速体验
](http://mp.weixin.qq.com/s?__b...
[
Apache Doris 资源隔离详解
](http://mp.weixin.qq.com/s?__b...
[
Apache Doris IP变更问题详解
](http://mp.weixin.qq.com/s?__b...
[
ChatGPT快速入门
](http://mp.weixin.qq.com/s?__b...
[
如何正确地使用ChatGPT(角色扮演+提示工程)
](http://mp.weixin.qq.com/s?__b...
[
AIGC快速入门体验之虚拟对象
](http://mp.weixin.qq.com/s?__b...
[](http://mp.weixin.qq.com/s?__b...
[](http://mp.weixin.qq.com/s?__b...
超强满血不收费的AI绘图教程来了(在线Stable Diffusion一键即用)
我们是由一群数据从业人员,因为热爱凝聚在一起,以开源精神为基础,组成的PowerData数据之力社区。
如果你也想要加入学习,可关注下方公众号后点击“加入我们”,与PowerData一起成长!
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。