PowerData

编者荐语:

来自PowerData苏奕嘉同学的文章

以下文章来源于Apache Doris 补习班 ,作者苏奕嘉

[

Apache Doris 补习班 .

Apache Doris Active Contributor 和 SelectDB SA 来做的不定时更新,主打 Apache Doris 系列学习文章和相关信息、原理解析或者新特性使用教程,争取 All In 原创,欢迎投稿~

](#)

引言

很多非运维出身或者没有运维经验的同学,在 Apache Doris 的应用过程中,经常苦恼一件事:

如何简单易用的可视化部署、运维、升级、监控整个 Apache Doris 集群?

因为真的再也不想使用 Shell 终端命令窗口进行各类 Linux 命令的交互了,不单考验肌肉记忆,还容易一个命令引发提桶事件导致失业,那怎样的工具才能完整满足上述的各类要求呢?

那么,SelectDB 团队历时两年并持续打造的 Doris Manager 工具,一定是解决你心头之痛的最佳方案!

Doris Manager 介绍

<iframe class="video_iframe rich_pages" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&amp;action=mpvideo&amp;auto=0&amp;vid=wxv_3805090083846324227" data-mpvid="wxv_3805090083846324227" data-vidtype="2" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fsz_mmbiz_jpg%2FCTs9IbbY3Yrial31e2w9jxvEgyw0y3vhwesbKnLR1Gv3qn0cvlzE006DpD8oFDWpIOz0hG5CCMYkskBriaAb1mpQ%2F0%3Fwx_fmt%3Djpeg"></iframe>

Cluster Manager for Apache Doris(以下简称 Doris Manager)提供的主要功能如下:

  • • 部署集群 :通过 Doris Manager 在物理机、虚拟机部署 Apache Doris 或 SelectDB Doris 集群。
  • • 接管集群 :将现有的 Apache Doris 或 SelectDB Doris 集群接管到 Doris Manager 进行运维、监控。
  • • 集群详情 :查看集群的运行状态、详情、连接信息。
  • • 集群扩缩 :对 FE、BE 节点进行扩容、缩容。
  • • 集群升级 :对集群版本进行升级,提供全量停服升级和在线滚动升级,可根据业务场景选择适合的升级方式。
  • • 集群重启 :对整个集群、FE、BE 以及节点进行重启操作,重启集群支持滚动和全量重启。
  • • 节点详情 :查看节点的实时状态以及机器信息。
  • • 参数配置 :支持节点自定义编辑配置文件,单个节点支持查看所有的运行参数。
  • • 监控告警 :查看监控指标、设置告警规则,并支持通过邮件、聊天软件、Webhook 等方式进行告警通知。
  • • 日志查看 :支持查看、查询 FE、BE 各节点的日志,方便离线排查集群问题。
  • • 任务审计 :支持查看每个任务的详细信息,包括操作时间、操作人、操作内容等信息。
  • • 集群巡检 :支持手动或定期一键检查机器状况、集群运行状态,及时发现并定位性能瓶颈,并提供修复建议。
  • • WebUI :支持查看数据库中的数据以及其信息,还可以进行 SQL 查询、数据导入、权限管理等操作。
  • • 其他 :修改集群 root 用户、admin 用户的密码,停止接管集群等。

可以看到,基本上所有运维相关的操作,都已内置化至 Doris Manager 中使用可视化能力完成统一整体构建了,无需再每次到机器上执行 Linux 命令完成各项运维操作。

Manager 安装部署

先来看看如何给集群快速部署一套 Manager 管控平台。

本文使用软件版本如下:

Manager 版本演示将从 v24.1.2 -> v24.1.4

其中 Manager 部分功能将使用 v24.2.0 的预览版演示

Doris 版本将从 2.1.6 -> 2.1.7

架构说明

Manager 分为 23.x 版本和 24.x 版本,前者主要依据 SSH 免密通信来作为节点间数据传递和集群管理的方式,但在实际应用过程中,大量的企业由于安全合规等要求,无法满足给管控平台直接赋权 SSH 免密能力,故此 SelectDB 团队又设计了一套 SA(Server-Agent)模式的架构来满足各种环境下的部署能力。

SA 模式的架构普适性很强,建议大家选择版本时选择 24.x 版本,本文也将基于该版本做全面演示。

下载安装

Doris Manager 根据不同的 CPU 架构,分为了 x64 安装包和 arm 安装包,可在 SelectDB 官网,按需下载。

<iframe class="video_iframe rich_pages" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&amp;action=mpvideo&amp;auto=0&amp;vid=wxv_3805087206637780994" data-mpvid="wxv_3805087206637780994" data-vidtype="2" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fsz_mmbiz_jpg%2FCTs9IbbY3Yrial31e2w9jxvEgyw0y3vhwl8f0v78cQx8E4DlqLaQ5cMlIeSuCYwKic3eLGpB0DI893dGz2Fu6jVw%2F0%3Fwx_fmt%3Djpeg"></iframe>

本篇演示我们部署截止发稿前最新的 x64 架构下的 24.x 版本 24.1.4

下载链接:

https://selectdb-doris-1308700295.cos.ap-beijing.myqcloud.com/doris-manager/release/24.1.4/doris-manager-24.1.4-x64-bin.tar.gz

Manager 初始化

下载并解压缩安装包

<iframe class="video_iframe rich_pages" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&amp;action=mpvideo&amp;auto=0&amp;vid=wxv_3805086566452740096" data-mpvid="wxv_3805086566452740096" data-vidtype="2" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fsz_mmbiz_jpg%2FCTs9IbbY3Yrial31e2w9jxvEgyw0y3vhwxJKwSFKsfpvuPeicdichy7aeX1CnGqwh8T73aeCttZ9VGUOicMSpGqYLw%2F0%3Fwx_fmt%3Djpeg"></iframe>

# 创建下载目录和安装目录 mkdir {software,installed} # 进入下载目录 cd software # 下载二进制包 wget https://selectdb-doris-1308700295.cos.ap-beijing.myqcloud.com/doris-manager/release/24.1.4/doris-manager-24.1.4-x64-bin.tar.gz # 进入安装目录 cd ../installed # 解压缩二进制包 tar -zxvf ../software/doris-manager-24.1.4-x64-bin.tar.gz

[可选] 配置 Manager Conf 文件

Manager 元数据管理可选三种数据库完成:H2(默认)、MySQL、PostgreSQL

为整体文档流程不过与复杂,本篇选择 H2 数据库做元数据持久化,若要生产环境使用,建议参照官方文档使用 MySQL 或 PostgreSQL 数据库作为持久化存储介质。

Manager Conf 文件目录

./installed/doris-manager-24.1.4-x64-bin/webserver/conf/manager.conf

启动 WebServer

# 进入 WebServer 服务 bin 目录 cd webserver/bin # 启动 WebServer 服务 ./start.sh

浏览器访问 Manager 界面

默认端口:8004

登录并创建 Manager 平台的管理员账户和密码。

请注意,该账户密码仅适用于管理 Doris Manager 平台,并非 Doris 数据库的账户名和密码!

<iframe class="video_iframe rich_pages" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&amp;action=mpvideo&amp;auto=0&amp;vid=wxv_3805085309704683522" data-mpvid="wxv_3805085309704683522" data-vidtype="2" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fsz_mmbiz_jpg%2FCTs9IbbY3Yrial31e2w9jxvEgyw0y3vhwicbSAXGPtnDHMwxLpdRWuGiaFiaphql1PBMNBfXsZjos0gbwoLNjFNgtg%2F0%3Fwx_fmt%3Djpeg"></iframe>

配置服务项

在 Doris Manager 中,内置自带了三个服务项:Grafana、Prometheus、Alertmanager

三个服务项分别负责监控图形化展示、指标获取和管控命令处理,一般而言若无特殊需要,直接默认端口配置即可

而邮件警告项可以先行关闭,到后续有需要时再打开设置配置即可

这里需要注意的是安装包的配置设置:

安装包配置路径指的是每次升级 Doris 或者 Manager 时,二进制安装包的存放路径,将安装包放置该路径下,就可直接在页面可视化检索到该版本进行升级操作。

同时需要注意,安装包的配置路径必须是启动 Manager 服务时用户有权限的路径,最好预创建好,否则后续容易产生权限问题。

部署完成

部署成功后,可进入 Doris Manager 开始玩耍 Manager 了。

Manager 使用手册

下面篇章将会着重说明在一些主要功能点的使用方式,以及注意事项,可以更加清晰的了解在运维或开发过程中关键步骤的使用或功能实现方案。

新建集群/托管集群

从 Doris Manager 24.2.0 开始,Manager 将支持 Doris 3.0 版本开始的存算分离版本的部署,由于 24.2.x 版本还未发布,故此只做简单演示,不做完整流程描述

演示版本:24.2.0-预览版

<iframe class="video_iframe rich_pages" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&amp;action=mpvideo&amp;auto=0&amp;vid=wxv_3805083190524657667" data-mpvid="wxv_3805083190524657667" data-vidtype="2" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fsz_mmbiz_jpg%2FCTs9IbbY3Yrial31e2w9jxvEgyw0y3vhwFNviaoWj3BKtHOkAiaWLRvG6wibW7NIfstf4DvVaQkQMJ5Fm3Xd8R15jg%2F0%3Fwx_fmt%3Djpeg"></iframe>

新建集群

演示版本:Manager 24.1.4、Doris 2.1.7

下载 Doris 二进制安装包至预创建的指定目录下

# 进入设置的 Doirs 安装包配置目录 cd ./software/doris # 下载 2.1.7 二进制包 wget https://qa-build.oss-cn-beijing.aliyuncs.com/enterprise-doris-release-output/selectdb-doris-2.1.7.1-bin-x64.tar.gz

环境及 Agent 配置

在环境信息填写界面,主要是填写集群名称、选择部署版本、设置 Root 用户的密码三件事,在这里需要注意的是,后续 Root 用户密码将会改为设置 Admin 用户密码,Root 用户将不再被开放给开发用户使用,最高管理开发权限的账号将是 admin 用户。

<iframe class="video_iframe rich_pages" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&amp;action=mpvideo&amp;auto=0&amp;vid=wxv_3805082580823769096" data-mpvid="wxv_3805082580823769096" data-vidtype="2" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fsz_mmbiz_jpg%2FCTs9IbbY3Yrial31e2w9jxvEgyw0y3vhwXwbMVia7tLqAJ2bnviaIz9GYypTsiaoOy1WHJDD6yfYzTTuRuOHfxZic6w%2F0%3Fwx_fmt%3Djpeg" data-ratio="1.5944444444444446" data-w="1148"></iframe>

Agent 是各个主机节点通讯的主要组件,故此在初始化集群环境时,必须先行处理好 Agent 的安装。

自 Manager 24.1.4 版本起,基础及必须的环境变量的修改和 Agent 组件的安装运行,都有相应的命令和脚本可一键执行,无需再手动调整,执行完成后只需刷新 Agent 状态即可完成调整,但需注意,部分环境变量需重启节点后生效。

<iframe class="video_iframe rich_pages" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&amp;action=mpvideo&amp;auto=0&amp;vid=wxv_3805080977710481412" data-mpvid="wxv_3805080977710481412" data-vidtype="2" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fsz_mmbiz_jpg%2FCTs9IbbY3Yrial31e2w9jxvEgyw0y3vhwNiaMOJJAibDDib32dtX2Ch6LXkQIvnRy4BXksrFyXzlsvH6EOM4uxYn4g%2F0%3Fwx_fmt%3Djpeg" data-ratio="1.5944444444444446" data-w="1148"></iframe>

FE/BE 配置

在配置界面主要有两项需要关心的地方:

  • • 为保证集群管理统一化,建议使用公共参数调整所有节点的 Meta、Storage、Log 等关键数据存储目录,以及各项端口
  • • 指定目录需要配有权限,否则可能后续执行脚本会异常失败

请注意,这里能部署的节点,取决于上一步 Agent 安装的节点范围,本次演示只演示部署单节点,若有多节点部署需求,请在上一步骤完成 Agent 节点部署工作。

如遇 BE 部署时环境变量问题,可根据提示做相应调整,然后重启 Agent 即可解决。

<iframe class="video_iframe rich_pages" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&amp;action=mpvideo&amp;auto=0&amp;vid=wxv_3805080348547923975" data-mpvid="wxv_3805080348547923975" data-vidtype="2" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fsz_mmbiz_jpg%2FCTs9IbbY3Yrial31e2w9jxvEgyw0y3vhw5ASoibLW2jcKiarudwY7iaUhjsrL9Q2WfpFfLrB7LIzBh2r4TMwQ8ClzA%2F0%3Fwx_fmt%3Djpeg" data-ratio="1.5944444444444446" data-w="1148"></iframe>

请注意,最后步骤有配置集群自动拉起表名查询大小写敏感的设置。

前者强烈建议打开,后者请按需谨慎选择,因为该配置仅在集群初始化时可设置,后续无法更改!

进入集群

接管集群

若已有 Doris 集群,希望使用 Doris Manager 管控,可使用接管功能完成集群变更。

同样,若未部署 Agent,执行步骤中会提示相应的处理办法,按照提示完成修改即可。

<iframe class="video_iframe rich_pages" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&amp;action=mpvideo&amp;auto=0&amp;vid=wxv_3805079160452743178" data-mpvid="wxv_3805079160452743178" data-vidtype="2" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fsz_mmbiz_jpg%2FCTs9IbbY3Yrial31e2w9jxvEgyw0y3vhwqGWibn7kuIoowlxSa6kSOiaFgA2Wv16uwict50Q5nyN3CIgOqDa1HSpVA%2F0%3Fwx_fmt%3Djpeg" data-ratio="1.5944444444444446" data-w="1148"></iframe>

升级组件

演示版本:

Manager 24.1.2 -> 24.1.4

Doris 2.1.6 -> 2.1.7

升级 Doris

下载新版本二进制包

# 进入配置好的 Doris 安装目录,若忘记可在设置中找到目录 cd /opt/downloads/doris # 下载 Doris 2.1.7 安装包 wget https://qa-build.oss-cn-beijing.aliyuncs.com/enterprise-doris-release-output/selectdb-doris-2.1.7.1-bin-x64.tar.gz

升级集群

集群升级需要经过以下几个关键步骤:

  • • 确定全量升级还是滚动升级(一般滚动升级),若有备份回滚需求,可选择全量升级
  • • 升级动作前环境检查,哪个节点有怎样的异常,按说明执行即可处理,处理后重新检查通过即可
  • • 升级过程中可选择滚动升级全部,或手动一个节点一个节点确认,若中间有异常可立马暂停升级动作

<iframe class="video_iframe rich_pages" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&amp;action=mpvideo&amp;auto=0&amp;vid=wxv_3805094886911361025" data-mpvid="wxv_3805094886911361025" data-vidtype="2" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fsz_mmbiz_jpg%2FCTs9IbbY3Yrial31e2w9jxvEgyw0y3vhwurb8lVYeRy3Wdia5boxveDXMMSJeDVnxuF3fppUe7Xp9qQUK6m6GH1A%2F0%3Fwx_fmt%3Djpeg" data-ratio="1.5944444444444446" data-w="1148"></iframe>

升级 Manager

下载新版本二进制包

# 进入配置好的 Manager 安装目录,若忘记可在设置中找到目录 cd /opt/downloads/doris_manager # 下载 Manager 24.1.4 安装包 wget https://selectdb-doris-1308700295.cos.ap-beijing.myqcloud.com/doris-manager/release/24.1.4/doris-manager-24.1.4-x64-bin.tar.gz

升级 Manager

点击左下角的管控用户名,然后选择 Manager 版本号,再选择要升级的版本即可(操作太快了忘了录制 24.1.2 -> 24.1.4 的动图了,所以只能抱歉给大家演示一下步骤)

小结

本篇写的非常不易,差不多花了一周的工作之余时间来做梳理和GIF制作,结果 GIF 做了以后由于文件太大无法直接插入到公众号,无奈又再逐一将 GIF 转为视频 - -||

本篇由于公众号规则问题,无法一次性展示完毕,下一篇将会把监控告警等部分也补充完整,可移步至下篇~

好了,看到这里了,不得来个点赞在看呀!这是最大的更新动力!也欢迎各位火爆转发

如果你有加 Apache Doris 官方社区、PowerData 官方社区、Doris 补习班社区的诉求,可加我微信即刻拉你~

公众号:Apache Doris 补习班

B站号:ApacheDoris补习班

个人微信:fl\_manyi

我们下篇见~


PowerData
1 声望2 粉丝

PowerData社区官方思否账号