全面升级！使用 Doris Manager 全方位可视化运维 Apache Doris（下）

PowerData

编者荐语：

来自PowerData苏奕嘉同学的文章

以下文章来源于Apache Doris 补习班 ，作者苏奕嘉

[

Apache Doris 补习班 .

Apache Doris Active Contributor 和 SelectDB SA 来做的不定时更新，主打 Apache Doris 系列学习文章和相关信息、原理解析或者新特性使用教程，争取 All In 原创，欢迎投稿~

](#)

引言

太难了，由于公众号单篇只能插入 10 个视频和 10MB 以内的 GIF，故此拆分为上下篇满足发布要求和整体观感完整度。

Manager 使用手册

监控告警

以上部分都完成后，即可愉快的开始可视化运维整个 Doris 集群了，在运维方向主要有两大块是运维者关注的重点：监控和告警

集群监控

Doris Manager 内部集成了 Grafana 和 Prometheus 组件，故此在监控界面是使用这两个组件作为内嵌展示工作的。

监控也划分为了节点监控和模块监控两种类型，比如 Host Mnitor 即为节点资源监控，Cluster Node 即为集群整体监控。

如 24.1.4 版本，已累计有 96 项监控图表来全面覆盖集群、节点以及进程的运行情况。

平时监控告警需要关注的系列有几方面：

• • 全局：CPU 利用率、内存空闲率、IO-Utils 负载率以及相应的曲线
• • 导入：Compaction Score、Compaction Base、Publish Task 及 Jobs 板块
• • 查询：CPU、内存、IO、FD 曲线及峰值
• • 存储：磁盘利用率、Tablet Num

<iframe class="video_iframe rich_pages" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&amp;action=mpvideo&amp;auto=0&amp;vid=wxv_3805093879121248260" data-mpvid="wxv_3805093879121248260" data-vidtype="2" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fsz_mmbiz_jpg%2FCTs9IbbY3Yrial31e2w9jxvEgyw0y3vhwPTGvOQnXCwyvXAFKTSEsFCSavQtiaf2ibqt08em86Vl98b0KDgpxAaww%2F0%3Fwx_fmt%3Djpeg" data-ratio="1.5944444444444446" data-w="1148"></iframe>

如 Compaction Score 若一直上涨处于 2000 附近（默认值 2000），则意味着磁盘 Compaction 线程数需要调整或者降低导入提交频次，否则可能会有 [-235] 导入错误。

定制告警

有了监控，如果出现异常，则需有告警能力来帮我们快速通知和响应，在 Manager 的响应模块已具备较为完整的告警策略和通知，总体划为五类，分别如下：

• • Cluster Overview（集群总览相关）
• • Host Monitor（节点资源监控）
• • Query Statistic（查询状态相关）
• • Jobs（导入任务系列）
• • Transaction（Txn 相关）

<iframe class="video_iframe rich_pages" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&amp;action=mpvideo&amp;auto=0&amp;vid=wxv_3805093383925055489" data-mpvid="wxv_3805093383925055489" data-vidtype="2" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fsz_mmbiz_jpg%2FCTs9IbbY3Yrial31e2w9jxvEgyw0y3vhwcZpNLpmqClmDAEwDDCKD9LfzED97QQZPn77CQrpNkbnxKV7WsVVOUw%2F0%3Fwx_fmt%3Djpeg"></iframe>

同时还可以设置告警等级、通知方式等内容，现在支持了主流的企业级 IM 通讯工具，也提供了 WebHook 能力来满足更加个性化通知能力，比如接入云商拨号服务、企业自研 IM 机器人告警、其他管控告警平台等。

日志和审计

日志和审计都是为了更好管理以及排查整个集群的运行情况，无需再登录至 Shell 窗口用 Linux 命令进行文件查找，如有异常报错、集群异常状态等情况，可通过节点服务日志和任务审计操作来排查相应问题。

节点日志

在日志界面可选择查看的 FE 节点或者 BE 节点，然后选择要查看的日志文件，同时可通过筛选栏目条填写要查看的关键词，来快速检索日志内容。

<iframe class="video_iframe rich_pages" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&amp;action=mpvideo&amp;auto=0&amp;vid=wxv_3805092814405681160" data-mpvid="wxv_3805092814405681160" data-vidtype="2" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fsz_mmbiz_jpg%2FCTs9IbbY3Yrial31e2w9jxvEgyw0y3vhwrufaWcJMWGKSdmPv9hAdibQ3nUX0CWOAKgINo3GrvolseBSPGDibAYbA%2F0%3Fwx_fmt%3Djpeg"></iframe>

审计任务

审计栏目记录了所有针对集群的敏感操作，如升级、扩缩容、重启等关键操作，若由于操作导致的集群异常情况，可从该栏目发现和查找相应的敏感操作。

<iframe class="video_iframe rich_pages" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&amp;action=mpvideo&amp;auto=0&amp;vid=wxv_3805198322591989762" data-mpvid="wxv_3805198322591989762" data-vidtype="2" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fsz_mmbiz_jpg%2FCTs9IbbY3Yrial31e2w9jxvEgyw0y3vhwEaIBh6QQCCTLJSz1dmKib7yia0JckUQGh0jOjh7T211zFicvmygAlpq7g%2F0%3Fwx_fmt%3Djpeg"></iframe>

集群巡检

集群巡检能力是 Manager 为保证 Doris 有一个正常、稳定的基础运行环境所设计的能力。

可立即巡检以及设置定期巡检，防止一段时间内有机器环境的误操作导致 Doris 基础环境参数发生变化引起异常。

当前所有的巡检项都是针对节点环境做优化设置，同时 Manager 已经在设计和研发更加完善的巡检内容，如 Table Properties、Tablet Num、Bucket Num、日常负载评估、峰值压力评估、集群健康评分等，并在巡检后给出 PDF 等全方位的检测报告，该模块能力完善敬请期待~

在定期巡检和立即巡检后，即可通过文字提示来按步骤操作完成异常项的调整修复，若非警告项，仅为提示项，则可以视情况做调整，非必须项。

<iframe class="video_iframe rich_pages" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&amp;action=mpvideo&amp;auto=0&amp;vid=wxv_3805091331786096640" data-mpvid="wxv_3805091331786096640" data-vidtype="2" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fsz_mmbiz_jpg%2FCTs9IbbY3Yrial31e2w9jxvEgyw0y3vhwxCGdY24EtibIzrOQO7SFyibRlVycoQFCiaKYoWmZSj0n7DJshicSIrtpdw%2F0%3Fwx_fmt%3Djpeg"></iframe>

小结

下一篇《原生开发！使用 Doris WebUI 全方位可视化开发 Apache Doris》将着重讲述 Manager WebUI 工具的强大和丝滑，仅需一个 Web 浏览器，即可快速开发 Apache Doris 任务，甚至可以做类似 Kibana 界面的日志检索、WorkLoad Group 的多租户资源隔离划分以及角色和用户权限的可视化赋权。

好了，看到这里了，不得来个点赞和在看呀！这是最大的更新动力！也欢迎各位火爆转发！

如果你有加 Apache Doris 官方社区、PowerData 官方社区、Doris 补习班社区的诉求，可加我微信即刻拉你~

公众号：Apache Doris 补习班

B站号：ApacheDoris补习班

个人微信：fl\_manyi

我们下篇见~