DataSophon手动部署Doris操作指南

PowerData

以下文章来源于Apache Doris 补习班 ，作者刘寄文

[

Apache Doris 补习班 .

Apache Doris Active Contributor 和 SelectDB SA 来做的不定时更新，主打 Apache Doris 系列学习文章和相关信息、原理解析或者新特性使用教程，争取 All In 原创，欢迎投稿~

](#)

文章说明

本篇介绍利用DataSophon自动化部署、监控、运维、管理doris组件的操作指南。

DataSophon简介

DataSophon是个管理平台，致力于自动化监控、运维、管理大数据基础组件和节点的，帮助您快速构建起稳定，高效的大数据集群服务。主要特性有：

• 快速部署,可快速完成300个节点的大数据集群部署
• 兼容复杂环境,极少的依赖使其很容易适配各种复杂环境
• 监控指标全面丰富，基于生产实践展示用户最关心的监控指标
• 灵活便捷的告警服务，可实现用户自定义告警组和告警指标
• 可扩展性强，用户可通过配置的方式集成或升级大数据组件

官方文档链接：https://datasophon.github.io/...

环境准备

1. 网络要求

要求各机器各组件正常运行提供如下的网络端口配置：

组件

默认端口

说明

DDHApplicationServer

8081、2551、8586

8081为http server端口，2551为rpc通信端口，8586为jmx端口

WorkerApplicationServer

2552、9100、8585

2552 rpc通信端口，8585为jmx端口，9100为主机数据采集器端口

grafana

3000

http server端口

prometheus

9093

http server端口

Doris

18030、18040

FE 上的 http server 端口，BE 上的 http server 的端口

备注：datasophon默认配置18030、18040，避免与其它组件冲突，与doris默认的端口有区别。

2. 客户端浏览器要求

推荐 Chrome 以及使用 Chrome 内核的较新版本浏览器访问前端可视化操作面。

3. 关闭防火墙

    各主机防火墙需关闭。

4. 配置主机host

    大数据集群所有机器需配置主机host。

    配置主机名：hostnamectl set-hostname 主机名

    配置/etc/hosts文件

    主机名配置建议采用如下方式：

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4`::1 localhost localhost.localdomain localhost6 localhost6.localdomain6192.168.11.132 ddp1192.168.11.133 ddp2`192.168.11.131 ddp3

5. 免密登录配置

    部署机器中，DataSophon节点以及大数据服务主节点与从节点之间需免密登录。

    生成ssh 秘钥：ssh-keygen -m PEM -t rsa ，一路回车。

    执行 ssh-copy-id 目标主机。

    单机部署 本机也需要免密

6. 环境要求

    Jdk环境需安装。建议mysql版本为5.7.X，并关闭ssl。

7. 组件介绍

    DDHApplicationServer为API接口层即web后端，主要负责处理前端UI层的请求。该服务统一提供RESTful api向外部提供请求服务。

    WorkerApplicationServer负责执行DDHApplicationServer发送的指令，包括服务安装、启动、停止、重启等指令。

快速部署

1. 部署mysql

    注意需关闭mysql ssl功能。在部署过程中，部分组件会执行sql生成库表，不同环境的mysql在配置上存在差异，可根据sql执行情况，变更mysql配置。

2. 执行数据脚本

CREATE DATABASE IF NOT EXISTS datasophon DEFAULT CHARACTER SET utf8;`grant all privileges on . to datasophon@"%" identified by 'datasophon' with grant option;GRANT ALL PRIVILEGES ON . TO 'datasophon'@'%';FLUSH PRIVILEGES;`

执行datasophon-manager安装目录sql目录下datasophon.sql，创建数据表。

3. 下载DDP部署包

1. DDP部署包下载地址：

    链接：https://pan.baidu.com/s/1AA8u... 提取码:hnn0

    在DDP-1.1.1目录下可根据需要下载所需的包，部署doris需要下载以下包：

包名

说明

datasophon-manager-1.1.1.tar.gz

Datasophon server压缩包

datasophon-worker.tar.gz

Datasophon worker压缩包

alertmanager-0.23.0.tar.gz

alertmanager压缩包

grafana-9.1.6-arm.tar.gz

grafana压缩包

prometheus-2.17.2.tar.gz

prometheus压缩包

jdk-8u333-linux-x64.tar.gz

jdk压缩包

2. DDP-1.1.1暂时封装的doris为1.1.5，推荐使用官网的即将发布的doris1.2.6和doris2.0beta版本。

官方下载链接：https://doris.apache.org/zh-C...

3. 在/opt/datasophon目录下创建目录

mkdir -p /opt/datasophon/DDP/packages

    将下载的部署包上传到/opt/datasophon/DDP/packages目录下，作为项目部署包仓库地址。

4. 其中datasophon部署doris的包需要重新打包一次，添加两个状态检测脚本，在fe/bin/下和be/bin/分别添加status\_fe.sh和status\_be.sh状态检测脚本。注意压缩格式保持一致。可以去datasophon-manager-1.1.1/conf/meta/DDP-1.1.1/DORIS/目录下拷贝这两个脚本。

5. 将脚本放到相应目录后，需要对部署包名进行修改，操作步骤如下。此处的包名跟datasophon-manager-1.1.1/conf/meta/DDP-1.1.1/DORIS/service\_ddl.json里面的packageName需要保持一致，否则无法部署成功。

mv apache-doris-2.0.0-beta-bin-x86_64 doris-2.0.0

根据上述步骤对doris的部署包进行封装。

• 如果你之前已经部署好了Doris，需要将已经部署好的Doris添加进Datasophon平台里。可以通过在/opt/datasophon/目录下设置一个packageName的软链到已经部署好的Doris安装目录，同时也需要将两个检测脚本放置到对应的目录下。

部署DataSophon

1. 部署目录介绍

在安装目录下解压datasophon-manager-1.1.1.tar.gz，解压后可以看到如下安装目录：

bin：启动脚本git

conf ：配置文件

lib ：项目依赖的jar包

logs:项目日志存放目录

jmx：jmx插件

2. 修改配置

    1. 修改 conf 目录下的application.yml 配置文件中数据库链接配置：

spring: datasource: type: com.alibaba.druid.pool.DruidDataSource url: jdbc:mysql:ddp1:3306/datasophon?useUnicode=true&characterEncoding=utf-8 username: root password: ddp1 driver-class-name: com.mysql.jdbc.Driver

    2. 修改datasophon-manager-1.1.1/conf/meta/DDP-1.1.1/DORIS/service\_ddl.json，根据你部署doris的版本来配置。

"name": "DORIS", "label": "Doris", "description": "简单易用、高性能和统一的分析数据库", "version": "2.0.0", "sortNum": 20, "dependencies":[], "packageName": "doris-2.0.0.tar.gz", "decompressPackageName": "doris-2.0.0"

3. 启动服务

启动：sh bin/datasophon-api.sh start api`停止：sh bin/datasophon-api.sh stop api`重启：sh bin/datasophon-api.sh restart api

• 部署成功后，可以进行日志查看，日志统一存放于logs文件夹内:

logs/

├── ddh-api.log

├── ddh-api-error.log

|—— api-{hostname}.out

4. 访问页面

    访问前端页面地址,接口ip(自行修改) ，http://192.168.xx.xx:8081/ddh，默认用户名和密码为admin/admin123

创建集群

1. 依照官方文档中"使用手册" -> "创建集群"的步骤进行配置和点击，如果各个步骤有问题，可以到datasophon-manager-1.1.1/logs目录下查看日志，例如如下这类：

2. 部署完成grafana和promthues后，即可看到集群的监控信息

    备注：当云服务器的内网地址和公网地址不一致时，需要注意以下操作；如果一致，可以忽略该步骤。

当云服务器的内网地址和公网地址不一致时，需要对t_ddh_cluster_variable的进行修改.

3. 选择"服务管理" -> "添加doris"，将doris添加到管理页面。

4. 部署Doris完成后，将可以看到类似如下界面。如果在部署过程出现部署失败的情况，可以去datasophon-work/logs/目录下查看日志。

    备注：如果监控界面显示有问题，可以手动调整Prometheus/configs/doris.json配置文件，然后重启Prometheus后，页面就能显示正常。

小结

本篇介绍了Datasophon部署到添加Doris服务的全流程，按步骤执行即可在Datasophon自动部署Doris服务。如果在过程中遇到问题可以加我微信好友直接私聊我来协助你部署。

微信号：Ljw919666