{代码...} {代码...} 测试prod资源池 {代码...} 测试users父级资源池 {代码...}

hdfs dfsadmin -report　　　　//打印info与工作状态 hdfs dfsadmin -safemode leave　　　　//退出安全模式 hdfs dfs -put file /　　　　//从宿主传文件至hdfs hdfs dfs -ls /　　　　//list hdfs /目录 hadoop distcp -i hftp://192.168.40.181:50070/data/hbase/tmp/hbase/data/default/t1 hdfs://192.168.40.116:80...

安装jmx-exporter {代码...} hdfs {代码...} {代码...} {代码...} {代码...} {代码...} yarn {代码...} {代码...} {代码...} {代码...} {代码...} prometheus.yml {代码...}

scala {代码...} {代码...} spark {代码...} spark配置文件 {代码...} spark-env.sh {代码...} spark-defaults.conf {代码...} slaves {代码...} 所有节点配置环境 {代码...} 同步所有spark节点配置文件在主节点启动master {代码...} 在备节点master {代码...} 测试 {代码...} 访问WebUI

集群规划 系统版本 主机名 IP 用途 CentOS-7.7 hadoop-test-1 192.168.233.65 namenode datanode DFSZKFailoverController hive hmaster resourcemanager NodeManager CentOS-7.7 hadoop-test-2 192.168.233.94 namenode datanode DFSZKFailoverController hmaster resourcemanager NodeManager CentOS-7.7 hadoop-test-...

所有机器执行 关闭防火墙 {代码...} 关闭selinux {代码...} 配置swappiness {代码...} 关闭透明大页面 {代码...} 文件句柄 {代码...} 时间服务器 {代码...} 基础软件 {代码...} JDK8 部署OpenJDK8

集群规划 系统版本 主机名 IP 用途 CentOS-7.7 hadoop-test-1 192.168.233.65 nn dn hive hmaster resourcemanager CentOS-7.7 hadoop-test-2 192.168.233.94 nn dn hmaster resourcemanager CentOS-7.7 hadoop-test-3 192.168.233.17 dn zk CentOS-7.7 hadoop-test-4 192.168.233.238 dn zk CentOS-7.7 hadoop-test-5 1...