在虚拟机中启动spark或hdfs时都报错ssh: connect to host cda port 22: Network is unreachable

典型的Master/Slave架构HDFS的架构是典型的Master/Slave结构HDFS集群往往是一个NameNode+多个DataNode组成NameNode是集群的主节点, DataNode是集群的从节点

NameNode(nn): 存储文件的元数据. 比如文件名, 文件目录结构, 文件属性(生成时间, 副本数, 文件权限), 以及每个文件的块列表和块所在的DataNode等

[链接]在如题如示的1045解决后,可能还会报错2003, 所以需要重启mysql服务

Mac VMware Fusion CentOS7配置静态IP这个文章写得很全面

在idea创建maven工程,运行程序时报错Error:java:error:release version 5 not supportedError:java:Source option 5 is no longer supported.Use 6 or later出现上述两个问题都是某个地方配置的时候版本选错了. 按照下述步骤一一 排查即可

思想介绍 {代码...} {代码...} 代码演示LifeServlet {代码...} 配置web.xml {代码...}

原因是: 每次开机都需要再次格式化NameNode执行语句hadoop namenode -format再重新start-all.sh就可以了

首先下载安装jdk8官网下载JDK8我的电脑上原本有JDK11, 但是hadoop对于JDK9以上的配置对于我这个新手太不友好了, 加上远程虚拟机安装的是hadoop2.7,所以这里就选择非常保险的JDK8.

在运行tomcat, 输入参数后, 浏览器报错java.lang.ClassNotFoundException: org.apache.commons.dbutils.ResultSetHandler

接下来打开终端, 输入mysqld_safe --user=mysql --skip-grant-tables --skip-networking&

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_261.jdk/Contents/Home我替换了电脑里原本有的jdk11, 改用jdk8并且在这里指定jdk版本 (原因: jdk原因导致无法启动ResourceManager)

usr/local/Cellar/hadoop/3.2.1/libexec/logs/xxxresourcemanagerxxx.log 通过vscode打开

接下来就是mac端切换两个版本的jdk(按照网上找的方式好像有bug-文章最后再说.虽然不知道怎么解决,但是至少我可以成功部署hadoop, 所以这里就先忽略)

按照hadoop-3.2.1-libexec-logs-xxxdatanodexx.log这个路径找到日志文件, 使用vscode(或其它文本编辑器)打开.

FinalShell官方下载链接macOS版下载地址: [链接]具体使用方式待学习-更新

关闭之后, 界面变成下面这样. 点击一下三角形就可以启动.但是, 如果点击三角后没有启动, 而是继续黑屏, 就继续在菜单Virtual Machine - Start Up就可以开机了

这里mac和windows不太一样, 了解到windows安装虚拟机使用的是vmware workstation, 但是mac使用的是vmware fusion