hadoop配置-配置伪分布无法启动datanode

在部署hadoop伪分布时,运行start-all.sh后,终端输入jps,发现datanode没有启动

按照hadoop-3.2.1-libexec-logs-xxxdatanodexx.log这个路径找到日志文件, 使用vscode(或其它文本编辑器)打开.

找到java.io.IOException: Incompatible clusterIDs in /usr/local/Cellar/hadoop/tmp/dfs/data: namenode clusterID = CID-fc509379-ff86-4058-8e4c-6c31a21065d0; datanode clusterID = CID-688bc71e-fba6-4e80-ac1e-b38a24956a87. 这里可以看到namenode 与 datanode 二者的clusterID不一致, 所以改成一致的就好.

修改方式如下: 进入到上面报错中提到的路径
tmp/dfs/data/current/VERSION 使用文本编辑器打开,将clusterID修改成与namenode的一致就好了.
上面报错信息有给出namenode的clusterID, 也可以通过路径查看(tmp/dfs/name/current/VERSION)

上面的路径tmp/dfs/是在配置hdfs-site.xml时自定义的,可以创建也可以不创建