我有 3 个数据节点正在运行,在运行作业时出现以下错误,
java.io.IOException:文件 /user/ashsshar/olhcache/loaderMap9b663bd9 只能复制到 0 个节点,而不是 minReplication (=1)。有 3 个数据节点正在运行,3 个节点被排除在该操作中。在 org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget(BlockManager.java:1325)
这个错误主要发生在我们的 DataNode 实例空间不足或 DataNode 没有运行时。我尝试重新启动 DataNodes 但仍然出现相同的错误。
我的集群节点上的 dfsadmin - 报告清楚地显示有大量可用空间。
我不确定为什么会这样。
原文由 Ashish Sharma 发布,翻译遵循 CC BY-SA 4.0 许可协议
1.停止所有Hadoop守护进程
2.删除所有文件
/var/lib/hadoop-hdfs/cache/hdfs/dfs/name
3.格式化Namenode
4.启动所有Hadoop守护进程
停止所有 Hadoop 服务