mapreduce连接不上hdfs
配置环境hadoop环境真的是要命,随时都可以出现意向不到的问题,比如
Failing this attempt.Diagnostics: Call From hadoop001/0.0.0.0 to hadoop001:8020 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
很奇诡啊的问题,所有配置没问题,问题出现在ipv6上,
禁用掉系统的ipv6重启就好了
vi /etc/default/grub
# cat /etc/default/grub
GRUB_TIMEOUT=5
GRUB_DEFAULT=saved
GRUB_DISABLE_SUBMENU=true
GRUB_TERMINAL_OUTPUT="console"
GRUB_CMDLINE_LINUX="ipv6.disable=1 crashkernel=auto rhgb quiet"
GRUB_DISABLE_RECOVERY="true"
grub2-mkconfig -o /boot/grub2/grub.cfg
reboot
优质翻译文章
优质翻译文章
推荐阅读
webpack构建速度优化
使用webpack.DllPlugin优化,其实并没有优化速度,只是把一些不需要经常变更的部分提前构建,之后只需要构建变更的部分就可以了,确实优化了时间
frontoldman赞 9阅读 2.8k评论 4
在Windows上的安装 Spark
要在windows上安装Apache Spark,你需要Java 8或最新的版本,因此从 Oracle 下载Java版本并安装在你的系统上。如果你想要OpenJDK,你可以从这里 下载.它。
编程大V阅读 860
【深入浅出 Yarn 架构与实现】4-2 RM 管理 Application Master
上一篇文章对 ResourceManager 整体架构和功能进行了讲述。本篇将对 RM 中管理 Application Master 的部分进行深入的讲解。下面将会介绍 RM 与 AM 整体通信执行流程,并对 RM 中涉及的对应服务进行具体讲解。为了...
大数据王小皮阅读 785
【深入浅出 Yarn 架构与实现】4-3 RM 管理 NodeManager
本篇继续对 RM 中管理 NodeManager 的部分进行深入的讲解。主要有三个部分:检查 NM 是否存活;管理 NM 的黑白名单;响应 NM RPC 请求。
大数据王小皮阅读 583
hadoop集群搭建
那mapreduce是什么呢?它其实是一个分布式运算编程框架,是应用程序开发包,由用户按照编程规范进行程序开发,后打包运行在HDFS集群上,并且受到YARN集群的资源调度管理。
startshineye阅读 570
【深入浅出 Yarn 架构与实现】4-4 RM 管理 Application
在 YARN 中,Application 是指应用程序,它可能启动多个运行实例,每个运行实例由 —个 ApplicationMaster 与一组该 ApplicationMaster 启动的任务组成,它拥有名称、队列、优先级等属性,是一个比较宽泛的概念,...
大数据王小皮阅读 530
Centos7系统编译Hadoop3.3.4
最近在学习hadoop,此篇文章简单记录一下通过源码来编译hadoop。为什么要重新编译hadoop源码,是因为为了匹配不同操作系统的本地库环境。
huan1993阅读 421
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。