第一次写专栏有点紧张哈哈,怎么开始啊,恩恩....就这吧。最近在研究hadoop。然后呢就找到了尚学堂一个大数据的视频教程可惜的是视频不全直接从中间开始,环境搭建的那块没有,只能自己一边听课一边摸索着来了,还好让我这菜鸟给搞定了,总结一下以兹鼓励。下面正式开始。

1、首先呢咱等小民没那么多毛爷爷买不起多台电脑更买不起服务器,只能在虚拟机下搭建。话说学习吗,肯定是在虚拟机下拉。我这用的虚拟机是:virtualBox。这个的下载直接百度就有,安装的话呢直接下一部下一步就ok。

2、接着呢就是Linux, 我这用的是Ubuntu14.04.1, 这个的安装包百度网盘共享了链接: http://pan.baidu.com/s/1jIJF8Js 密码: wbgd

3、再接着呢就是在虚拟机下安装你的Ubuntu了,启动虚拟机大概就是下图这个样子,不过我已经装了5个虚拟机(红色圈圈里的),刚安装的virtualBox是没有的。也就是没有红色圈圈里的东西,原谅我废话。上图:
图片描述

3.1、点击左上角浅蓝色的New按钮来创建一个新的虚拟机,这时会出现三个输入框,第一个就是虚拟机的名称,第二个是虚拟机的类型,第三个呢是版本,选中对应的就OK,完了continue 下一步。如下图:

图片描述

下面的呢就是一些可改可不改的一些对虚拟机的设置。具体是什么自行查阅,所以呢可以直接选择一直下一步到最后,然后你就会在virtualBox主界面的左侧栏中看到你刚创建的虚拟机了(红色圈圈中的就是刚刚创建的一个虚拟机):
图片描述
但是这个虚拟机还没有装系统呢,是启动不了的。下面开始给这个node5虚拟机装Ubuntu14系统。

4、选中你要装系统的虚拟机(淡浅蓝色表示选中,只有选中了你下面的操作才是对这个虚拟机的操作,否则就不对了)。然后点击左上角的Settings按钮,接着点击顶部栏的Storage按钮,接着再点击Controller IDE下的Empty,此时的界面应该如下图所示:

图片描述

接着点击右侧黄色圈圈里的小光盘按钮选择你的Ubuntu镜像,然后点击ok按钮 就会返回到
VirtualBox主界面。此时点击Start按钮来启动虚拟机。然后就进入到了虚拟机操作系统的安装流程了。首先需要选择操作语言,建议选择English。中文的会有各种奇怪的问题。这时有一点需要注意,就是虚拟机与宿主机直接的鼠标使用切换问题,windows下是alt+ctrl。mac下是按住command键,移动鼠标就可以从虚拟机中把鼠标移出来了,进去呢就是点击虚拟机咯(有时候需要,有时候直接就能移出来,可能是因为卡顿的问题)。然后就是一直回车键,直到如下图所示:

图片描述

这里需要你输入的是主机名称,然后键盘tab键将光标移动到Continue上回车,之后就是需要输入你的虚拟机的用一个用户的全名,完了就是这个用户的账号,接着是密码,这些随意,别中文就好。然后就是一直下一步,直到如下图所示:
图片描述
此时需要用键盘shift+tab键将红色光标移动到Yes上,然后回车,下一步,直到如下图所示需要移动光标到Yes上 在接着回车,然后就是漫长的等待。中间会弹出让选中框,直接默认就好,

图片描述

5、完成了上面的,你应该可以看到虚拟机的登陆提醒了,如下图:

图片描述

输入刚才安装时的用户名密码,就可以登陆了呢,登陆成功 之后我们把用户切换到root账号下,输入:sudo passwd,为root设置密码,设置完之后再输入su root, 接着输入root的密码,就可以切换到root账号下了。

图片描述

6、下面呢我们需要虚拟机可以链接到网络,因为我们需要下载安装一些软件,virtualBox默认虚拟机的网络NAT,NAT只允许虚拟机链接主机和外部网络,不允许主机链接虚拟机,虚拟机直接也不能通信,所以我这里将网络设置为Bridged Adapter 桥接,这种模式下有一个不安全因素,就是外部的机器也可以链接虚拟机,学习测试用,就先这吧,操作:在Setting中选中NetWork 更改Attached to项为Bridged Adapter,然后重启虚拟机,输入ifconfig就可以看到虚拟机有了独立的ip,然后我们需要修改配置文件:vi /etc/ssh/sshd_config 下的 PermitRootLogin 属性为 yes,允许root账号远程登录。接着虚拟机还需要安装openssh-client 和openssh-server,宿主机才可以链接到虚拟机。键入一下命令安装:sudo apt-get install openssh-client/openssh-server, 输入:ps -e | grep ssh;来确认sshserver是否启动,可以输入:sudo /etc/init.d/ssh start 来启动。现在宿主机就可以登录虚拟机了:ssh root@ip。可以修改宿主机的hosts文件 ,就不用每次都输入虚拟机的ip了。

7、键入如下命令将hadoop的安装包拷贝到虚拟机中:scp hadoop1.2.1.tar.gz root@node5:/root

8、虚拟机之间的免密码登陆:

8.1: 免密登陆端生成公钥和私有:ssh-keygen -t rsa(连续三次回车,即在本地生成了公钥和私钥,不设置密码)
8.2: ssh root@被免密登陆机的IP "mkdir .ssh;chmod 0700 .ssh" (需要输入密码, 注:必须将.ssh的权限设为700)
    如果被登录机root下有.ssh文件可省略,注意该文件的权限设置
8.3 将主机端生成的公钥拷贝到被登录端.ssh文件下:
    scp ~/.ssh/id_rsa.pub root@172.24.253.2:.ssh/id_rsa.pub (需要输入密码)
8.4 在被登录端的/root/.ssh/下创建authorized_keys文件 如果存在可以省略这步
8.5 cat /root/.ssh/id_rsa.pub  >> /root/.ssh/authorized_keys (将id_rsa.pub的内容追加到 authorized_keys 中, 注意不要用 > ,否则会清空原有的内容,使其他人无法使用原有的密钥登录)
8.6 回到主机端可以免密登陆被登录端了

9、hadoop的单节点具体配置可以直接看这里http://hadoop.apache.org/docs/r1.2.1/single_node_setup.html
或者全分布式多节点直接看这里:https://segmentfault.com/a/1190000005744663


idgq
575 声望13 粉丝