hadoop大数据学习01(基础环境准备)

环境准备

1. 下载centos7 镜像文件
   https://mirrors.aliyun.com/centos/7/isos/x86_64/
   选择最小安装版 CentOS-7-x86_64-Minimal-2009.iso
   安装完成之执行下面的命令更新镜像源:
   直接输入curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

   虚拟机安装

2. 在安装centos7之前要先安装虚拟机环境，在虚拟机环境上部署centos系统
   这里我们安装VMware,安装过程省略，只需要一路下一步，中间根据自己的需要，切换安装路径
   即可

3. 安装centos7
   
   
   选择镜像文件存放的地址
   
   给虚拟机起个名字并制定安装路径
   
   设置cpu个数和核数
   
   设置内存大小
   
   设置网络连接模式（默认的）
   
   选择控制器类型也是默认的
   
   选择磁盘类型也是默认的
   
   创建虚拟磁盘
   
   设置磁盘大小和磁盘存储方式 根据自己的实际情况来
   
   点击下一步---下一步

   

   开启虚拟机进入正式安装centos系统的界面
   
   按键盘的上下键选择第一个选项 然后点 enter 进入安装
   安装过程中会弹出框选择安装的语言选着简体中文，继续
   
   选择目标安装位置，并选择自己手动分区，点完成
   
   弹出分区界面，配置完之后点保存并继续，格式化磁盘
   
   
   

设置主机名和网络，也可以安装完成之后再通过命令行修改（可以跳过）

然后点击开始安装并设置 root 用户的密码

点击完成并继续安装 需要等待5-10min

完成之后点击重启

出现一个如下的界面说明安装完成了

输入上面root用户的密码就可以登陆了

3. 安装完成之后的问题
   
   发现无法与外网联通，需要解决这个问题？
   1：关闭虚拟机的防火墙 （生产环境实际上需要再防火墙的配置信息中去配置相关的防火墙策略，开放对应的端口,这里学习的时候可以关闭整个防火墙来做测试）

虚拟机网络配置

systemctl stop firewalld.service
[root@wl ~]# systemctl disable firewalld.service
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.

此时还是ping不通,ifconfig 不能用， ip addr 命令显示的ip 也不存在

2:修改网络配置
查看虚拟机网卡的地址，虚拟机需要和其保持在同一个网段，并且网关和dns 需要配置成
和虚拟机的一致

vi /etc/sysconfig/network-scripts/ifcfg-ens33
3:修改或添加如下标识出来的配置,按键盘ESC 后 按shitf 加 : 再输入小写wq 保存并退出

使上面的配置生效
4:systemctl restart network

使用客户端连接服务器

https://mobaxterm.mobatek.net/download.html 工具下载地址

5. 修改镜像源
   yum install vim -y 通过 yum install 的时候发现报错了
   Cannot find a valid baseurl for repo: base/7/x86_64

需要替换yum 源 可以使用阿里的源
先备份：
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak
下载阿里云CentOS7镜像源
curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
修正版本号
sed -i 's/$releasever/7/g' /etc/yum.repos.d/CentOS-Base.repo
刷新缓存
yum clean all # 清除旧缓存
yum makecache # 生成新缓存
验证yum 源替换成功
yum install -y wget curl vim

6. 修改电脑主机名
   hotnamectl set-hostname hadoop
   sudo systemctl restart NetworkManager
   
   reboot
   
   主机名可以看到改为 hadoop
   修改配置文件
   使用文本编辑器编辑 vim /etc/hostname
   将文件中的内容替换为你的新主机名，然后保存并关闭文件。
   重启网络服务或者系统，使更改生效

sudo vim /etc/hosts 修改主机名与ip 的映射关系

jdk 安装

1. 下载地址
   https://adoptium.net/zh-CN/temurin/releases/?os=any&arch=any&...
2. 上传到服务器并安装
   解压到/usr/loacl
   tar -xvf OpenJDK17U-jdk_x64_linux_hotspot_17.0.15_6.tar.gz -C /usr/local/
   
   mv jdk-17.0.15+6/ jdk17
3. 配置环境变量
   编辑 vim /etc/profile 在文件末尾添加如下的配置信息
   export JAVA_HOME=/usr/local/jdk17
   export PATH=$JAVA_HOME/bin:$PATH
   
   使配置生效
   source /etc/profile
4. 验证安装结果
   [root@hadoop jdk17]# java -version
   openjdk version "17.0.15" 2025-04-15
   OpenJDK Runtime Environment Temurin-17.0.15+6 (build 17.0.15+6)
   OpenJDK 64-Bit Server VM Temurin-17.0.15+6 (build 17.0.15+6, mixed mode, sharing) 说明 jdk 安装成功
5. 修改profile 改错了导致linux 很多命令都失效了处理办法 ?
   一、背景
   linux在修改完环境变量/etc/profile后保存文件后，发现大多数命令不可用，只有少数如：cd、pwd可以使用；

二、原因分析
1、/etc/profile文件中有无效字符或变量，导致export后的环境变量不可用；

2、在export PATH时，漏掉了系统本身的$PATH;

3、其他原因；

三、解决
在命令行输入：export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin

===========================================================
这些基本环境搭建完成之后 可以将这机器作为一个基本的机器 用于克隆出其他机器