Hadoop学习之路——HDFS搭建

目录

一、软件准备

二、搭建

1、SSH免密配置

2、上传并解压软件

3、修改配置文件

三、 启动

四、高可用验证

---

一、软件准备

hadoop-2.9.2.tar.gz

二、搭建

1、SSH免密配置

Hadoop01：

ssh-keygen –t rsa

生成密钥

注：不需要输入任何命令，点击四次回车生成公

Hadoop01：

将密钥拷贝到子节点

2、上传并解压软件

使用CRT软件将Hadoop安装包上传至 /export/software  文件夹

切换到 /export/software

cd /export/software

执行解压命令,将安装压缩包解压到 /export/servers

tar -zxvf hadoop-2.9.2.tar.gz /export/servers/

3、修改配置文件

1.3.1   将hadoop添加到环境变量中

执行：vim /etc/profile

进入配置文件后将以下代码写入

刷新配置文件

source /etc/profile

1.3.2   修改hadoo-env.sh

切换至配置文件文件夹

cd /export/servers/hadoop2.9.2/etc/hadoop/

进入编辑

vim hadoop-env.sh

修改Java home路径

1.3.3    修改core-site.xml

vim core-site.xml

1.3.4    修改hdfs-site.xml

vim hdfs-site.xml

1.3.5    修改mapred-site.xml

vim mapred-site.xml

1.3.6    修改yarn-site.xml

vim yarn.site.sml

1.3.7    修改slaves

vim slaves

1.3.8    将配置好的hadoop拷贝到其他节点

将系统环境配置文件、JDK、安装目录、和Hadoop安装目录拷贝到字节点

注：在拷贝结束之后需要在各个节点执行:

source /etc/profile

刷新配置文件

三、 启动

3.1    启动zookeeper集群并查看状态

启动各个节点的zookeeper服务

zkServer.sh start

查看各个节点的zookeeper服务状态

zkServer.sh status

3.2  手动启动journalnode         

hadoop-daemon.sh start journalnode

hadoop01:

Hadoop02:

Hadoop03:

3.3    格式化namenode

Hadoop01:

hadoop namenode –format

将格式化后的目录复制到Hadoop02：

3.4   格式化ZKFC

Hadoop01：

3.5   启动HDFS

Hadoop01:

3.6    启动YARN

Hadoop01:

四、高可用验证

4.1    浏览器访问:

Hadoop01中使用浏览器打开:hadoop01为：active

       

Hadoop01中使用浏览器打开:Hadoop02为：standby

4.2    故障测试

查询namenode的端口号，使用命令kill -9 3078，宕掉namenode端口

刷新Hadoop02的50070，Hadoop02变为：active

打开浏览器进入hadoop01:8088,显示为可以查询

打开浏览器进入hadoop01:8088,显示为可以找不到网页

查询端口号，宕掉ResourceManager :kill -9 3656

再次进入：hadoop02：8088，显示为可查询

查询zookeeper端口号：

查询角色，目前leader为Hadoop02，宕掉zookeeper：kill -9 2787

查询角色，目前leader为Hadoop03

至此，Hadoop高可用集群搭建全部结束

注：如果需要重新格式化，需删除日志文件以及数据文件夹，具体操作如下：

        日志文件：

        cd /export/servers/hadoop2.9.2/

        rm –r tmp

        数据文件：

        cd /export/data

        rm –r hadoop

        注：此操作需在所有节点进行操作

        至此，重新格式化前提操作完成，可重新格式化。

文章中的软件，可以私聊或在下方留言，免费提供。

来源：淮南亦生橘