Hadoop完全分布式环境搭建

最近在学习hadoop，经过几番折腾终于把分布式环境搭建成功，这里总结一下搭建过程和过程中遇到的问题与解决方案。
一、准备工作
1.下载vmvare软件，配置NAT网络模式
NAT是网络地址转换，是在宿主机和虚拟机之间增加一个地址转换服务，负责外部和虚拟机之间的通讯转接和IP转换。

三台虚拟机的ip：

3.配置虚拟机
修改hostname：

按i修改成以下内容

按wq保存修改，需要重启才能生效。
修改host：

添加以下内容

需要把以上hosts配置到windows的hosts文件中，不然在windows开发时连接不上hdfs

关闭防火墙和selinux（不关闭会造成我们的集群运行不成功）

关闭防火墙

关闭selinux

配置成功后我们可以把文件放在指定的文件夹，那么在虚拟机可以去如下目录寻找文件，实现本地windows与虚拟机文件夹共享

1.安装JDK
去共享文件夹拷贝已经下载好的jdk包

然后解压jdk安装包

重命名

配置环境变量

使用source命令生效

查看Java环境变量配置是否成功

到此jdk已经安装成功
其他两台虚拟机可以按照上述方式安装，也可以使用快捷方式,通过以下命令同步这两台虚拟机

然后分别在另外两台虚拟机上执行source命令，使配置文件生效
2.hadoop安装

去共享文件夹拷贝已经下载好的jdk包

然后解压jdk安装包

重命名

配置环境变量

使用source命令生效

进入hadoop文件夹查看目录：

• etc目录存放配置文件
• sbin目录下存放服务的启动命令
• share目录下存放jar包与文档
  配置mapred-env.sh

配置yarn-env.sh

配置core-site.xml

配置hdfs-site.xml

配置yarn-site.xml

配置mapred-site.xml，如果没有就拷贝mapred-site.xml.template然后重命名为mapred-site.xml

配置从节点的主机名，前面配置host的时候已经ip和hostname做了映射就可以使用hostname，如果没有就需要写对应的ip

同理我们也可以通过命令去同步另外两台虚拟机，减少安装hadoop时间

然后分别在两台虚拟机上执行source命令

分别在三台虚拟机创建以下目录文件（前面的配置文件中使用）

在三台虚拟机上分别对目录更改权限

启动hdfs，首次启动需格式化hdfs，后面可以选择性格式化

格式化完毕后可以使用以下命令开启集群(我们可以单独启动hdfs，yarn等，命令在sbin目录下)

启动完后，执行jps查看执行情况
主节点（hadoop001）：

从节点（hadoop002）：

从节点（hadoop003）：

到此集群已成功，接着继续看一下控制台的一些情况
输入http://192.168.10.106:50070，查看hdfs运行情况：

输入http://192.168.10.106:8088查看YARN运行情况

运行自带的案例hadoop-mapreduce-examples查看yarn的工作情况

来源：xiaoxsen