二、Hadoop系统应用之Hadoop集群搭建(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)

Hadoop集群搭建前安装准备参考:

一、Hadoop系统应用之安装准备(一)(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)
一、Hadoop系统应用之安装准备(二)(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)
1、Hadoop集群搭建
1.1 Hadoop集群部署模式
采用完全分布模式对Hadoop集群进行部署
1.2 JDK安装
第一步:使用如下指令进入之前创建的用于存放安装包软件的文件夹:
cd /export/software/
之后使用指令ls查看该目录内容,可发现该目录下没有文件,然后输入rz指令(上传文件指令),可发现找不到该命令,这是由于还没有安装。

二、Hadoop系统应用之Hadoop集群搭建(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)

若下载失败则为之前配置的yum源失效,可尝试依次输入以下三条指令解决:

第三步:安装完成后输入指令rz,选择JDK安装包,进行文件的上传。
JDK

二、Hadoop系统应用之Hadoop集群搭建(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)

第五步:配置JDK环境变量。
使用如下指令进入profile文件并进行修改:
vi /etc/profile
在该文件最下方写入如下内容:

二、Hadoop系统应用之Hadoop集群搭建(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)

1.3 Hadoop安装
第一步:使用如下指令进入之前创建的用于存放安装包软件的文件夹:

第二步:使用指令rz上传hadoop安装包。
Hadoop 2.7.4

二、Hadoop系统应用之Hadoop集群搭建(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)
二、Hadoop系统应用之Hadoop集群搭建(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)

第四步:配置hadoop环境变量。
使用如下指令进入profile文件并进行修改:
vi /etc/profile
在该文件最下方写入如下内容:

二、Hadoop系统应用之Hadoop集群搭建(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)

1.4 Hadoop集群配置
第一步:配置Hadoop集群主节点。
在上一步的基础上,首先使用如下指令进入etc/hadoop/目录:
cd hadoop-2.7.4/etc/hadoop/
然后使用如下指令打开hadoop-env.sh文件进行修改:
vi hadoop-env.sh
在该文件中添加以下内容:

二、Hadoop系统应用之Hadoop集群搭建(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)

第三步:修改hdfs-site.xml文件。
使用如下指令打开hdfs-site.xml文件进行修改:
vi hdfs-site.xml
在该文件中添加以下内容:

二、Hadoop系统应用之Hadoop集群搭建(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)

使用如下指令打开mapred-site.xml文件进行修改:
vi mapred-site.xml
在该文件中添加以下内容:

二、Hadoop系统应用之Hadoop集群搭建(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)

二、Hadoop系统应用之Hadoop集群搭建(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)

第七步:将上述主节点hadoop01的配置内容分发给hadoop02和hadoop03上。
使用如下指令:

之后在另外两个节点上执行source /etc/profile指令完成配置。

二、Hadoop系统应用之Hadoop集群搭建(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)

参考文献:黑马程序员.Hadoop大数据技术原理与应用[M].北京:清华大学出版社,2019.

后续学习链接:
三、Hadoop系统应用之Hadoop集群测试及初体验(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)

文章知识点与官方知识档案匹配,可进一步学习相关知识云原生入门技能树首页概览8587 人正在系统学习中

来源:七层楼的疯子

声明:本站部分文章及图片转载于互联网,内容版权归原作者所有,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2022年11月11日
下一篇 2022年11月11日

相关推荐