1. 软市首页
  2. 行业观察

## hadoop完全分布式搭建操作流程

• 行业观察

hadoop完全分布式搭建

步骤：

  1. 安装vmware
  2. 创建空白虚拟机（裸机）
  3. 配置虚拟网络编辑器
  4. 对系统做基本配置
  5. 克隆
  6. 远程客户端Xshell与Xftp
  7. 配置三台机器SSH的免密登录
  8. 编写linux脚本
  9. 安装jdk
  10. 搭建hadoop完全分布式

以下步骤与上文略有出入

START：

一、安装vmware

开启BIOS虚拟化支持
下载并安装Vmware
下载ISO镜像文件

二、 创建空白虚拟机（裸机）

在VMware主页创建新的虚拟机
选择自定义
选择稍后安装操作系统
选择liuux（L）
修改虚拟机名称以及存储位置
网络模式选择使用网络地址转换（NAT）（E）
SCSI控制器选择LSI Logic（L）
虚拟磁盘类型选择SCSI（S）
磁盘选择创建新虚拟磁盘
磁盘大小设置100GB
选择将虚拟磁盘存储为单个文件
完成

在虚拟机开始页面编辑虚拟机设置
在硬件CD/DVD中选中–>使用ISO镜像文件
浏览加载配置文件
开启虚拟机选择Install CentOS Linux 7
等待一段时间后配置下面几个
Date 》
KEYBOARD 》
SOFTWARE SELECTION 》
INSTALLATION DESTINATION 》
Begin Installation
输入root用户密码（密码过于简单是摁两下左上角done即可）
创建普通用户输入用户名称、密码
等待安装完成

查看版本号
cat /etc/redhat-release

三、配置虚拟网络编辑器

在VMware页面左上角编辑中打开虚拟网络编辑器
选择 NAT模式
设置 子网ip以及子网掩码
打开DHCP设置 设置起始以及结束ip地址
打开NAT设置 设置网关

四、基本设置

1.修改主机名

vim /etc/hostname

如果vim未安装则执行 yum -y install vim 完成vim安装

2.修改静态IP

vim /etc/sysconfig/network-scripts/ifcfg-ens33
BOOTPROTO=static
#UUID
ONBOOT=yes
IPADDR=192.168.2.***
NETMASK=255.255.255.0
GATEWAY=192.168.2.2
DNS1=192.168.2.2
DNS2=114.114.114.114

重新加载网络

service network restart

查看IP

ifconfig
如果无法查看通过 yum -y install net-tools 命令安装net-tools后即可通过ifconfig查询ip

3.主机与IP映射hosts

vim /etc/hosts
192.168.2.*** hadoop***
192.168.2.*** hadoop***
192.168.2.*** hadoop***

4.防火墙操作

查看防火墙状态
firewall-cmd –state
关闭防火墙
systemctl stop firewalld.service
禁止开机启动
systemctl disable firewalld.service
下面两条命令暂不需要对虚拟机进行操作
开启防火墙
systemctl start firewalld.service
激活开机启动
systemctl enable firewalld.service

5.开机模式

查看默认target开机模式
systemctl get-default
开机以命令模式启动（设置为开机模式）
systemctl set-default multi-user.target
开机以图形化界面启动
systemctl set-default graphical.target
startx

6.设置最大可打开文件数：

文件位置: etc/security/limits.conf
limits.conf文件备份
cp /etc/security/limits.conf/etc/security/limits.conf.bak
编辑limits.conf文件
vim /etc/security/limits.conf

  • soft nofile 65535
  • hard nofile 1028576
  • soft nproc 65535
  • hard nproc unlimited
  • soft memlock unlimited
  • hard memlock unlimited

查看系统配置后信息

ulimit -a

7.为普通用户授予root权限:

创建普通用户

adduser ****
passwd

修改sudoers文件

vim /etc/sudoers
Allow root to run any commands anywhere
root ALL=(ALL) ALL
feng（用户名） ALL=(ALL) ALL
Same thing without a password
wheel ALL=(ALL) NOPASSWD: ALL
feng（用户名） ALL=(ALL) NOPASSWD: ALL
(保存时加叹号)

8.创建module 、software 文件夹
创建

cd /opt/
mkdir module
mkdir software
ls -al

修改module、software拥有者为普通用户

chown -R feng:feng module
chown -R feng:feng software

9.禁用selinux安全策略

vim /etc/sysconfig/selinux
SELINUX=disable
查看selinux状态
getenforce
sestatus -v
sestatus
临时关闭Selinux
setenforce 0

五、克隆

鼠标右键单击关机状态的虚拟机，在管理中选择克隆
克隆方法选择完整克隆
修改克隆出的虚拟机的名称以及其存储位置
完成克隆
克隆完成后需要：修改主机名、ip

修改主机名
vim /etc/hostname

修改IP
vim /etc/sysconfig/network-scripts/ifcfg-ens33

六、远程客户端XSHELL与XFTP

对Xshell以及Xftp完成安装后
修改配置文件HOSTS
替换两个LiveUpdate文件
配置nslicense.dll文件
在工具栏取消更新（仅xshell中）
在帮助->关于xshell中可以输入注册码（仅xshell中）

七、免密登录

（所有操作在xshell底部栏进行，检查除外）

1.生成.ssh文件夹

ssh hadoop102
三台机器均输入yes
回车 输入密码
ssh hadoop103
三台机器均输入yes
回车 输入密码
ssh hadoop04
三台机器均输入yes
回车 输入密码

2.进入.ssh文件夹分别作下面操作

ssh-keygen -t rsa(生成公钥和私钥)
ssh-copy-id hadoop102（拷贝给102）
ssh-copy-id hadoop103（拷贝给103）
ssh-copy-id hadoop104（拷贝给104）

3.对三台机器进行免密登录检查

三台机器均输入以下内容进行检查
输入ssh hadoop102直接切换exit退出
输入ssh hadoop103直接切换exit退出
输入ssh hadoop104直接切换exit退出

八、编写linux脚本

1.在usr/local/bin目录下编写xsync.sh xjps.sh脚本

进入bin目录下创建脚本文件
cd /usr/local/bin
sudo touch xsync.sh
sudo touch xjps.sh

2.更改文件拥有者为普通用户并赋予执行权限

sudo chown feng:feng xsync.sh
sudo chown feng:feng xjps.sh
chmod 755 xsync.sh
chmod 755 xjps.sh

3.进入脚本文件编写脚本，保存并退出

vim xsync.sh
vim xjps.sh

九、JDK安装

1.切换为普通用户

su – ****

2.进入相关路径

module文件夹放置解压后的
software文件夹放置解压前的
cd /opt/software

3.通过Xftp5上传jdk-8u144-linux-x64.tar.gz到software文件夹下

在Xshell中点击右上方Xftp5图表，找到jdk文件在windos中的存放位置，双击jdk文件进行文件的传输

4.改变jdk用户为普通用户

sudo chown feng:feng jdk-8u144-linux-x64.tar.gz

5.解压并指定解压到module文件夹下

tar -xzvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
(-C用来指定解压位置为opt/module/ )

进入module文件夹查看
cd/opt/module/
ll
jdk文件为蓝色继续下一步操作

6.配置环境变量

sudo vim /etc/profile
##JAVA_HOME
export JAVA_HOME=
export CLASSPATH=
export PATH=
将复制过来的JAVA_HOME=后面的地址删除
在Xshell中复制当前机器
在复制出的机器中切换为普通用户并进入到解压后的jdk文件夹内
cd /opt/module/jdk1.8.0_144/
pwd
出现正确地址 复制粘贴到JAVA_HOME后
保存并退出

加载配置文件
source /etc/profile

7.查看java版本

java -version
如果所显示版本与安装版本不一致则存在系统自带jdk版本
将系统自带jdk卸载即可

查看系统jdk文件
rpm -qa | grep -i jdk

卸载
sudo rpm -e –nodeps （把java开头的文件复制过来，文件之间用空格隔开可实现同时删除多个文件）
(-e为卸载 –nodeps为强制)

查看删除后
rpm -qa | grep -i jdk

8.配置用户环境变量

cd
ls -al
(bashrc为用户环境变量文件)
vim .bashrc

将系统的环境变量复制进来
退出后加载一下
source .bashrc

9.通过脚本xsync.sh分发jdk

cd /opt/module
xsync.sh jdk1.8.0_144/

查看103，104是否已存在jdk文件夹
cd /opt/module
ll

10.配置103,104环境变量

vim /etc/profile

加载配置文件
source /etc/profile

11.配置用户环境变量

cd
vim .bashrc
source .bashrc
java -version

查看进程
jps

十、hadoop完全分布式搭建

1.切换为普通用户

su – feng

2.在software文件夹下通过Xftp传输hadoop文件并解压至module文件夹内

cd /opt/software/
上传hadoop-2.7.2.tar.gz安装包并解压至module文件夹
cd /opt/software/
sudo chown feng:feng hadoop-2.7.2.tar.gz（更改文件所有者为普通用户）
tar -xzvf hadoop-2.7.2.tar.gz -C /opt/module/
cd /opt/module
ll

3.配置环境变量

sudo vim /etc/profile
加载配置文件
source /etc/profile

4.查看hadoop版本

hadoop version

5.集群分布

hadoop102
NodeManager NameNode ResourceManager
hadoop103
NodeManager SecondaryNameNode
hadoop104
NodeManager

6.集群配置（需要修改以下8个配置文件）

core-site.xml
hadoop-env.sh
hdfs-site.xml
slaves
yarn-env.sh
yarn-site.xml
mapred-env.sh
mapred-site.xml

配置文件路径
cd hadoop-2.7.2/etc/hadoop/

7.通过Notepad++配置已经存在内容的文件

已任意文本文件已notepad++方式打开
在notepad++右侧settings中选择Profile settings
选择Add new 输入名称 （hadoop102）
在Hostname栏输入机器IP地址
Connection type选择SFTp
Username输入普通用户名称
Password输入普通用户密码
点击右下角close

在notepad++中连接刚刚创建的hadoop102
点一下根目录点击上方绿色刷新
进入opt/module/hadoop-2.7.2/etc/hadoop/下对文件进行配置
需要注意的是slaves文件需要在Xshell或者Vmware软件中完成配置

配置完成

8.通过xsync.sh脚本分发hadoop

cd /opt/module
xsync.sh hadoop-2.7.2/

9.对103,104作环境配置

vim etc/profile
加载配置文件
source /etc/profile
hadoop version

10.启动集群

第一次启动集群需要初始化
cd hadoop-2.7.2/
bin/hdfs namenode -format
(s been successfully formatted)

启动hdfs(namenode机器上执行)
sbin/start-dfs.sh
查看进程
jps

启动yarn(hadoop103)
cd /opt/module/hadoop-2.7.2/
sbin/start-yarn.sh

查看进程
jps

通过xjps.sh脚本查看三台机器所有开启的进程(hadoop102)
xjps.sh

通过浏览器访问HDFS
heep://192.168.2.102:50070/

通过浏览器访问yarn
http://192.168.2.103:8088/

11.关闭集群

集群的关闭遵守：
先开的后关
后开的先关
(hadoop103)sbin/stop-yarn.sh
(hadoop102)sbin/stop-dfs.sh

查看进程
xjps.sh

12.退出为root用户

cd
exit

13.关机

shutdown now

文章知识点与官方知识档案匹配，可进一步学习相关知识云原生入门技能树首页概览8745 人正在系统学习中

来源：斑马在忙

声明：本站部分文章及图片转载于互联网，内容版权归原作者所有，如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢！

上一篇 2021年3月12日
下一篇 2021年3月12日

相关推荐

首页
软件超市
企服市场
会员中心