CentOS7 快速搭建hadoop完全分布式集群环境

大纲

  • 一、前情提要
    • !!注意!!
    • 原理
    • 已集成的环境
    • 集群部署规划
  • 二、必要准备
    • 基础环境
    • 必须提前获取的参数!!!!
  • 三、详细步骤
    • 1、安装docker
    • 2、添加docker加速器
    • 3、拉取镜像
    • 4、创建hadoop专用网桥(hadoop-net)
    • 创建容器
  • 四、一键启动和关闭hadoop脚本
    • 给脚本赋予执行权限
  • 五、查看web端
  • 结束!

一、前情提要

!!注意!!

本篇博客有以下特点

  1. 该搭建方式已完全写成脚本,可一键搭建环境——脚本教程
  2. 基于docker搭建的hadoop完全分布式集群环境
  3. 与传统的hadoop完全分布式集群环境在搭建方法有所区别,功能完全相同。
  4. 本篇博客旨在快速搭建hadoop完全分布式集群环境。
  5. 本篇博客不注重阐述搭建hadoop完全分布式集群环境的细节描述。
    若读者想要学习搭建集群环境的诸多细节,可留言。

原理

  • 基于docker的hadoop完全分布式集群环境搭建
    (后续将放上docker软件的介绍)

已集成的环境

  • java1.8
  • hadoop2.7.2
  • zookeeper3.4.10
  • hive1.2.1
  • hbase1.3.1
  • Jobhistory(历史服务器)

集群部署规划

hadoop1 hadoop2 hadoop3
HDFS Namenode、DataNode Datanode Datenode
YARN NodeManager ResourceManager NodeMangager
Zookeeper QuorumPeerMain QuorumPeerMain QuorumPeerMain
Hbase Hmaster、HRegionServer HRegionServer HRegionServer
HistoryServer Jobhistory

二、必要准备

基础环境

  1. 虚拟机软件,推荐vmware16(后续将放上安装vmware16虚拟机的方法)
  2. 一个已经设置好静态IP且通网的CentOS7 以上的OS (建议配置 8G+200G)(因为我们只需要一台虚拟机即可完成安装,集群内的三台机器的呈现形式是以docker容器的方式存在)
    (后续将放上静态IP设置方法)

必须提前获取的参数!!!!

获取CentOS 7 以下参数

  • 所属网段
  • 子网掩码
  • 网关
  • 网卡名称
  1. 打开虚拟网络编辑器

    CentOS7 快速搭建hadoop完全分布式集群环境
  2. 打开 NAT设置

    CentOS7 快速搭建hadoop完全分布式集群环境
  3. 查看网卡名称

在终端输入以下命令

CentOS7 快速搭建hadoop完全分布式集群环境

来源:弓长家罗

声明:本站部分文章及图片转载于互联网,内容版权归原作者所有,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2021年3月12日
下一篇 2021年3月12日

相关推荐