Apache Hadoop Liunx 安装部署

Hadoop 介绍

Hadoop是Apache旗下的一个用java语言实现开源软件框架,是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。

Apache Hadoop Liunx 安装部署
mapreduce 是一个分布式运算编程框架 打包运行在HDFS集群上 并受YARN集群的资源调度管理

Hadoop3中部署方式

单机模式 Standalone mode 独立模式 、 Pseudo-Distributed mode伪分布式 1台机器即可运行
集群模式 Cluster mode(集群模式) 多机器部署 我这里条件有限 使用3台虚拟机部署

我这里以3台CentOS7 部署 Hadoop 每台机器的角色分布

Apache Hadoop Liunx 安装部署
  1. 上传Hadoop安装包到node1 /export/software
  1. 修改配置文件
    hadoop-env.sh

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

workers

  1. 分发同步hadoop安装包

来源:烟解愁、酒上头

声明:本站部分文章及图片转载于互联网,内容版权归原作者所有,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2021年8月22日
下一篇 2021年8月22日

相关推荐