hadoop集群搭建–hadoop-2.8.5编译

hadoop集群搭建–hadoop-2.8.5编译

• 编译基本过程
• • 软件版本
  • 安装软件包：
  • • jdk安装：
    • maven安装：
    • ant安装：
    • 安装protobuf：
    • 解压hadoop源码文件：
    • 编译打包hadoop

编译基本过程

软件版本

1. jdk：jdk-8u221-linux-x64.tar.gz
2. maven：apache-maven-3.6.1-bin.tar.gz
3. ant:apache-ant-1.9.14-bin.tar.gz
4. protobuf-2.5.0.tar.gz(这个不要用太高，也不要太低，低版本没测试过，高版本3.9.1在编译的过程中报错了，提示的信息是版本不兼容，期望是2.5.0版本的protobuf)
5. hadoop：hadoop-2.8.5-src.tar.gz
   点击下载以上五个软件包

安装软件包：

注意：
??软件包目录：~/software;
??安装目录:~/apps

jdk安装：

命令：tar -zxvf jdk-8u221-linux-x64.tar.gz -C ~/apps/
环境变量配置：sudo vi /etc/profile

source /etc/profile
java -version

source /etc/profile
mvn -v
出现下面内容，表示安装成功。

安装protobuf：

在安装protobuf之前，先安装几个软件包：glibc-headers、gcc-c++、make、cmake、 openssl-devel、ncurses-devel。
按照上面包的顺序依次执行命令：

然后，解压protobuf，命令：tar -zxvf protobuf-2.5.0.tar.gz -C ~/apps/
进入protobuf的主目录下：cd protobuf-2.5.0/

成功的 64 位 hadoop 包在~/apps/hadoop-2.8.5-src/hadoop-dist/target 下，如图：

最后分享下心路历程：真的太难了，这个过长太漫长了，昨晚弄了一个晚上，最后报protobuf的版本不兼容，之前安装protobuf-2.5.0的时候报错，没安装成功，我那时以为是protobuf的版低了，就想换个高的，不是高版本通常都是能向下兼容嘛，所以就下了个3.9.1版本，最后一晚下来，最终报错了，报错还提示要我选择2.5.0版本，我…真的太难了！
打包的时候一直有个进度显示【70】，感觉进度在一半以前都炒鸡慢，有的卡住半天没点动静，我都怀疑今晚可能又成不了。就在我准备安装官方的编译包的时候，我又看了下VMware的打包情况，发现速度变好快了，进度已经进行到后半程了，按照当前速度，很快就能知道最终的编译结果了。那个激动啊！最后，真的成功了，这两天的辛苦得到回报了！突然间想起一句话：守得云开见月明…
这首诗的原文是这样的，放在最后，即告慰自己，又勉励自己继续加油。

莫语常言道知足，万事至终总是空。

理想现实一线隔，心无旁骛脚踏实。

谁无暴风劲雨时，守得云开见月明。

花开复见却飘零，残憾莫使今生留。

来源：如饥似渴的rocky