appache版本hadoop重新编译
1.1为什么要编译hadoop
由于appache给出的hadoop的安装包没有提供c程序访问的接口，所以我们在使用本地库（本地库可以用来做压缩，以及支持c程序等等）的时候会出问题，需要对hadoop源码进行编译。
1.2编译环境的准备
1.2.1：准备Linux环境
注意：一定要使用64位的操作系统
1.2.2：虚拟机联网，关闭防火墙，关闭selinux
关闭防火墙：
查看防火墙状态
firewall-cmd --state
停止firewall
systemctl stop firewalld.service
禁止firewall开机启动
systemctl disable firewalld.
关闭selinux
vim /etc/selinux/config
SELINUX=disabled
1.2.3: 安装jdk1.7
注意 hadoop-2.7.5这个版本的编译，只能使用jdk1.7,入伙使用1.8那么就会报错
1.2.4：安装maven
这里使用maven3.x以上的版本应该都可以，不建议使用太高的版本，强烈建议使用3.0.5版本即可
maven下载路径 TODO
配置maven的环境变量
vim /etc/profile
export MAVEN_HOME=/opt/software/apache-maven-3.0.5
export MAVEN_OPTS="-Xms4096m -Xmx4096m"
export PATH=:$MAVEN_HOME/bin:$PATH
让修改立即生效
source /etc/profile
修改本地仓库配置路径
添加阿里云镜像地址
1.2.5：安装findbugs
下载findbugs-1.3.9.tar.gz
解压配置环境变量
vim /etc/profile
export FINDBUGS_HOME=/opt/software/findbugs-1.5.9
export PATH=:$FINDBUGS_HOME/bin:$PATH
source /etc/profile
1.2.6：在线安装依赖包
yum install autoconf automake libtool cmake
yum install ncurses-devel
yum install openssl-devel
yum install lzo-devel zlib-devel gcc gcc-c++
bzip2压缩需要的依赖包
yum install -y bzip2-devel
1.2.7: 安装protobuf
protobuf-2.5.0.tar.gz现在地址TODO
cd /opt/software
tar -zxvf protobuf-2.5.0.tar.gz
cd protobuf-2.5.0
./configure
make && make install
1.2.8: 安装snappy
snappy-1.1.1.tar.gz下载地址 TODO
cd /opt/software
tar -zxvf snappy-1.1.1.tar.gz
cd snappy-1.1.1
./configure
make && make install
1.2.9: 编译hadoop源码
hadoop-2.7.5-src.tar.gz下载地址 TODO
cd /opt/software
tar -zxvf hadoop-2.7.5-src.tar.gz
cd /hadoop-2.7.5
编译支持snappy压缩
mvn package -DskipTests -Pdist,native -Dtar -Drequire.snappy -e -X
编译后的cd hadoop-dist/target
网友评论