centos7下安装HAWQ

曾经多次尝试是在centos环境下对源码进行编译安装，发现在centos环境下编译HAWQ源码存在着各种编译问题，编译不通过。通过各种查找寻找到一套靠谱的离线安装方式。该方式通过ambari来帮助简化安装,以下是我整理的几种安装机制。
HDP-2.5.3.0-centos7-rpm.tar.gz：
https://pan.baidu.com/s/1-MU8mZnfFQCdW7UxMJDwaA
ambari-2.4.2.0-centos7.tar.gz
https://pan.baidu.com/s/1XGxBaP8GAt6-QjKZbmVKoA
HDP-UTILS-1.1.0.21-centos7.tar.gz
https://pan.baidu.com/s/1ocQx_7M9fVO8ruQRu4zisw
oushu-database-full-3.1.1.0-rhel7-x86_64.tar.gz(包含了HAWQ)
https://pan.baidu.com/s/1NNezkioV2yTDfei8jlgl9Q
mysql-connector-java-5.1.21.jar.zip
https://pan.baidu.com/s/1lruX63w6ZlEevN-ZkgciXQ

准备系统安装环境
（1）禁用防火墙
在安装期间Ambari需要与部署集群主机通信，因此特定的端口必须打开。最简单的实现方式是执行下面的命令禁用防火墙：

1.  /etc/init.d/iptables stop  
2.  chkconfig iptables off  

四台主机都要执行。

（2）禁用SELinux
Ambari安装需要禁用SELinux：

1.  setenforce 0  
2.  # 编辑/etc/selinux/config文件，设置  
3.  SELINUX=disabled  

四台主机都要执行。
（3）配置域名解析
编辑/etc/hosts文件，添加如下四行：

1.  172.16.1.124 oushum1  
2.  172.16.1.125 oushum2 
3.  172.16.1.126 oushus1  
4.  172.16.1.127 oushus2  

四台主机都要执行。
注意：不要删除文件中原有的如下两行，否则可能引起网络问题。

1.  127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4  
2.  ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

（4）安装配置NTP

1.  yum install -y ntp  
2.  chkconfig ntpd on  
3.  service ntpd start  

四台主机都要执行。

（5）配置SSH免密码
为了使得Ambari Server在集群所有主机上自动安装Ambari Agents，必须配置Ambari Server主机到集群其它主机的SSH免密码连接。以下配置用于在hdp1上运行Ambari Server，在所有四台主机上运行Ambari Agents的情况。

1.  ssh-keygen  
2.  ... 一路回车 ...  
3.  ssh-copy-id oushum1
4.  ssh-copy-id oushum2
5.  ssh-copy-id oushus1
6.  ssh-copy-id oushus2

四台机器都执行以上命令。

1.  chmod 700 ~/.ssh  
2.  chmod 600 ~/.ssh/authorized_keys  

四台主机都要执行。

（6）安装MySQL JDBC驱动

1.  unzip mysql-connector-java-5.1.21.jar.zip
2.  cp ./mysql-connector-java-5.1.21.jar /usr/share/java/mysql-connector-java.jar

安装MySQL数据库
在oushum1上安装MySQL，oushum1上的MySQL用于Ambari。在oushum1上执行以下命令。

1.  rpm -ivh MySQL-5.6.14-1.el6.x86_64.rpm  
2.  service mysql start

建立本地Repository
（1）下载HDP-2.5.3.0-centos7-rpm.tar.gz，ambari-2.4.2.0-centos7.tar.gz，HDP-UTILS-1.1.0.21-centos7.tar.gz，oushu-database-full-3.1.1.0-rhel7-x86_64.tar.gz到本地
（2）在oushum1上建立一个HTTP服务器

yum install httpd  
mkdir -p /var/www/html/  
cd /var/www/html/ 
service httpd start

(3)构建HDP本地仓库

mkdir -p HDP
tar xf HDP-2.5.3.0-centos7-rpm.tar.gz -C /var/www/html/HDP

配置hdp的数据仓库

vim /etc/yum.repos.d/hdp.repo
[HDP-2.5.3.0]
name=HDP Version - HDP-2.5.3.0
baseurl=http://oushum1/HDP/HDP/centos7
gpgcheck=1
gpgkey=http://oushum1/HDP/HDP/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

(4)构建hdp-utils本地仓库

mkdir -p /var/www/html/HDP-UTILS
tar xf HDP-UTILS-1.1.0.21-centos7.tar.gz -c /var/www/html/HDP-UTILS

配置hdp-utils仓库

vim /etc/yum.repos.d/hdp.repo

[HDP-UTILS-1.1.0.21]
name=HDP Utils Version - HDP-UTILS-1.1.0.21
baseurl=http://oushum1/HDP-UTILS
gpgcheck=1
gpgkey=http://oushum1/HDP-UTILS/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

(5)构建ambari本地仓库

mkdir -p /var/www/html/ambari
tar xf ambari-2.4.2.0-centos7.tar.gz -C /var/www/html/ambari

构建配置文件

vim /etc/yum.repos.d/ambari.repo

[Updates-ambari-2.4.2.0]
name=ambari-2.4.2.0 - Updates
baseurl=http://192.168.44.138/ambari/AMBARI-2.4.2.0/centos7/2.4.2.0-136
gpgcheck=1
gpgkey=http://192.168.44.138/ambari/AMBARI-2.4.2.0/centos7/2.4.2.0-136/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

安装ambari

yum install ambari-server  

为Ambari配置MySQL数据库*

（1）在hdp1上的MySQL中建立Ambari数据库用户并授权

1.  # mysql -u root -p  
2.  create user 'ambari'@'%' identified by 'ambari';  
3.  grant all privileges on *.* to 'ambari'@'%';  
4.  flush privileges;  

（2）建立Ambari Server数据库模式

1.  # mysql -u ambari -p  
2.  create database ambari;  
3.  use ambari;  
4.  source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;

配置Ambari Server
启动Ambari Server前必须进行配置，指定Ambari使用的数据库、安装JDK、定制运行Ambari Server守护进程的用户等。在hdp1上执行下面的命令管理配置过程。

1. ambari-server setup

• Customize user account for ambari-server daemon提示时输入n，使用root用户运行Ambari Server。
• 选择JDK 1.7。
• Enter advanced database configuration提示时输入y，选择Option [3] MySQL/MariaDB，然后根据提示输入连接MySQL的用户名、密码和数据库名，这里均为ambari。

启动Ambari Server

ambari-server start  
# 查看Ambari Server进程状态  
ambari-server status  

接下来配置hdp等略过
安装HAWQ
搭建HAWQ本地仓库

mkdir -p /data1/localrepo
chown -R apache:root /data1/localrepo

将oushu-database-full-3.1.1.0-rhel7-x86_64.tar.gz上传到/data1/localrepo目录下

tar xzf oushu-database-full-3.1.1.0-rhel7-x86_64.tar.gz
chown -R apache:root /data1/localrepo
/data1/localrepo/oushu-database-full-3.1.1.0/setup_repo.sh
wget -P /etc/yum.repos.d/ http://yum.oushu-tech.com/oushurepo/oushudatabaserepo/centos7/3.1.1.0/oushu-database-noavx.repo
yum install -y oushu-database-ambari-plugin
cd /var/lib/hawq/
./add-hawq.py --stack HDP-2.5 --hawqrepo  http://oushum1/oushu/oushu-database

# 用户名密码请输入您的ambari登陆用户名密码，默认都为admin::

sudo ambari-server restart