【大数据】使用Docker搭建Hadoop集群

• 使用Docker命令启动集群

git clone https://github.com/bambrow/docker-hadoop-workbench.git
cd docker-hadoop-workbench
./start_demo.sh

启动后发现还是无法使用hadoop、hdfs、hive等命令，我们需要安装hadoop和hive

• 安装hadoop、hdfs
  前提安装好jdk
  去官网下载好hadoop，解压到/usr/local/hadoop路径下

sudo tar -zxf ~/Downloads/hadoop-3.2.2.tar.gz -C /usr/local
cd /usr/local
sudo mv  ./hadoop-3.2.2/ ./hadoop
sudo chown -R hadoop ./hadoop

这个时候我们进入bin路径下，即可执行./hadoop或者./hdfs等命令，我们接下来将其加入环境遍历以便全局使用这些命令，在~/.bashrc文件后面追加下面的内容。

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_INSTALL=/usr/local/hadoop
export HADOOP_MAPRED_HOME=/usr/local/hadoop
export HADOOP_COMMON_HOME=/usr/local/hadoop
export HADOOP_HDFS_HOME=/usr/local/hadoop
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

之后使用source ~/.bashrc命令即可刷新环境变量
追加了上述环境变量后即可全局执行hadoop和hdfs命令。
hdfs执行后有可能访问的还是本地的文件系统，这是因为配置错了。
配置/usr/local/hadoop/etc/hadoop/core-site.xml下的环境变量，使得hdfs可以链接到Docker集群的HDFS系统。

<configuration>
        <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000/</value>
        </property>
</configuration>

• 安装Hive
  Hive安装同上，也是先解压后设置环境变量即可
  解压

sudo mv apache-hive-2.1.1-bin.tar.gz /usr/local
sudo tar zxvf apache-hive-2.1.1-bin.tar.gz
sudo mv apache-hive-2.1.1-bin  hive
sudo chown –R hadoop:hadoop hive

设置环境变量

export HIVE_HOME=/usr/local/hive
export HIVE_CONF_DIR=$HIVE_HOME/conf
export CLASSPATH=$CLASSPATH:$HIVE_HOME/lib
export PATH=$PATH:$HIVE_HOME/bin