【Hadoop大数据基础】##
第三节 Hadoop分布式集群安装
3.1 环境准备
3.2 服务器规划
3.3 tar上传服务器和解压情况
3.4 修改profile文件
3.5 SHH免签设置
3.6 hosts文件修改
3.7 将hadoop目录scp到其他2台服务器上
3.8 hadoop启动
3.1. 环境准备：
-
3台阿里云服务器: 10.0.73.21； 10.0.73.20 ； 10.0.73.6；
-
hadoop-2.6.0.tar.gz
-
jdk-8u65-linux-x64.tar.gz
3.2. 服务器规划：
3.2-01.png
3.3. tar上传服务器和解压情况：
3.3-01.png
jdk解压：
3.3-02.png
hadoop解压：
3.3-03.png
解压之后：
3.3-04.png
3.4. 修改profile文件：
3.4-01.png
在profile文件上添加如下图信息：
3.4-02.png
使profile文件生效：
3.4-03.png
3.5. SHH免签设置：
1） 检查系统是否安装了ssh：
3.5-01.png
如果没有按照那么就用yum和rpm 可以通过yum或rpm安装包进行安装 yum install ssh 上图显示已经按照！
2） ssh的rsa秘钥生成：ssh-keygen -t rsa -P ''
3.5-02.png
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 将生成的公钥id_rsa.pub 内容追加到authorized_keys：
3.5-03.png
3）这里需要将另外2台节点的id_rsa.pub内容添加到本机的authorized_keys文件中：
3.5-04.png
4）将本机的authorized_keys文件scp到其他2台服务器：
3.5-05.png
5）记得要设置600的权限给authorized_keys
chmod 600 .ssh/authorized_keys：
3.5-06.png
3.6. hosts文件修改：
该文件另外2台服务器也要跟着修改：
3.6-01.png
hadoop文件修改：
1）进入$HADOOP_HOME/etc/hadoop目录如下图：
3.6-02.png
2）修改hadoop-env.sh文件如下：
3.6-03.png
3）修改yarn-env.sh文件如下：
3.6-04.png
4）修改core-site.xml文件如下：
3.6-05.png
5）修改hdfs-site.xml文件如下：
3.6-06.png
6）修改mapred-site.xml文件如下：
3.6-07.png
7）修改yarn-site.xml文件如下：
3.6-08.png
8）修改slaves文件如下：
3.6-09.png
3.7. 将hadoop目录scp到其他2台服务器上：
3.7-01.png
3.8. hadoop启动
1）格式化HDFS 格式化NameNode,不需要每次启动都需要格式化,机器第一次启动的时候需要格式化一次；如果多次格式化，注意要保持datanode的clusterID一致，否则要出现nodes instead of minReplication (=1). There are 0 datanode(s) running an的错误！
3.8-01.png
2）启动hadoop
3.8-02.png
3）查看各节点情况：
3.8-03.png
3.8-04.png
3.8-05.png
以上内容由小张网校学员-Like提供
更多课程可以关注
【微信公众号】小张网校
公众号内有微信群，扫描加入后更多大牛交流学习
网友评论