美文网首页我爱编程
hadoop搭建完全分布式

hadoop搭建完全分布式

作者: markDownMan | 来源:发表于2018-04-06 19:57 被阅读32次

1.准备环境

1台namenode

3台datenode

静态IP地址分别为,(若是虚拟机,注意mac地址要不同)

192.168.204.3   node1

192.168.204.4  node2

192.168.204.5  node3

192.168.204.6   node4

为每台机器配置hosts

#vi /etc/hosts

2.分工

namenode为node1

datenode为node2&secondary  namenode

datenode为node3

datenode为node4

3.时间同步(全部机器均要运行)

yum  install ntp -y

ntpdate ntp1.aliyun.com

4.node1设置免密钥登录其他机器

      (1)在/root/.shh/目录生成公钥和私钥,每个机器均运行#ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

      (2) 将node1的将 /tmp/id_dsa.pub 上面的公钥文件追加到/root/.ssh/authorized_keys这个文件上面,做一个免密钥

     #cat /tmp/id_dsa.pub >> /root/.ssh/authorized_keys

然后在node1机器上shh node1,如果不需要输

入密码,则成功

再把/root/.ssh/authorized_keys这个文件,拷贝到其他机器上,

#scp   /root/.ssh/id_dsa.pub   node2:/tmp/

#scp   /root/.ssh/id_dsa.pub   node3:/tmp/

#scp   /root/.ssh/id_dsa.pub   node4:/tmp/

   (3)(除了node1每个机器都要)把拷贝过来的id_dsa.pub 追加到/root/.ssh/authorized_keys

   (4)在node1上ssh其他机器,不需要输入密码,则成

4.为每个机器装上jdk

详细,请自行百度

添加环境变量

#vi /etc/profile

在最后追加


5.为node1装上tengine

详细,请查看链接Linux下tengine/nginx的安装配置 - CSDN博客

6.为node1装上hadoop,然后拷贝

(1)下载好hadoop-2.5.1

#tar-zxvf hadoop-2.5.1 -C /home  #解压到制定目录

(2)添加环境变量,hadoop所在目录在/home/hadhadoop-2.5.1

#vi /etc/profile

在后面追加

(3)source /etc/profile   #使/etc/profile里的配置立即生效

(4)输入hdfs,和start,然后按tab键,看是否出现,出现则成功

(5)修改配置文件

#cd /home/hadoop-2.5.1/etc/hadoop

#ls

a.修改hadoop-env.sh

#vi   hadoop-env.sh

# echo ${JAVA_HOME}  #获取目录

找到这个

将# echo ${JAVA_HOME}  #获取目录替换图上面的java_home

b.修改core-site.xml

#vi    core-site.xml

添加属性

c.修改hdfs-site.xml

#vi   hdfs-site.xml

d.指定secondnamenode

#vi   masters

e.添加datenode

#vi  slaves

(7)删掉hadoop的doc文件(无用)目的拷贝hadoop到其他机器速度快点

#vi -rf  home/hadoop-2.5.1/share/doc

(8)把hadoop拷贝到其他机器

#scp -r  home/hadoop-2.5.1   node2:/home/

(9)在node1格式化 namenode

#hdfs namenode   -format

如果出现warn或fatal,就是出现错误

(10)启动hdfs

#start-dfs.sh

(11)在浏览器输入192.168.204.3:50070

(12)有错误,请去/hadoop-2.5.1/logs看日志

相关文章

网友评论

    本文标题:hadoop搭建完全分布式

    本文链接:https://www.haomeiwen.com/subject/ynkdhftx.html