hadoop-2.7.3集群的搭建

设置静态IP

关闭防火墙（如果没有关闭，上传文件到hdfs会出错，还存在其他错误）

在hadoop-2.7.3\etc\hadoop\目录下修改配置文件

1. 配置hadoop-env.sh

• 设置JAVA_HOME

• 配置yarn-env.sh

• 配置JAVA_HOME

• 配置slaves

  • 清空并添加
    slave1
    slave2

• 配置core-site.xml，添加属性
  <--用来指定HDFS老大(NameNode)的地址-->
  <property>
  <name>fs.defaultFS</name>
  <value>hdfs://master:9000</value>
  </property>
  <--用来指定在序列文件中读写缓冲区的大小(128M)-->
  <property>
  <name>io.file.buffer.size</name>
  <value>131072</value>
  </property>
  <--用来指定Hadoop运行时产生文件的存放目录-->
  <property>
  <name>hadoop.tmp.dir</name>
  <value>file:/usr/app/install/hadoop-2.7.3/tmp</value>
  <description>Abase for other temporary directories.</description>
  </property>

• 配置hdfs-site.xml，添加属性

  <property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>master:9001</value>
  </property>
  <property>
  <name>dfs.namenode.name.dir</name>
  <value>file:/usr/app/install/hadoop-2.7.3/hdfs/name</value>
  </property>
  <property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/usr/app/install/hadoop-2.7.3/hdfs/data</value>
  </property>
  <--指定HDFS保存数据副本的数量-->
  <property>
  <name>dfs.replication</name>
  <value>3</value>
  </property>
  <property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
  </property>
  <--指定block大小为128M-->
  <property>
  <name>dfs.blocksize</name>
  <value>134217728</value>
  </property>

• 配置mapred-site.xml

  <property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
  </property>
  <property>
  <name>mapreduce.jobhistory.address</name>
  <value>master:10020</value>
  </property>
  <property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>master:19888</value>
  </property>

• 配置yarn-site.xml

  <property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
  </property>
  <property>
  <name>yarn.resourcemanager.address</name>
  <value>master:8032</value>
  </property>
  <property>
  <name>yarn.resourcemanager.scheduler.address</name>
  <value>master:8030</value>
  </property>
  <property>
  <name>yarn.resourcemanager.resource-tracker.address</name>
  <value>master:8031</value>
  </property>
  <property>
  <name>yarn.resourcemanager.admin.address</name>
  <value>master:8033</value>
  </property>
  <property>
  <name>yarn.resourcemanager.webapp.address</name>
  <value>master:8088</value>
  </property>

ssh无密钥登录

复制Hadoop配置好的包到其他Linux主机

通过./bin/hdfs namenode -format 格式化hdfs