Mac单机安装Hadoop

环境：

Mac: 10.14.2
Hadoop: 2.9.2
Java: 1.8.0_144

1. 下载并解压

从官网下载解压到Mac目录中。并设置环境变量。

export HADOOP_HOME=/Users/Cyan/coding/hadoop/hadoop-2.9.2
export PATH=$PATH:$HADOOP_HOME/bin

运行

hadoop version

查看是否安装成功。

Hadoop 2.9.2
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r 826afbeae31ca687bc2f8471dc841b66ed2c6704
Compiled by ajisaka on 2018-11-13T12:42Z
Compiled with protoc 2.5.0
From source with checksum 3a9939967262218aa556c684d107985

2. 修改hadoop配置

2.1 修改hadoop-env.sh文件

直接设置 JAVA_HOME 的路径，不要用$JAVA_HOME 代替，因为 Hadoop 对系统变量的支持不是很好（未验证）。

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_144.jdk/Contents/Home
export HADOOP_CONF_DIR=/Users/wh/hadoop/hadoop-2.9.2/etc/hadoop

2.2 修改 core-site.xml 文件

设置 Hadoop 的临时目录和文件系统，localhost:9000 表示本地主机。在 core-site.xml 文件里作如下配置：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>

  <!--用来指定hadoop运行时产生文件的存放目录自己创建-->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/Users/wh/server/hadoop-2.9.2/tmp</value>
  </property>
</configuration>

2.3 修改 hdfs-site.xml 文件

hdfs-site.xml 的配置修改如下，注意 name 和 data 的路径都要替换成本地的路径：

<configuration>
  <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    
  <!--不是root用户也可以写文件到hdfs-->
    <property>
        <name>dfs.permissions</name>
        <value>false</value> <!--关闭防火墙-->
    </property>
        
  <!--把路径换成本地的name所在位置-->
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/Users/wh/server/hdfsdata/name</value>
  </property>
  
  <!--在本地新建一个存放hadoop数据的文件夹，然后将路径在这里配置一下-->
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/Users/wh/server/hdfsdata/data</value>
  </property>
</configuration>

2.4 修改 mapred-site.xml 文件

由于根目录下 etc/hadoop 中没有 mapred-site.xml 文件，所以需要创建该文件。但是目录中提供了 mapred-site.xml.template 模版文件。我们将其重命名为 mapred-site.xml，然后将 yarn 设置成数据处理框架：

<configuration>
  <property>
    <!--指定mapreduce运行在yarn上-->
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration

2.5 修改 yarn-site.xml 文件

配置数据的处理框架 yarn：

<configuration>

<!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

至此需要修改和配置的文件都已经没有问题了。

3 运行hadoop

3.1 格式化文件系统

hdfs namenode -format

注意：显示SHUTDOWN_MSG其实是成功的状态。

3.2 启动Namenode和Datanode服务

sbin/start-dfs.sh

运行时需要Remote Login权限，需要在Mac的系统设置Share中开启。
启动成功后可访问： http://localhost:50070/

3.3 启动yarn

sbin/start-yarn.sh

成功后可访问：http://localhost:8088/

3.4 查看运行中的服务

jps

可查看当前运行中的hadoop程序。

引用

1. https://zhuanlan.zhihu.com/p/33117305
2. https://segmentfault.com/a/1190000009103629
3. http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html