美文网首页
Linux下的Hadoop安装

Linux下的Hadoop安装

作者: 思君_4cd3 | 来源:发表于2019-05-08 15:53 被阅读0次

Hadoop的安装:

1.sudo cp hadoop-2.6.0-cdh5.6.0.tar.gz /usr

将Hadoop安装包移到usr下


将Hadoop安装包移到usr下
2.sudo tar zxvf hadoop-2.6.0-cdh5.6.0.tar.gz

解压缩


解压缩
3.sudo chown -R hadoop:hadoop hadoop-2.6.0-cdh5.6.0

修改所有者为hadoop


修改所有者
4.sudo mv hadoop-2.6.0-cdh5.6.0 hadoop

修改名字为hadoop


修改名字
5.vi ~/.bashrc

修改配置文件
将以下内容写在最后一行

export HADOOP_INSTALL=/usr/hadoop
export PATH=PATH:HADOOP_INSTALL/bin
export PATH=PATH:HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=HADOOP_INSTALL export HADOOP_COMMON_HOME=HADOOP_INSTALL
export HADOOP_HDFS_HOME=HADOOP_INSTALL export YARN_HOME=HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=HADOOP_INSTALL/lib/native export HADOOP_OPTS="-Djava.library.path=HADOOP_INSTALL/lib"

写入

写完后:wq!保存退出编辑模式

6.source ~/.bashrc

重新载入配置文件


重新载入
7.cd /hadoop/etc/hadoop/

进入etc下的hadoop目录下


进入目录
8.vi hadoop-env.sh

配置hadoop-env.sh文件内容


注释掉

将上面这句话前面加#注释掉


加入
在后面加上如下语句

export JAVA_HOME=/usr/jdk18
export HADOOP_PREFIX=/usr/hadoop

export HADOOP_OPTS="-Djava.library.path=HADOOP_PREFIX/lib:HADOOP_PREFIX/lib/nativ"

后保存退出

9.vi core-site.xml

打开这个文件


打开文件

加入如下语句:

<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/tmp</value>
<description>Abase?for?other temporary directories.
</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>

加入后
10.cp mapred-site.xml.template mapred-site.xm

将mapred-site.xml.template文件复制一份名为mapred-site.xml的文件
修改mapred-site.xml文件


复制
打开文件

加入以下语句:

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

添加后
11.vi yarn-site.xml

打开文件


打开

加入以下语句

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

修改
12.vi hdfs-site.xml
进入文件 进入

添加以下内容:

<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/hadoop/dfs/data</value>
</property>

修改后
13. ./bin/hdfs namenode -format

后退两个目录格式化


格式化
格式化成功
14. ./sbin/start-all.sh

启动Hadoop用户命令


启动 过程
15 jps

查看进程


六个进程

如果显示6个进程则说明配置成功

16 http://localhost:50070/

把localhost换成自己的IP地址查看虚拟机状态
(此文章仅作为个人学习笔记使用,如有错误欢迎指正~)

相关文章

网友评论

      本文标题:Linux下的Hadoop安装

      本文链接:https://www.haomeiwen.com/subject/clmmoqtx.html