美文网首页python大法攻略我爱编程
hadoop分布式框架的配置

hadoop分布式框架的配置

作者: 眼君 | 来源:发表于2017-11-20 12:33 被阅读21次

网络配置和主机名

为了保证以后配置分布式集群的时候IP不会变动,保证你的IP使用的是静态IP。主机名也改成一个固定的。

JAVA环境配置

因为hadoop的运行需要依赖JAVA环境,因此必须将JAVA的主目录路径配置到环境变量中去。

由于不同系统的Java安装目录不一样,我们可以使用 对应命令先查看JAVA安装目录的位置,如下是MAC环境查看JAVA主目录的地址的命令:

>>/usr/libexec/java_home -V

之后打开配置文件配置环境变量JAVA_HOME,如下是MAC环境的环境变量配置文件位置:

>>vim ~/.bash_profile

打开后需要添加环境变量JAVA_HOME,并将JAVA_HOME中bin文件夹的路径添加到PATH环境变量中:

配置环境变量

由于这个配置文件每次开机只会启动一次,为了让其立即生效,需要执行如下命令进行激活:

>>source  /.bash_profile

此时,可以运行如下命令测试JAVA环境是否安装成功:

>>java -version

安装配置Hadoop

安装好的hadoop目录下有几个比较重要的目录:

sbin:启动或停止hadoop相关服务的脚本。

bin:对hadoop相关服务(HDFS、YARN)进行操作的脚本。

etc:Hadoop的配置文件目录。

share:Hadoop的依赖jar包和文档,文档可以被删除。

lib:Hadoop的本地库(对数据库进行压缩功能的)

启动Hadoop需要先配置hadoop/etc目录下的六个配置文件:

hadoop-env.sh

这个配置文件里需要给hadoop配置JAVA环境:

hadoop-env.sh

core-site.xml

这个配置文件用于给hadoop配置HDFS的namenode的地址和端口号。

第二个property中配置的是hadoop运行时产生数据的存储目录。

core-site.xml

hdfs-site.xml

这个配置文件用于给hadoop配置HDFS上数据副本(包含原数据)的数量。

hfs-site.xml

mapred-site.xml

注意:在较新版的hadoop中,这个文件被命名为mapred-site.xml.template,此时需要先改变其名称。这个配置文件用于指定mapreduce编程模型运行在yarn上。

mapred-site.xml

yarn-site.xml

yarn-site.xml

HDFS初始化

也就是格式化HDFS中的数据。

先进入hadoop目录的bin文件夹下,找到hdfs命令文件。

hadoop的bin文件夹

在当前目录下执行以下命令:

>>./hdfs namenode -format

启动hadoop

先进入到hadoop主目录下的sbin文件夹下:

hadoop/sbin

公私钥对的免密码登录

根目录下,进入.ssh文件夹,输入一下命令

>>ssh-keygen -t rsa

然后输入四个回车即得到一对公私钥匙:

公私钥对

>>ssh-copy-id IP地址

这个命令可以将公钥拷贝到指定IP上。

>>ssh-copy-id localhost即可将公钥拷贝到自己到本地主机上,接下来就可以在hadoop中进行免密码登录了。

相关文章

  • Apache Hadoop

    Hadoop = HDFS(分布式⽂件系统) + MapReduce(分布式计算框架) + Yarn(资源协调框架...

  • HBase使用场景和成功案例

    Hadoop 是一个能够对大量数据进行分布式处理的软件框架。分布式集群框架通常是Hadoop+Hbase+Zook...

  • 环境搭建小攻略

    Hadoop的学习使用,提供大概思路; Hadoop的安装和配置 Hadoop的核心架构 伪分布式集群配置 完全分...

  • hadoop分布式框架的配置

    网络配置和主机名 为了保证以后配置分布式集群的时候IP不会变动,保证你的IP使用的是静态IP。主机名也改成一个固定...

  • Hadoop 学习笔记 1

    Hadoop 基本组成结构 Hadoop HDFS 分布式文件系统 Map Reduce 分布式离线并行计算框架 ...

  • Hdfs的Federation(联盟)

    图解Federation Federation的配置 将上篇《Hadoop分布式部署》的hadoop-mast...

  • 简单介绍

    hadoop是什么 hadoop是一个由Apache基金会所开发的分布式系统基础框架 hadoop实现了一个分布式...

  • 大数据与Hadoop 、 分布式文件系统 、 分布式Hadoop

    Hadoop Hadoop分布式集群 单机安装部署 购买云主机 主机IP地址配置hadoop1192.168.1....

  • [Hadoop踩坑]集群分布式环境配置

    在配置集群/分布式模式时,需要修改/usr/local/hadoop/etc/hadoop目录下的配置文件,这里仅...

  • Hadoop分布式集群搭建

    Hadoop分布式集群和前面的伪分布式安装方法类似,Hadoop用户创建,ssh配置,java环境安装,Hadoo...

网友评论

    本文标题:hadoop分布式框架的配置

    本文链接:https://www.haomeiwen.com/subject/orcvvxtx.html