Hadoop简介

作者: SmallBird_ | 来源:发表于2019-08-28 16:59 被阅读0次

Hadoop : Hadoop是Apache基金会旗下的一个分布式系统基础架构.主要包括 : 分布式文件系统HDFS,分布式资源管理系统Yarn.可以使得用户在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的分布式能力进行运算和存储

Hadoop核心构成

分布式文件系统HDFS

   Hadoop分布式文件系统(HDFS)能提供对数据访问的高吞吐量,适用于大数据场景的数据存储,因为HDFS提供了高可靠性(多副本),高扩展性和高吞吐量的数据存储服务

资源管理系统Yarn

   Hadoop Yarn的基本思想是将资源管理和作业调度监控功能进行分离,是一个统一资源管理系统,可为运行在Yarn之上的分布式应用程序提供统一的资源管理和调度

HDFS和YARN的具体介绍有单章介绍~

我每天会写文章记录大数据技术从入门到精通,可以关注我的公众号"SmallBird技术分享",我们一起学习分享,并且回复'分享'会有大数据资源惊喜等着你~

相关文章

  • java大数据之hadoop

    一、Hadoop简介 1.1 Hadoop是什么 The Apache Hadoop project develo...

  • 大数据技术原理与应用:大数据处理架构Hadoop生态圈

    Hadoop生态圈 概述 Hadoop简介什么是Apache hadoop?Apache Hadoop项目是以可靠...

  • Hadoop简介

    什么是hadoop hadoop是apache下的一款开源分布式大数据处理框架,通过多台廉价机器搭建集群的方式 ,...

  • Hadoop简介

    Hadoop是一个Apache基金会所开发的分布式系统基础架构,具有高容错、高可靠性、高扩展性、高效、低成本等特点...

  • Hadoop简介

    从数据爆炸开始。。。 一、 第三次工业革命 第一次:18世纪60年代,手工工厂向机器大生产过渡,以蒸汽机的发明...

  • Hadoop简介

    Hadoop 介绍 Hadoop是Apache组织的一个分布式计算框架(java语言),其最核心的设计就是:HDF...

  • Hadoop简介

    Hadoop概述开源分布式计算平台,以HDFS、MapReduce为核心,为用户提供了系统底层细节透明的分布式基础...

  • hadoop简介

    Hadoop简介 *Hadoop 擅长处理一次写入,多次读出的数据 hadoop两大核心组件是 HDFS 和 ma...

  • Hadoop简介

    Hadoop产生的意义 随着信息社会的进步,信息数据的激增,海量数据的存储和分析成为难题,即使硬盘的存储容量不断提...

  • Hadoop简介

    1. Hadoop简介 由于几乎所有的书中都会提到Hadoop的发展史, 这里就不说Hadoop的历史时间线了. ...

网友评论

    本文标题:Hadoop简介

    本文链接:https://www.haomeiwen.com/subject/ydsmectx.html