美文网首页Hadoop系Hadoop我爱编程
简单的介绍Hadoop的基本结构和其组件功能

简单的介绍Hadoop的基本结构和其组件功能

作者: 王晓航 | 来源:发表于2017-08-25 19:55 被阅读54次
Hadoop基本结构图

HDFS:分布式文件系统
MapReduce:分布式并行编程模型
YARN:资源管理和调度器
Tez:运行在YARN之上的下一代Hadoop查询处理框架
Hive:Hadoop上的数据仓库
HBase:Hadoop上的非关系型的分布式数据库
Pig:一个基于Hadoop的大规模数据分析平台,提供类似SQL的查询语言Pig Latin
Sqoop:用于在Hadoop与传统数据库之间进行数据传递
Oozie:Hadoop上的工作流管理系统
Zookeeper: 提供分布式协调一致性服务
Storm:流计算框架
Flume: 一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统
Ambari: Hadoop快速部署工具,支持Apache Hadoop集群的供应、管理和监控
Kafka:一种高吞吐量的分布式发布订阅消息系统,可以处理消费者规模的网站中的所有动作流数据
Spark: 类似于Hadoop MapReduce的通用并行框架

相关文章

网友评论

    本文标题:简单的介绍Hadoop的基本结构和其组件功能

    本文链接:https://www.haomeiwen.com/subject/wclpdxtx.html