由于HDFS中NN的重要性及数据存放在缓存中，所以容易发生下面两种情况：
1、单点故障
高可用HA，多NN，主备切换。HDFS1.x时只支持单个NN，2.x时支持1主一备，3.x支持1主5备，推荐一主三备
2、压力过大，内存受限
a、联邦机制 Federation 元数据分片
多个NN，管理不同的元数据，通俗来讲每个nn维护不同的命名空间
有利有弊，一个NN看不到全部的数据
由于HDFS中NN的重要性及数据存放在缓存中，所以容易发生下面两种情况：
1、单点故障
高可用HA，多NN，主备切换。HDFS1.x时只支持单个NN，2.x时支持1主一备，3.x支持1主5备，推荐一主三备
2、压力过大，内存受限
a、联邦机制 Federation 元数据分片
多个NN，管理不同的元数据，通俗来讲每个nn维护不同的命名空间
有利有弊，一个NN看不到全部的数据
由于HDFS中NN的重要性及数据存放在缓存中，所以容易发生下面两种情况： 1、单点故障 高可用HA，多NN，...
目录 HDFS F HDFS HA 为了解决HDFS1.0 中单点故障问题和内存受问题。提出了HDFS HA 和H...
HDFS-HA工作机制 通过双NameNode消除单点故障 两个NN，一个工作，一个备份 HDFS-HA自动故障转...
2019-02-20 一次使用impala的时候遇到这个问题根源是HDFS的data配置太小,小于xml中的配置,...
hdfs 集群为我们提供分布式的存储资源，hdfs 主要由namenode 和 datanode 组件构成，文件在...
Hadoop集群的联邦模式 注意:HDFS Federation是为了解决HDFS单点故障而提出的NameNode...
最近的hdfs集群出了一些故障，今天总结一下hadoop的几个具体的性能调优方法 1）HDFS参数调优hdfs-s...
汽车故障码的分析 故障码分析就是在读取故障码的基础上，结合其他的检测结果对所读取的故障码进行比较分析从而做出故障判...
背景 在Hadoop 2.0.0之前，NameNode是HDFS集群中的单点故障（single point of ...
在Hadoop2.X之前，Namenode是HDFS集群中可能发生单点故障的节点，每个HDFS集群只有一个name...
本文标题：HDFS故障分析
本文链接：https://www.haomeiwen.com/subject/kvyqwltx.html
网友评论