备注:测试版本 6.3.1
一.HDFS HA
HDFS的NameNode是一个单点,一个集群里面一般只有一个NameNode,当NameNode出现故障,Secondary NameNode并不会直接进行failover切换成为新的NameNode。
为了解决这个问题,HDFS在同一个集群里面运行两个NameNode,区别于Secondary NameNode,第二个NameNode被成为standby NameNode,可以提供自动的failover功能,一个集群里面最多只能有2个NameNode。同一时间,一个集群里面只有一个运行的NameNode。
CDH里面已经把这个做成了图形化界面操作,太方便了
1.1 启用HA
image.png
1.2 设置备用的NameService
image.png
1.3 选择备用的主机
image.png
image.png
image.png
1.4 审核更改
默认配置即可,录入 JournalNode目录
image.png
1.5 命令详细信息
等待命令执行完成
image.png
1.6 最后步骤
需要手工配置hue和hive,按照操作指导来即可
image.png
1.7 重启后
image.png
1.8 Hue 设置
Hue -> 配置 -> HDFS web界面角色 -> 选择httpfs,没有则在hdfs里添加角色。
image.png
1.9 Hive 设置
image.png
image.png
image.png
1.10 重启Impala
image.png
二.YARN HA
可以跟HDFS一样添加HA,如果HDFS已经启用HA,那更简单,添加一个ResourceManager,重启即可,CDH会自动部署高可用。
2.1 添加ResourceManager
image.png
2.2 选择ResourceManager 所在主机
image.png
image.png
2.3 启动新增的ResourceManager
image.png
image.png
2.4 重启YARN
image.png
image.png
三.Hive HA
同YARN。添加MataStore Server和HiveServer2,重启自动部署。
3.1 添加MataStore Server和HiveServer2
image.png
image.png
3.2 重启hive
image.png
image.png
参考
1.https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/admin_ha.html
2.https://blog.csdn.net/lingeio/article/details/97753136











网友评论