大数据集群的角色划分和组网方案

《第一篇：为大数据集群正确的选择硬件》，主要从基于工作负载的角度（IO-bound工作负载型，还是 CPU-bound工作负载型），分析了如何选择高性价比的合适硬件。本篇说的是大数据集群的角色划分和组网方案。

1，组网方案

    在典型配置下，集群采用双平面组网，如下图1-1所示

网络划分为2个平面：业务平面和管理平面，两个平面之间采用物理隔离的方式进行部署，保证业务、管理各自网络的独立性安全性（采用单平面组网时，不区分管理平面和业务平面）。        

l 管理平面：通过运维网络接入，主要用于集群管理，对外提供集群监控、配置、审计、用户管理等服务。

l 业务平面：通过业务平台接入，主要为用户或上层用户提供业务通道，对外提供数据存储、业务提交和计算的功能。

双平面组网主备管理节点还应支持设置外部管理网络的IP地址，用户可以通过外部“管理网络”进行集群管理。集群中每个节点分别接入管理平面和业务平面，每个节点需要一个管理IP地址和一个业务IP地址，每个IP地址用两个网络接口配置Bond，分别接入两个接入交换机。各节点的业务平面建议采用10GE带宽（如图1-2中MN1、CN3和DN4），业务平面接入交换机与汇聚交换机之间建议采用10GE带宽，业务平面汇聚交换机的堆叠带宽建议设置为40GE。以二层组网为例，双平面隔离组网方案如图1-2所示，图中A、B、C为部署有管理节点和控制节点的机架，称为基本框，D为根据业务需要线型扩展的机架，称为扩展框。

2，集群主机和角色分布

主要角色：

l 管理节点（Master Hosts）：主要用于运行Hadoop的管理进程，比如HDFS的NameNode，YARN的ResourceManager。

l 工具节点（Utility Hosts）:主要用于运行非管理进程的其他进程，比如Cloudera Manager和Hive Metastore。

l 边缘节点（Edge Hosts）：用于集群中启动作业的客户端机器，边缘节点的数量取决于工作负载的类型和数量

l 数据节点（Worker Hosts）：主要用于运行DataNode以及其他分布式进程，比如ImpalaD。

    根据集群的规模，推荐的角色划分如下所示，实际部署时，根据工作负载的类型和数量、集群中部署的服务、硬件资源、配置和其他因素，依据下面推荐建议优化角色的主机分布

 表2-1：3 - 10 Worker Hosts without High Availability

表2-2：3- 20 Worker Hosts with High Availability

表2-3：20- 80 Worker Hosts with High Availability

3，Hadoop其他网络要求

1.所有的Hadoop服务器节点应该是独有的网络，而不存在跟其他应用程序的节点共享网络I/O的情况。

2.每个服务器应该都配置静态IP。如果配置了动态IP，在机器重启或者DNS租约过期时，机器的IP地址会改变，这将导致Hadoop服务故障。

3.专用TOR交换机。

4.专用的核心交换刀片或者核心交换机。

5.尽量保证应用服务器与Hadoop“近”一些。

6.CDH只支持IPv4，不支持IPv6

7.机架之间的网络连接速度应该足够快。

8.确保网络接口对于集群中的所有节点应该是一致的。（比如MTU设置应该一样）

9.关闭所有节点的Huge Page compaction

10.确保集群中的所有网络连接都会被监控，比如冲突和丢包问题。以方便后期进行排障。

4，总结及参考文献 

https://www.cloudera.com/documentation/enterprise/5/latest/topics/cm_ig_host_allocations.html