【大数据】集群 zk 连接数过多问题排查
背景：
周末接受到信总报警，说我们查询 hbase 的服务日志爆了，回头看应用日志，发现一直在报 zk 的连接问题
image.png
到集群上看了下 801 主机 zk 连接数量居然达到了 2040，查看下 zk 的 maximum client connect 配置为 2000
超过了最大连接数，自然会报错。
image.png
登陆应用主机，输入
netstat -an | grep -I 2181
检查和 zk 的连接
发现确实上千
思考了一下查询 hbase 什么时候会和 zk 建立连接？
每次建立 Hbase 连接的时候会去建立 zk 的连接，Hbase 连接应该是单例的类，检查代码发现
image.png
Connection 为方法参数，这样势必会造成 connection 每次创建完不释放的问题
改为静态变量问题解决：
image.png
转自 集群 zk 连接数过多问题排查 【大数据】集群 zk 连接数过多问题排查 背景： 周末接受到信总报警，说我们...
【大数据】集群 zk 连接数过多问题排查 背景： 周末接受到信总报警，说我们查询 hbase 的服务日志爆了，回头...
zk进行 kafka 集群元数据和状态管理，未来将去zk，用Raft实现，zk集群主要作用： 1）存元数据: 主题...
zk集群数据迁移和恢复 一、zk数据迁移，有如下两种方案： 1、利用zk集群超过半数仍然可用的特性，比如集群中有5...
一、连接zk 由于kafka的各种元数据都存储在zk，要连接kafka集群也要通过zk获取各个broker的ip端...
ZK的数据存储、集群间通信及数据同步 zk中所有数据都是放在内存中的，当然也有snapshot、事务日志。 sna...
现象一： 当zk连接数特别大的时候，topic的partition不断做重新选举leader或者broker与zk...
背景 集群磁盘被打爆，导致集群不可用。排查原来是hives的中间数据导致的问题 1、临时数据 1.1、计算引擎的临...
在了解 ZK 底层原理之前，咱们先简单了解常用的 ZK 命令，熟悉常用 ZK 命令有利于排查相关问题或了解基于 Z...
ZK集群中角色 Leader 提供数据读和写能力 负责集群写请求的协调 同步数据到follower 参与选举 Fo...
本文标题：【大数据】集群 zk 连接数过多问题排查
本文链接：https://www.haomeiwen.com/subject/vcptpqtx.html
网友评论