美文网首页
Kafka 集群安装 & Kafkamanager 查看

Kafka 集群安装 & Kafkamanager 查看

作者: 大大大大大大大熊 | 来源:发表于2018-08-23 15:35 被阅读0次

为了连接strom和flink的的使用,选择了0.10.2.2版本的kafka。

一、下载,解压

地址:https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.2.2/kafka_2.12-0.10.2.2.tgz

解压指令:tar -zxvf kafka_2.10-0.8.2.2.tgz

二、修改配置

cd kafka_2.12-0.10.2.2/config/
vi server.propertie
mkdir /data/kafka-logs  #在需要的地方新建log文件夹

下面是要修改的几个位置

broker.id=1  #每个机器的ID都应该不同
delete.topic.enable=true #使用指令删除topic的时候直接删除
log.dirs=/home/xxxx/data/kafka-logs #log日记保存的地址
listeners=PLAINTEXT://XXXXX:9092  #XXX是每个机子的IP地址
zookeeper.connect=127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002 #zookeeper的集群,格式Ip1:端口1,Ip2:端口2,······地址一般端口是2181

注意每个机器的配置文件都要修改,id和listeners的IP地址各不相同

三、启动kafka

./kafka_2.12-1.1.0/bin
./kafka-server-start.sh -daemon ../config/server.properties

使用jps查看启动情况

21380 Kafka
20316 QuorumPeerMain
23069 Jps

注意:QuorumPeerMain是zookeeper的进程,在启动kafka前需要先启动zookeeper

四、配置kafkamanager

在解压后的conf目录中打开 application.conf文件,修改其中的配置信息,最主要的内容为:

kafka-manager.zkhosts="10.11.6.52:2181,10.11.6.53:2181,10.11.6.54:2181"  #修改成自己的zookeeper集群地址

启动kafkamanager

nohup ./kafka-manager &
jps查看启动情况
26076 ProdServerStart

浏览器输入:启动机器IP:9000,如10.11.6.52:9000

配置集群

点击【Cluster】>【Add Cluster】打开如下添加集群的配置界面: 创建集群
  1. 填写集群名称
  2. 填写zookeeper集群地址
  3. 选择kafka版本

注意如果没有在 Kafka 中配置过 JMX_PORT,千万不要选择第一个复选框Enable JMX Polling

如下配置修改bin/kafka-server-start.sh,添加JMX_PORT参数,添加后样子如下

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
    export JMX_PORT="9999"  #加入这条
fi

从Brokers中可以查看启动的kafka数目是否正常


Brokers信息

还可以直接在网页中创建topic等操作,查看broker的消费信息。

相关文章

网友评论

      本文标题:Kafka 集群安装 & Kafkamanager 查看

      本文链接:https://www.haomeiwen.com/subject/qmopiftx.html