为了连接strom和flink的的使用,选择了0.10.2.2版本的kafka。
一、下载,解压
地址:https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.2.2/kafka_2.12-0.10.2.2.tgz
解压指令:tar -zxvf kafka_2.10-0.8.2.2.tgz
二、修改配置
cd kafka_2.12-0.10.2.2/config/
vi server.propertie
mkdir /data/kafka-logs #在需要的地方新建log文件夹
下面是要修改的几个位置
broker.id=1 #每个机器的ID都应该不同
delete.topic.enable=true #使用指令删除topic的时候直接删除
log.dirs=/home/xxxx/data/kafka-logs #log日记保存的地址
listeners=PLAINTEXT://XXXXX:9092 #XXX是每个机子的IP地址
zookeeper.connect=127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002 #zookeeper的集群,格式Ip1:端口1,Ip2:端口2,······地址一般端口是2181
注意每个机器的配置文件都要修改,id和listeners的IP地址各不相同
三、启动kafka
./kafka_2.12-1.1.0/bin
./kafka-server-start.sh -daemon ../config/server.properties
使用jps查看启动情况
21380 Kafka
20316 QuorumPeerMain
23069 Jps
注意:QuorumPeerMain是zookeeper的进程,在启动kafka前需要先启动zookeeper
四、配置kafkamanager
在解压后的conf目录中打开 application.conf文件,修改其中的配置信息,最主要的内容为:
kafka-manager.zkhosts="10.11.6.52:2181,10.11.6.53:2181,10.11.6.54:2181" #修改成自己的zookeeper集群地址
启动kafkamanager
nohup ./kafka-manager &
jps查看启动情况
26076 ProdServerStart
浏览器输入:启动机器IP:9000,如10.11.6.52:9000
配置集群
点击【Cluster】>【Add Cluster】打开如下添加集群的配置界面:
创建集群
- 填写集群名称
- 填写zookeeper集群地址
- 选择kafka版本
注意如果没有在 Kafka 中配置过 JMX_PORT,千万不要选择第一个复选框Enable JMX Polling
如下配置修改bin/kafka-server-start.sh,添加JMX_PORT参数,添加后样子如下
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
export JMX_PORT="9999" #加入这条
fi
从Brokers中可以查看启动的kafka数目是否正常
Brokers信息
还可以直接在网页中创建topic等操作,查看broker的消费信息。










网友评论