Kafka相关命令

Kafka常用命令

Kafka中文文档： https://kafka.apachecn.org/

Kafka英文文档：https://kafka.apache.org/

broker-list、bootstrap-server、zookeeper 参数区别

消费侧

--broker-list 不可用于消费侧

--zookeeper和--bootstrap-server 的都是对于消费者来说的，主要区别是消费的信息存储的位置，

--zookeeper 将消费的进度(offset)是写到zookeeper，--bootstrap-server 将消费的进度(offset)是写到Kafka。

kafka 0.8.0之后的版本才有的这个参数，--bootstrap-server ，建议使用--bootstrap-server

生产侧

--zookeeper 不可用于生产侧

--broker-list和--bootstrap-server 都可以用于生产者，指定集群中的一个或者多个服务器。

后面可以指定多个服务器，防止一个服务挂掉生产者导致无法生产消息

Kafka相关使用命令

启动Kafka

kafka-server-start.sh -daemon config/server.properties  # -daemon 表示以后台进程启动

创建消息[以下两个命令等同]

kafka-topics.sh --create  --topic frist --bootstrap-server 9.9.9.101:9092 --partitions 3 relication-factor 2

kafka-topics.sh --create  --topic frist --zookeeper 9.9.9.101:2181 --partitions 3 relication-factor 2

#--topic frist  指定消息名为Frist
#--bootstrap-server 指定服务端地址，多个地址以逗号分割，后面可以指定多个服务器，防止一个服务挂掉生产者导致无法生产消息
#--zookeeper 指定kafka地址
#--partitions 3 分区数为3
#--relication-factor 2 副本数为2

创建生产者

 kafka-console-producer.sh --topic frist --bootstrap-server 9.9.9.102:9092

创建消费者

kafka-console-consumer.sh --topic frist --bootstrap-server 9.9.9.103:9092 --from-beginning

#--from-beginning 表示从头开始消费

查看所有主题

kafka-topics.sh --list --zookeeper localhost:2181

查看主题分区等描述信息

#未指定topic名称，查询所有
kafka-topics.sh --describe  --zookeeper localhost:2181

#指定topic名称，查询指定主题描述
 kafka-topics.sh --describe  --zookeeper localhost:2181 --topic frist