kafka 集群搭建

1.tar包下载：https://www.apache.org/dyn/closer.cgi?path=/kafka/1.0.0/kafka_2.11-1.0.0.tgz

2.将tar包解压缩  tar-xzf kafka_2.11-1.0.0.tgz

3.修改kafka默认配置：server.properties（kafka_2.11-1.0.0/config 目录下）

注意：此处主要是修改下zookeeper的集群地址，我这zookeeper是已经安装好的

3.启动kafka server:  

        >cd   kafka_2.11-1.0.0

        >bin/kafka-server-start.sh config/server.properties

注意：如果是多台机器，只需在每台机器上启动kafka-server即可（要保证每台机器上server.properties 中broker.id 是不同的）。

测试集群是否可用：

  1.创建topic 

     > bin/kafka-topics.sh --create --zookeeper spidercdh-01:2181 --replication-factor 1 --partitions 1 --topic test

    列出kafka中的topic > bin/kafka-topics.sh --list --zookeeper spidercdh-01:2181

  2. 启动生产者客户端（kafka带有命令行的生成者和消费者的客户端）：

             >bin/kafka-console-producer.sh --broker-list spidercdh-01:9092 --topic test

3.启动消费者客户端：

          > bin/kafka-console-consumer.sh --bootstrap-server spidercdh-02:9092 --topic test --from-beginning

  4.搭建结束（后台启动  nohup bin/kafka-server-start.sh config/server.properties > /home/kafka_nohup.log 2>&1 &）