Note10：kafka-0.11.0.0安装配置

下载安装

• 地址

• 个人选择这个版本kafka_2.11-0.11.0.0.tgz

• 解压

[kevin@hadoop112 software]$ tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module/

• 改名

[kevin@hadoop112 software]$ cd /opt/module/
[kevin@hadoop112 module]$ mv kafka_2.11-0.11.0.0/ kafka-0.11.0.0

配置

• 创建logs日志文件夹

[kevin@hadoop112 module]$ cd kafka-0.11.0.0
[kevin@hadoop112 kafka-0.11.0.0]$ mkdir logs

• 修改配置文件

[kevin@hadoop112 kafka-0.11.0.0]$ cd config/
[kevin@hadoop112 config]$ vim server.properties

修改内容：

#修改一：broker 的全局唯一编号，不能重复
broker.id=0

#修改二：去掉 # 注释
delete.topic.enable=true

# 修改三：kafka 运行日志存放的路径
log.dirs=/opt/module/kafka-0.11.0.0/logs

# 修改四：配置连接 Zookeeper 集群地址
zookeeper.connect=hadoop112:2181,hadoop113:2181,hadoop114:2181

• 配置环境变量

[kevin@hadoop112 config]$ sudo vim /etc/profile

#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka-0.11.0.0
export PATH=$PATH:$KAFKA_HOME/bin

[kevin@hadoop112 config]$ source /etc/profile

• 分发

[kevin@hadoop112 config]$ cd /opt/module/
[kevin@hadoop112 module]$ xsync.sh kafka-0.11.0.0/

• 在另外两台机器修改环境变量和 broker.id

[kevin@hadoop113 module]$ cd kafka-0.11.0.0/config
[kevin@hadoop113 config]$ vim server.properties

broker.id=1

[kevin@hadoop114 config]$ vim server.properties

broker.id=2

# 环境变量操作和上面的一样

使用测试

• 启动Zookeeper

[kevin@hadoop112 kafka-0.11.0.0]$ zk.sh start
[kevin@hadoop112 kafka-0.11.0.0]$ zk.sh status

• 启动Kafka集群（后面有脚本）

[kevin@hadoop112 kafka-0.11.0.0]$ bin/kafka-server-start.sh -daemon config/server.properties
[kevin@hadoop113 kafka-0.11.0.0]$ bin/kafka-server-start.sh -daemon config/server.properties
[kevin@hadoop114 kafka-0.11.0.0]$ bin/kafka-server-start.sh -daemon config/server.properties

• 查看集群是否成功启动

[kevin@hadoop112 kafka-0.11.0.0]$ xcall.sh jps

• 测试

# 查看当前服务器中的所有 topic
[kevin@hadoop112 kafka-0.11.0.0]$ bin/kafka-topics.sh --zookeeper hadoop112:2181 --list
# 创建 topic
[kevin@hadoop112 kafka-0.11.0.0]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --create --replication-factor 3 --partitions 3 --topic first
# 再查看当前服务器中的所有 topic
[kevin@hadoop112 kafka-0.11.0.0]$ bin/kafka-topics.sh --zookeeper hadoop112:2181 --list

first

• 关闭Kafka集群

[kevin@hadoop112 kafka-0.11.0.0]$ bin/kafka-server-stop.sh
[kevin@hadoop113 kafka-0.11.0.0]$ bin/kafka-server-stop.sh
[kevin@hadoop114 kafka-0.11.0.0]$ bin/kafka-server-stop.sh

脚本

• 新建 kfk.sh 文件

[kevin@hadoop112 kafka-0.11.0.0]$ cd ~/bin/
[kevin@hadoop112 bin]$ touch kfk.sh
[kevin@hadoop112 bin]$ chmod 775 kfk.sh
[kevin@hadoop112 bin]$ vim kfk.sh

• 编辑 kfk.sh

#!/bin/bash

case $1 in
"start"){
    for i in hadoop112 hadoop113 hadoop114
    do
        echo "=================       $i正在启动Kafka       ==============="
        ssh kevin@$i "source /etc/profile;/opt/module/kafka-0.11.0.0/bin/kafka-server-start.sh -daemon /opt/module/kafka-0.11.0.0/config/server.properties"
    done
};;

"stop"){
    for i in hadoop112 hadoop113 hadoop114
    do
        echo "=================       $i正在关闭Kafka       ==============="
        ssh kevin@$i "source /etc/profile;/opt/module/kafka-0.11.0.0/bin/kafka-server-stop.sh"
    done
};;
esac

• 使用

# 启动
[kevin@hadoop112 bin]$ kfk.sh start

# 关闭
[kevin@hadoop112 bin]$ kfk.sh stop

---