kafka学习笔记(一)

一、Kafka注册到zk

1.1、kafka在zk中的整体注册信息结构

（图片来源：https://www.cnblogs.com/qingyunzong/p/9007107.html）

2.1、topic信息的注册

当broker启动时，会到对应topic节点下注册自己的broker.id到对应分区的ISR列表中；当broker退出时，zk会自动更新其对应的topic分区的ISR列表，ISR列表用于分区leader的选举。

#登录zkCli查看kafka节点分区信息（为了更直观的查看，对json进行了格式化）
[zk: 127.0.0.1:3181(CONNECTED) 59] get /brokers/topics/dataPush
{
    "version": 1,
    "partitions": {
        "2": [0, 1],
        "1": [2, 0],
        "0": [1, 2]
    }
}
cZxid = 0x1000000c4
ctime = Tue Dec 18 16:09:32 CST 2018
mZxid = 0x1000000c4
mtime = Tue Dec 18 16:09:32 CST 2018
pZxid = 0x1000000c7
cversion = 1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 58
numChildren = 1
[zk: 127.0.0.1:3181(CONNECTED) 60]

对应磁盘上的结构如下

二、Kafka副本机制

2.1、基本概念

Kafka的分区及副本会均匀的落到多个broker上

如果分区数为3，副本数为1，存储结构如下

如果分区数为3，副本数为2，则每个分区有两个个副本

kafka集群中，每个分区的副本保存在不同broker上，并且在这些副本中会选举出leader，其他为follower

2.2、Kafka副本同步机制

kafka副本创建分为同步复制和异步复制，由producer配置决定

>消息的确认模式
> # 0：只管发送，不管broker是否接收。这种方式为异步同步
> # 1：发送消息，并会等待leader 收到确认后。同步复制。
> # -1：发送消息，等待leader收到确认，并进行复制操作后，才返回，可靠性最高，同步复制。
> request.required.acks = 0

我们知道大部分集群系统都采用了超半数选举的策略来选举leader，如zk的zab算法，但是kafka不同，kafka内部动态维护了一个同步状态的副本集合（ISR），这个集合中的成员才有资格被选举为leader。只有所有ISR都收到写入，才认为对kafka分区的写入是commited。

同步过程如下

image.png

1：连接zk
2：由zk反馈leader信息
3：producer向leader发送消息，leader收到消息后，写入本地log
4：leader向消息同步到所有followers（实际是由followers 从leader pull消息），并将消息写入本地log
5：向leader发送ack消息
6：leader收到所有ack消息后，将ack反馈到producer

附录：
1：kafka consumer是线程非安全的，一个consumer对象只能一个线程操作。可以一个线程从kafka拉取数据，多个线程处理。