MQ入门总结（六）Kafka的原理和使用
Kafka的架构原理，你真的理解吗？
真的，Kafka 入门一篇文章就够了
Kafka 常用命令总结
一、kafka架构
- Zookeeper用于保存集群配置、选举Leader等
- 集群中有许多broker用于堆积消息，Kafka支持水平扩展，一般broker数量越多，集群吞吐率越高。
- Producer使用push模式将消息发布到broker。
- Consumer使用pull模式从broker订阅并消费消息。
二、kafka组件
- 话题（Topic）：是特定类型的消息流。消息是字节的有效负载（Payload），话题是消息的分类名或种子（Feed）名。
- 生产者（Producer）：是能够发布消息到话题的任何对象。
- 服务代理（Broker）：已发布的消息保存在一组服务器中，它们被称为代理（Broker）或Kafka集群。
- 消费者（Consumer）：可以订阅一个或多个话题，并从Broker拉数据，从而消费这些已发布的消息。
核心API
Kafka 有四个核心API，它们分别是
- Producer API：它允许应用程序向一个或多个 topics 上发送消息记录
- Consumer API：允许应用程序订阅一个或多个 topics 并处理为其生成的记录流
- Streams API：它允许应用程序作为流处理器，从一个或多个主题中消费输入流并为其生成输出流，有效的将输入流转换为输出流。
- Connector API：它允许构建和运行将 Kafka 主题连接到现有应用程序或数据系统的可用生产者和消费者。例如，关系数据库的连接器可能会捕获对表的所有更改
三、存储策略
-
kafka以topic来进行消息管理，每个topic包含多个partition，每个partition对应一个逻辑log，有多个segment组成。
-
每个segment中存储多条消息，消息id由其逻辑位置决定，即从消息id可直接定位到消息的存储位置，避免id到位置的额外映射。
-
每个part在内存中对应一个index，记录每个segment中的第一条消息偏移。
-
发布者发到某个topic的消息会被均匀的分布到多个partition上（或根据用户指定的路由规则进行分布），broker收到发布消息往对应partition的最后一个segment上添加该消息，当某个segment上的消息条数达到配置值或消息发布时间超过阈值时，segment上的消息会被flush到磁盘，只有flush到磁盘上的消息订阅者才能订阅到，segment达到一定的大小后将不会再往该segment写数据，broker会创建新的segment。
四、删除策略
1）N天前的删除。
2）保留最近的MGB数据。
消息不丢失
1、生产消息
1）通过 ACK 机制保证消息送达。Kafka 采用的是至少一次（At least once），消息不会丢，但是可能会重复传输。
2）为了得到更好的性能，Kafka 支持在生产者一侧进行本地buffer，也就是累积到一定的条数才发送，如果这里设置不当是会丢消息的。
生产者端设置 producer.type=async, sync，默认是 sync。
- 当设置为 async，会大幅提升性能，因为生产者会在本地缓冲消息，并适时批量发送。
- 如果对可靠性要求高，那么这里可以设置为 sync 同步发送。
2、配置
- 给 topic设置 replication.factor ，这个值必须大于 1，保证每个 partition 必须至少有 2 个副本
- 在 kafka 服务端设置 min.insync.replicas 参数，这个值必须大于 1，这个是要求一个leader至少感知到有至少一个follower还跟自己保持联系，没掉队，这样才能确保 leader挂了还有一个follower，保证至少一个 follower能和leader保持正常的数据同步。
3、消费消息
如果更注重可靠性，则需要显示提交 Offset，也就是当所有业务都处理完成的时候，再提交 Offset。这样会导致重复消费，需要提供幂等性接口。
速度快
1、顺序写磁盘
顺序写磁盘的性能是随机写入的性能的6000倍的提升，媲美内存随机访问的性能，磁盘不再是瓶颈点。
2、Page Cache
为了优化读写性能，Kafka利用了操作系统本身的Page Cache，就是利用操作系统自身的内存而不是JVM空间内存。通过操作系统的Page Cache，Kafka的读写操作基本上是基于内存的，读写速度得到了极大的提升。
3、零拷贝技术
零拷贝技术，可以有效的减少上下文切换和拷贝次数。
4、消息压缩
5、分批发送
保证顺序
写入一个 partition中的数据一定是有顺序的。
生产者在写的时候，可以指定一个 key，比如订单id作为key,那么订单相关的数据，一定会被分发到一个 partition中区，此时这个 partition中的数据一定是有顺序的。Kafka 中一个 partition 只能被一个消费者消费。消费者从partition中取出数据的时候 ，一定是有顺序的。
网友评论