一、基本概念

1 .消息中间件\消息系统

-- 是从一个系统将数据传递给另外一个系统
-- 如果单纯只是传递数据的话，有很多种方式：http、rpc、webService、定时任务
-- 如果接收方，处理不了传递过来的消息

1. 消息系统的分类：点对点、发布-订阅

点对点：主要采用的队列方式如

A->B 当B消费的队列种的数据，那么队列的数据就会被删除
如果B一直不消费那么就会存在队列中很多脏数据】

发布-订阅：必须要有主题的概念。主题：一个消息分类

发布者是将消息采用推（push)方式给消息系统
订阅者可以采用(pull)拉、推的方式从消息系统种拿数据

1. kafka 的说明
采用scala语言写 --------版本如kafaka-2.11-0.10.0.1
2.11 是scaka语言版本
0.10.0.1 才是kafka版本

-4 kafka的架构

broker服务：一般情况一台主机就一个broker,但也可以一台主机有多个broker服务，只要端口不一样，存储路径不一样就可以【除非学习使用，否则不推荐】
zookeeper服务：管理broker集群、管理元数据
producer:生产者，发布消息-主题
consumer:消费者
consumer group :消费组，在同一个消费组种的消费者，对同一条消息，只能消费一次
offset：某个消费组，当前对于某个主题下的某一个分区的消费偏移量。

5 kafka的安装&启动

  5.1启动zookeeper
  5.2启动kafka server
  5.3 创建主题
  5.4 创建生产者
  5.5 创建消费者

二、kafka整体架构图（图）

kafka整体架构图

kafka整体架构图2

kafka整体架构图3

image.png

三、kafka涉及知识点

   kafka架构说明--在文章结尾列出
   kafka主题（Topic）
   kafka分区
   kafka接收者
   kafka发送者
   kafka SHELL开发
   kafka SHELL调试

四、kafka四大核心（图）

kafka四大核心

生产者API：允许应用程序发布记录流至一个或多个kafka的话题(Topics)
消费者API：允许应用程序订阅一个或多个主题，并处理这些主题接收到的记录流。
Steams API: 允许应用程序充当流处理器（Stream process），从一个或多个主题获取输入流，并生产一个输出流至一个或多个的主题，能够有效的变换输入流位输出流。
Connector API：允许构建和运行可重用的生产者或消费者，能够把kafka主题链接到现有的应用程序或数据库系统。例如，一个连接到关系数据库的连接器（Connector）可能会获取每个表的变化。