美文网首页
Kafka学习笔记

Kafka学习笔记

作者: 海龟_xhk | 来源:发表于2018-07-19 19:41 被阅读0次

定义:

Kafka 是一款开源的、轻量级的 、分布式、可分区和具有复制备份的 CReplicated)、基于ZooKeeper 协调 管理的分布式流平台的功能 强大的消息系统 。

关键特性:

1. 能够允许发布和订阅流数据。从这个角度来讲,平台更像一个消息队列或者企业级的消息系统。

2. 存储流数据时提供相应的容错机制。

3. 当流数据到达时能够被及 时处理 。

前提:

作为一个消息系统,其基本结构中至少要有产生消息的组件(消息生产者 , Producer)以及消费消息的组件 (消费者, Consumer)。虽然消费者并不是必需的 ,但离开了消费者构建一个消息系统终究是毫无意义的。

分区数越多吞吐量越高;Kafka 只能保证一个分区之内消息的有序性,并不能保证跨分区消息的有序性 。

相关文章

  • sptest

    # Spring Kafka 学习笔记 ## 1 接收消息 接收消息需要提供MessageListenerCont...

  • kafka学习系列

    Kafka学习总结(一)——Kafka简介 Kafka学习总结(二)——Kafka设计原理 Kafka学习总结(三...

  • kafka学习笔记-kafka基础

    参考:极客时间-Kafka核心技术与实战 kafka术语 消息(Record):kafka要处理的主要对象。 主题...

  • spark 学习笔记

    Spark学习笔记 Data Source->Kafka->Spark Streaming->Parquet->S...

  • kafka学习笔记

    1、kafka 简介 kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理百万级QPS(每秒访问次数)的动...

  • Kafka学习笔记

    定义: Kafka 是一款开源的、轻量级的 、分布式、可分区和具有复制备份的 CReplicated)、基于Zoo...

  • Kafka 学习笔记

    Kafka概述 官网 和消息系统类似 Kafka架构 单节点,单broker的部署及使用 配置 启动 创建topi...

  • Kafka 学习笔记

    一、Kafka简介 Kafka (科技术语)。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规...

  • Kafka学习笔记

    Kafka 学习笔记 内容大部分引用自Info - Apache Kafka:下一代分布式消息系统 原文作者Abh...

  • kafka学习笔记

    一、环境变量设置 1. 设置JAVA环境变量 修改/etc/profile配置,添加以下信息 2. 设置kafka...

网友评论

      本文标题:Kafka学习笔记

      本文链接:https://www.haomeiwen.com/subject/dwztmftx.html