美文网首页
kafka那些坑

kafka那些坑

作者: 赵荆州 | 来源:发表于2018-11-14 15:46 被阅读23次

千万别用高版本的kafka client 去连低版本的kafka server。
否则回报一系列的(n)io异常,比如下面这个异常

  java.nio.BufferUnderflowException

不丢消息:producer有个ack参数,有三个值,分别代表:不在乎是否写入成功、写入leader成功、写入leader和所有reclpica成功;要求非常可靠的话可以牺牲性能设置成最后一种。
不重复发送:正常发都不会重复,只可能丢,看你这边怎么容错重发了,参考上一条。
消息只读一次:同样,正常读不会重复,如果在上一次读的过程中发生了异常,消息可能被消费,但是offset没有及时commit;这本身是两步,存在中间crash的风险

相关文章

  • kafka那些坑

    千万别用高版本的kafka client 去连低版本的kafka server。否则回报一系列的(n)io异常,比...

  • SparkStreaming坑

    SparkStreaming坑 Kafka+CheckPoint的坑 在storm里面是通过ack和Trident...

  • SpringStreaming+Kafka

    摘自 :Spark踩坑记——Spark Streaming+Kafka [TOC] SpringStreaming...

  • Kafka - 存储和索引

    Kafka文件存储机制那些事 kafka分区、分段、稀疏索引实现高性能查询 kafka log文件格式

  • 【Kafka】Kafka入门手记

    1. 前言 本文为 Kafka 入门笔记,主要包括 Kafka 单节点部署、生产消费消息,以及新手踩坑记录。 Ka...

  • 填坑记之远程连接Kafka集群时需要注意的地方

    转载自:http://www.ericdai.cn/c/填坑记之Kafka_远程连接Kafka集群时需要注意的 k...

  • kafka 填坑

    在centos7安装运行kafka,一切正常。 从windows使用bat命令链接centos7的kafka,报如...

  • Kakfa客户端pause采坑

    [技术分享] Kafka Pause采坑记录 Kafka在使用中,我们可能会需要有主动暂停消费的业务需求,等待一个...

  • hbase-mutator踩坑

    spark-streaming消费kafka数据,采用buffermutator写hbase踩坑记 场景 otte...

  • KAFKA小白入门-配置优化

    前言 本人使用的KAFKA的安装版本为kafka_2.11-1.1.0,其他版本的配置不保证完全一致,谨防入坑,但...

网友评论

      本文标题:kafka那些坑

      本文链接:https://www.haomeiwen.com/subject/yzsjfqtx.html