美文网首页
kafka消费异常

kafka消费异常

作者: Nejore | 来源:发表于2019-03-23 00:54 被阅读0次

现象
kafka能正常写入数据,但是无法消费到数据,无论是console还是代码都不行,不论是zk消费方式还是bootstrap-server方式都不行

处理思路
1.kafka能生产数据,那么说明网络是正常无异常
2.无法消费数据,那么说明是kafka自身可能存在问题

处理方法简介
1.查看所有主题分片信息是否正常

kafka-topics.sh  --zookeeper localhost:2181 --describe  --topic  topicName
#--topic参数指定某一个主题,不加就默认罗列所有主题信息
#此处罗列出来的分片信息可以看到leader在哪一个node上,如果出现leader:-1则就是对应的topic不能实现均衡负载了

2.查看meta信息是否正常

recovery-point-offset-checkpoint
replication-offset-checkpoint
到kafka的后台,查看以上两个配置文件是否可阅读,非乱码,如果是乱码,则会影响到所有topic无法消费
上面第一种情况中,出现leader找不到问题,只会影响到单个topic的读问题

相关文章

  • kafka 消费异常

    错误详情 java.util.NoSuchElementException: Either.right.value...

  • kafka消费异常

    现象kafka能正常写入数据,但是无法消费到数据,无论是console还是代码都不行,不论是zk消费方式还是boo...

  • kafka 消息堆积解决

    一 :背景 线上kafka消费端因日志异常的解决导致消息堆积。 二 : 日志异常解决导致消息堆积 线上kafka消...

  • Kafka消费异常处理

    1.Exception: org.apache.kafka.clients.consumer.CommitFail...

  • SparkStreaming消费Kafka数据异常

    异常情况 查看了一下KafkaDataConsumer的源码,是读缓存区的数据时发生异常,Kafka出现异常了。 ...

  • [SPARK-19680] OffsetOutOfRangeEx

    当kafka中的数据丢失时,Spark程序消费kafka中数据的时候就可能会出现以下异常: 原因分析 Spark在...

  • python3读写kafka

    消费kafka数据,方式一 消费kafka数据,方式二 将消息写入kafka

  • Kafka异常重启后无法消费

    事故起因 2018.10.13日Kafka出现了无法启动问题,安稳了一天,结果第二天晚上又出现了新的问题,发现有些...

  • spring-kafka异常消费补偿

    1、设置异常处理器 2、抛出需要补偿的异常 3、死信队列 超出重试次数后,消息会被发往死信队列(topicName...

  • 【Kafka】Kafka 常用命令

    本篇结构: kafka topic 管理脚本 kafka 生产者控制台 kafka 消费者控制台 kafka 消费...

网友评论

      本文标题:kafka消费异常

      本文链接:https://www.haomeiwen.com/subject/nuqjvqtx.html