1.查看topic的情况
kafka-topics.sh --describe --zookeeper 172-16-56-31:24002/kafka --topic TOPIC_TFC_PASS
2.查看数据消费情况
获取消息头部位置：
kafka-run-class.sh kafka.tools.GetOffsetShell --topic TOPIC_TFC_PASS --time -1 --broker-list xxx. xxx. xxx. xxx:21005, xxx. xxx. xxx. xxx:21005, xxx. xxx. xxx. xxx:21005
获取消息尾部部位置：
kafka-run-class.sh kafka.tools.GetOffsetShell --topic TOPIC_TFC_PASS --time -2 --broker-list xxx. xxx. xxx. xxx:21005, xxx. xxx. xxx. xxx:21005, xxx. xxx. xxx. xxx:21005
1.查看topic的情况kafka-topics.sh --describe --zookeeper 172-16...
在spark 上跑hive sql 脚本，在spark 2.x以上跑没问题 ，hive上没问题，spark1.6上...
Spark HiveThriftServer高可用的问题 spark HiveThriftServer 继承了Hi...
Spark 2.1 Mllib考虑到spark选型做mllib的人，最关心问题，就是spark mllib能够支持...
版本 70版本 Spark2.1 问题描述 使用spark on hbase特性时候，开启spark.yarn.s...
问题描述 spark1.5中，使用spark-sql无法使用replace函数 问题原因 目前版本兼容性问题 解决...
问题描述 基于Spark 3.0-SNAPSHOT(unreleased)，做Spark-Terasort相关测试...
Spark 3.1.1 运行job的时候报错如下： 这个问题是spark自身的bug，在spark 3.1.2和s...
Spark Streaming 解决这 4 个问题的不同 focus，可以将 Spark Streaming 划分...
java.io.UTFDataFormatException 上面的问题应该是spark client和spark...
本文标题：【2019-08-07】yqjj spark问题
本文链接：https://www.haomeiwen.com/subject/dpvndctx.html
网友评论