本次实战flume是1.7版本，kafka是0.10，spark streaming是2.2.0版本
第一步：flume=》kafka，首先配置flume的source为avro，然后sink为kafka方式，其中varo的端口要和log4j相同，服务器本机即可，其中代码如下图：
第二部：准备模拟log4j日志生产，我是用java代码循环生成以及log4j配置，如下图所示：
第三部、用spark Streaming进行接收，最后打印出来，生成环境可以根据自己需要进行业务修改即可，代码如下：
修改main方法参数，我是用IDEA，如下配置
完成以后分别启动java的main方法，和flume，kafka，zookeeper，然后启动spark stream方法：
打印日志的结果
spark streaming接受的结果
以上就完成了一个日志的时时分析功能，赶快实践吧！
本次实战flume是1.7版本，kafka是0.10，spark streaming是2.2.0版本 第一...
本文将会介绍如何使用 Flume、log4j、Kafka进行规范的日志采集。 Flume 基本概念 Flume是一...
1. Kafka消费方式：通过Flume，将kafka消息存储到HDFS 通过Spark Streaming读取...
前几章一起学习了Spark Streaming整合Flume，Spark Streaming整合Kafka。这一章...
Hadoop zookeeper Flume Spark Kafka Hbase大数据集群搭建教程 集群搭建流程 ...
Spark Streaming可整合多种输入数据源如Kafka、flume、hdfs等。 基本原理 Spark S...
数据采集 flume 消息中间件 kafka rocketmq 批处理 spark flink batch 流处理...
简介 在上一次的数据平台实践①中，对基于Flume，Kafka和Spark Streaming的数据平台组合做了介...
如何查看spark与hadoop、kafka、Scala、flume、hive等兼容版本【适用于任何版本】 htt...
整合flume和kafka完成实时数据采集 这里的kafka sink实际作为kafka的生产者。 flume版本...
本文标题：Log4j、Flume、kafka和spark streamin
本文链接：https://www.haomeiwen.com/subject/ajsqmqtx.html
网友评论