说明：本例主要采集日志文件到kafka为例
filebeat简述
Filebeat是一个日志文件托运工具，在服务器上安装客户端后，filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件（追踪文件的变化，不停的读）
Filebeat工作流程：当开启filebeat程序时，它会启动一个或多个探测器（prospectors）去检测你指定的日志目录或文件，对于探测器找出的每一个日志文件，filebeat启动收割进程（harvester），每一个收割进程读取一个日志文件的新内容，并发送这些新的日志数据到处理程序（spooler），处理程序会集合这些事件，最后filebeat会发送集合的数据到你指定的地点。
使用：
1、解压安装包，不需要安装，直接可以使用
2、filebeat.yml主要配置文件配置：
#=========================== Filebeat inputs =============================
filebeat.inputs:
- input_type: log
enabled: true
paths:
- c:\Users\15324\Desktop\log1\u_ex*.log
- c:\Users\15324\Desktop\log2\u_ex*.log
#=========================== kafka output =============================
output.kafka:
hosts: ["10.0.0.212:6667","10.0.0.213:6667","10.0.0.219:6667"]
topic: test-topic1
required_acks: 1
#=========================== 其他 output =============================
注：（其他配置不做用修改）日志输出格式：json
3、开启kafka控制台consumer：
命令：kafka-console-consumer.sh --zookeeper hdp01:2181, hdp02:2181,hdp03:2181 --topic test-topic1 --from-beginning
4、启动命令：filebeat -e -c filebeat.yml
-e：关闭日志输出
-c：配置文件位置
4、kafka控制台日志输出：
详见：我的微博 https://blog.csdn.net/lihuan1124/article/details/81453807
网友评论