1 服务架构概述
通过前文中对Kafka的安装介绍以及使用，本文将介绍Kakfa参与的一套 《海量日志收集框架》，从零开始实现一个高可用的单机版的日期采集分析框架。
架构使用技术： log4j2 + filebeat + kafka + logstash + elasticsearch + kibana
2 服务架构设计
架构图如下：
ELK.png
-
日志输出 --
log4j2 -
日志收集 --
filebeat -
日志过滤 --
logstash -
日志持久化 --
elasticsearch -
日志可视化 --
kibana
3 服务资源信息
| 服务器IP | hostname | 节点说明 | 版本 |
|---|---|---|---|
| 192.168.51.4 | centos-4 | filebeat | 7.4.2 |
| 192.168.51.4 | centos-4 | kafka | 2.12-2.1.0 |
| 192.168.51.4 | centos-4 | logstash | 7.4.2 |
| 192.168.51.4 | centos-4 | elasticsearch | 7.4.2 |
| 192.168.51.4 | centos-4 | kibana | 7.4.2 |
4 官方文档手册
filebeat官网地址：https://www.elastic.co/cn/beats/filebeat
kafka官网地址：http://kafka.apache.org/
logstash官网地址：https://www.elastic.co/cn/logstash
elasticsearch官网地址：https://www.elastic.co/cn/elasticsearch/
kibana官网地址：https://www.elastic.co/cn/kibana
5 相关信息
博文不易，辛苦各位猿友点个关注和赞，感谢
网友评论