绪
由Cloudera公司开源
分布式、可靠、高可用的海量日志采集系统
数据源可定制,可扩展
数据存储系统可定制,可扩展
中间件:屏蔽了数据源和数据存储系统的异构性
flume og/flume ng
flume og:original generation 0.9.x
flume ng:next/new generation 1.x
flume og架构
flume og架构
flume使用两个组件:master和node
facebook的scribe
scribe agentscribe- 存储系统
scribe架构
apache的chukwa
特点是专门支持hadoop集群日志分析
架构
-
Adaptor数据源 -
HDFS存储系统 -
Collector和Agent -
Demux和achieving
chukwa架构
linkedIn的kafka
特点是适合异构机群
架构
ProducerBrokerConsumer
kafka架构














网友评论