chukwa
由Yahoo开发的的数据采集和分析的框架，主要用于日志采集和分析
chukwa组成
Agents：运行在集群的每个节点上，负责通过Adaptors采集最原始的数据并发送给Collectors
Collectors：负责收集由Agents传送的数据，并定时写入大规模集群中
MapReduce jobs：定时启动，负责将集群中的数据进行分类、排序、去重及合并
HICC：Hadoop基础管理中心，web界面
关于MapReduce jobs
-
MapReduce jobs实现数据分析和处理 - 提供了
Archiving和Demux两种内置的作业类型-
Archiving负责把同类型的数据文件合并，便于分析，也减少了文件的数量 -
Demux负责对数据的分类、排序、去重和解析
-
关于Chukwa可靠性
-
Chukwa具备很好的容错能力 -
Agent通过检查点Checkpoint来监控每一个数据流，并记录有多少流中的数据已经被提交 - 节点崩溃时，
Chukwa使用后台管理工具重启Agent
网友评论