当前位置:科普知识站>IT科技>

java|flume

IT科技 阅读(5.13K)

很多朋友都想知道java flume是什么?下面就一起来了解一下吧~

Flume是什么

(1)Flume提供一种分布式的,可靠的对大数据的日志进行高效处理,以及聚集,移动的服务,flume只能在Unix的环境下运行

(2)Flume基于流式框架,容错性强,也灵活简单。

(3)Flume/Kafka用来进行数据收集的,Spark,Storm用来实时处理数据,impala用来实时查询

(4)Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单。

java flume

Flume的两个版本

(一)Flume OG

OG:“Original Generation"

0.9x或cdh3以及更早的版本。

有agent、collector、master等组件构成。

(二)Flume NG

NG:“Next/New Generation"

1.x或cdh4以及之后的版本。

有Agent/client等组件构成。

FlumeOG存在的问题

(1)Flume OG代码工程臃肿

(2)核心组件设计不合理

(3)核心配置不标准

(4)尤其是在Flume OG的最后一个发行版本0.94.0中,日志传输不稳定的现象尤为严重。