Flume 日志采集框架构成组件

框架结构

Flume 的核心是把数据从数据源收集过来，再送到目的地。为了保证输送一定成功，在送到目的地之前，会先缓存数据，待数据真正到达目的地后，删除自己缓存的数据。

Flume 分布式系统中最核心的角色是 agent，flume 采集系统就是由一个个 agent 所连接起来形成。

flume 构成组件

Client

Client 生产数据，运行在一个独立的线程。

Event

一个数据单元，消息头和消息体组成。（Events 可以是日志记录、 avro 对象等。）

Flow

Event 从源点到达目的点的迁移的抽象。

Agent 结构

Flume 运行的核心是 Agent。Flume 以 agent 为最小的独立运行单位。一个 agent 就是一个 JVM。它是一个完整的数据收集工具，含有三个核心组件，分别是 source、 channel、 sink。通过这些组件， Event 可以从一个地方流向另一个地方，如下图所示。

Source

Source 是数据的收集端，负责将数据捕获后进行特殊的格式化，将数据封装到事件（event） 里，然后将事件推入 Channel 中。Flume 提供了很多内置的 Source， 支持 Avro， log4j， syslog 和 http post(body 为 json 格式)。可以让应用程序同已有的 Source 直接打交道，如 AvroSource，SyslogTcpSource。如果内置的 Source 无法满足需要， Flume 还支持自定义 Source。

Channel

Channel 是连接 Source 和 Sink 的组件，大家可以将它看做一个数据的缓冲区（数据队列），它可以将事件暂存到内存中也可以持久化到本地磁盘上， 直到 Sink 处理完该事件。介绍两个较为常用的 Channel， MemoryChannel 和 FileChannel。

Sink

Sink 从 Channel 中取出事件，然后将数据发到别处，可以向文件系统、数据库、 hadoop 存数据， 也可以是其他 agent 的 Source。在日志数据较少时，可以将数据存储在文件系统中，并且设定一定的时间间隔保存数据。

关键词：大数据培训