flume
0 人感兴趣 · 10 次引用
- 最新
- 推荐
浅谈 Apache Flume 数据接入的实现原理以及问题分析处理方式
导读：本文介绍了 Apache Flume 的基本概念、应用在日志实时采集场景中的业务流程，以及几个实际业务问题的分析和处理过程，供大家参考。
离线批处理的咽喉——Flume 基础配置简析
Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。
Flume 日志采集框架构成组件
Flume 的核心是把数据从数据源收集过来，再送到目的地。为了保证输送一定成功，在送到目的地之前，会先缓存数据，待数据真正到达目的地后，删除自己缓存的数据。
Flume 高阶自定义组件
Source是负责接收数据到FlumeAgent的组件。Source组件可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。官方提供的source类型已经很多，但是有时候并不能满足实
