写点什么

flume

0 人感兴趣 · 10 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/39/3927dd44b63017eac16386c860ee8a9d.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Flume 简述

​flume就是集(source+channel+sink)的一个日志数据采集工具。

浅谈 Apache Flume 数据接入的实现原理以及问题分析处理方式

导读:本文介绍了 Apache Flume 的基本概念、应用在日志实时采集场景中的业务流程,以及几个实际业务问题的分析和处理过程,供大家参考。

离线批处理的咽喉——Flume 基础配置简析

Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。

Flume 日志采集框架构成组件

用户头像
编程江湖
2022-01-19

Flume 的核心是把数据从数据源收集过来,再送到目的地。为了保证输送一定成功,在送到目的地之前,会先缓存数据,待数据真正到达目的地后,删除自己缓存的数据。

https://static001.geekbang.org/infoq/ef/efaa52002bc3e62b53335d2b1ec1026c.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Flume 知识点总结

1) flume组成,Put事务,Take事务

https://static001.geekbang.org/infoq/9c/9ce125be64637b0b280126d93b22344b.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Flume 的负载均衡 load balancer

在此处我们通过三台机器来进行模拟flume的负载均衡

https://static001.geekbang.org/infoq/9c/9ce125be64637b0b280126d93b22344b.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Flume 高阶自定义组件

Source是负责接收数据到FlumeAgent的组件。Source组件可以处理各种类型、各种格式的日志数据,包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。官方提供的source类型已经很多,但是有时候并不能满足实

https://static001.geekbang.org/infoq/49/4988067b226139fc16a377e4f78f42fe.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Flume 拦截器实战

A、B两台日志服务机器实时生产日志主要类型为access.log、nginx.log、web.log

https://static001.geekbang.org/infoq/dd/ddf0b923622ae8f76ce82834865eeb01.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

数据采集之 Flume 采集及点击流模型详解

在网站流量日志分析这种场景中,对数据采集部分的可靠性、容错能力要求通常不会非常严苛,需要注意的是结合语境明白是何种含义的数据采集。

flume_flume技术文章_InfoQ写作社区