写点什么

flume

0 人感兴趣 · 6 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/ef/efaa52002bc3e62b53335d2b1ec1026c.jpeg?x-oss-process=image/resize,w_416,h_234

Flume 知识点总结

1) flume组成,Put事务,Take事务

https://static001.geekbang.org/infoq/9c/9ce125be64637b0b280126d93b22344b.jpeg?x-oss-process=image/resize,w_416,h_234

Flume 的负载均衡 load balancer

在此处我们通过三台机器来进行模拟flume的负载均衡

https://static001.geekbang.org/infoq/9c/9ce125be64637b0b280126d93b22344b.jpeg?x-oss-process=image/resize,w_416,h_234

Flume 高阶自定义组件

Source是负责接收数据到FlumeAgent的组件。Source组件可以处理各种类型、各种格式的日志数据,包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。官方提供的source类型已经很多,但是有时候并不能满足实

https://static001.geekbang.org/infoq/49/4988067b226139fc16a377e4f78f42fe.jpeg?x-oss-process=image/resize,w_416,h_234

Flume 拦截器实战

A、B两台日志服务机器实时生产日志主要类型为access.log、nginx.log、web.log

https://static001.geekbang.org/infoq/dd/ddf0b923622ae8f76ce82834865eeb01.jpeg?x-oss-process=image/resize,w_416,h_234

数据采集之 Flume 采集及点击流模型详解

在网站流量日志分析这种场景中,对数据采集部分的可靠性、容错能力要求通常不会非常严苛,需要注意的是结合语境明白是何种含义的数据采集。

flume_flume资料文章-InfoQ写作平台