60 K8S 之 EFK 日志管理系统

EFK 是 Kubernetes 系统上流行的日志管理系统解决方案之一，它通过 Fluentd、Fluent Bit 或 Filebeat 一类的节点级代理程序进行日志采集，实时推送给 Elasticsearch 集群进行存储和分析，而后再经由 Kibana 进行数据可视化。这种组合通常简称为 EFK。

Fluentd 是基于 Elastic Stack 的日志记录管道中最流行的日志采集代理之一，以至于 EFK Stack 的热度已经高出传统的 ELK Stack。Fluentd 于 2011 年首次推出，它基于 C 和 Ruby 语言开发，目前有数百种 Ruby Gem 形式的独立可选插件，用于连接多种数据源和数据输出组件等，其工作模型如图 16-8 所示，fluent-plugin-elasticsearch 便是将采集到的数据发送给 ElasticSearch 的常用插件之一。

二者是协作而非互斥关系，Fluent Bit 常作为日志转发器（forwarder）使用，而 Fluentd 则是日志聚合器（aggregator），Fluent Bit 部署在节点上收集日志信息并转给 Fluentd 完成日志聚合，由后者统一缓冲后定期将数据推送给指定的后端存储系统，例如 Elasticsearch 或 InfluxDB 等。当然，分布式环境中的各 Fluent Bit 也可不经过 Fluentd 的聚合而直接将数据发往后端存储系统。

Fluent Bit 将由其处理的数据视为“事件”或“记录”，这些数据通常由时间戳和消息两部分组成。这些事件由 Fluent Bit 上各类 Input 插件从其适配的数据源收集并打上特定的标签，它们随后由可选的解析器将非结构化数据转换为结构化数据，再通过可选的过滤器来匹配、排除或丰富某些特定的元数据。

Kibana 是 Elasticsearch 的数据分析及可视化平台，能够用来搜索、查看存储在 Elasticsearch 索引中的数据，它允许用户基于 Web GUI 快速创建仪表板，以实时显示查询结果，并通过各种图表进行高级数据分析及展示。Kibana 配置过程简单便捷，图形样式丰富，它支持创建柱形图、折线图、散点图、直方图、饼图和地图等数据展示接口，极为有效地增强了 Elasticsearch 的数据分析能力，从而让用户能够更加智能地分析和展示数据。