Apache APISIX 集成 Elasticsearch 实现实时日志监控
本文将为你介绍 Apache APISIX 的 elasticsearch-logger 插件的相关信息，并通过此插件获取 APISIX 的实时日志。
背景信息
Apache APISIX 是一个动态、实时、高性能的 API 网关，提供了负载均衡、动态上游、灰度发布、服务熔断、身份认证、可观测性等丰富的流量管理功能。作为 API 网关，Apache APISIX 不仅拥有丰富的插件，而且支持插件的热加载。
Elasticsearch 是一个基于 Lucene 库的搜索引擎。它提供了分布式、RESTful 风格的搜索和数据分析引擎，具有可扩展性、可分布式部署和可进行相关度搜索等特点，能够解决不断涌现出的各种用例。同时还可以集中存储用户数据，帮助用户发现意料之中以及意料之外的情况。
插件介绍
APISIX 以 HTTP 请求的方式向 Elasticsearch 发送 APISIX 的 Runtime 日志。插件 elasticsearch-logger 采用 bulk 的格式进行日志上报，这允许 APISIX 可以将多条日志合并后再进行上报，这使得 APISIX 在对 Elasticsearch 进行日志上报方面更加灵活并且具有较好的性能。你可以参考文档 APISIX 批处理器 对日志合进行更加细致的配置。
配置步骤
首先，你需要安装完成 APISIX，本文所有步骤基于 Centos 7.5 系统进行。详细的安装步骤参考 APISIX 安装指南。
步骤 1：启动 Elasticsearch
本示例只演示了通过 docker-compose 启动 Elasticsearch 单节点的方式，其它启动方式可参考 Elasticsearch 官方文档。
步骤 2：创建路由并配置插件
APISIX 默认配置文件中已启用 elasticsearch-logger 插件，所以你只需要通过下方命令创建路由并配置 elasticsearch-logger 插件就可以在 APISIX 中正常使用了。
上述代码中配置了 Elasticsearch 地址、目标 field，用户名与密码。
通过上述设置，就可以实现将 /elasticsearch.do 路径的 API 请求日志发送至 Elasticsearch 的功能。
步骤 3：发送请求
接下来我们通过 API 发送一些请求。
此时你可以登录 Kibana 控制台检索查看相关日志：
编辑切换为居中
添加图片注释，不超过 140 字（可选）
自定义日志结构
当然，在使用过程中我们也可以通过 elasticsearch-logger 插件提供的元数据配置，来设置发送至 Elasticsearch 的日志数据结构。通过设置 log_format 数据，可以控制发送的数据类型。
比如以下数据中的 $host、$time_iso8601 等，都是来自于 N**GINX** 提供的内置变量；也支持如 $route_id 和 $service_id 等 Apache APISIX 提供的变量配置。
通过发送请求进行简单测试，可以看到上述日志结构设置已生效。目前 Apache APISIX 提供多种日志格式模板，在配置上具有极大的灵活性，更多日志格式细节可参考 Apache APISIX 官方文档。
此时你可以登录 Kibana 控制台检索查看相关自定义日志：
编辑切换为居中
添加图片注释，不超过 140 字（可选）
如需关闭自定义日志结构，可参考下方操作。
此时，插件 elasticsearch-logger 将使用默认格式上报日志。
关闭插件
如使用完毕，只需移除路由配置中 elasticsearch-logger 插件相关的配置并保存，即可关闭路由上的插件。得益于 Apache APISIX 的动态化优势，开启和关闭插件的过程都不需要重启 Apache APISIX。
总结
本文为大家介绍了关于 elasticsearch-logger 插件的功能与使用步骤，更多关于 elasticsearch-logger 插件说明和完整配置列表，可以参考官方文档。
也欢迎随时在 GitHub Discussions 中发起讨论，或通过邮件列表进行交流。
Github：https://github.com/apache/apisix 2021.06.02 加入
Apache APISIX 是一个云原生、高性能、可扩展的微服务 API 网关。它是基于 OpenResty 和 etcd 来实现，和传统 API 网关相比，Apache APISIX 具备动态路由和插件热加载，特别适合微服务体系下的 API 管理。
评论