生态扩大进行中！Apache APISIX 集成 Splunk HTTP Event Collector
随着技术的不断迭代和企业架构的不断演进，系统的复杂度越来越高。日志作为分析和观测的“原材料”，能支持和兼容不同的分析引擎会为用户在选型和后期运维过程中降低很大成本。基于日志的分析和观测作为保障系统稳定的基石，它的角色非常重要。
Apache APISIX 作为一个高性能的 API 网关不仅在性能上有着良好的表现，并且在数据和日志的运维上通过和社区用户的交流共建也已经支持了大部分主流的开源及商业日志解决方案，包括：HTTP Logger 、TCP Logger、Kafka Logger、UDP Logger、RocketMQ Logger、SkyWalking Logger、Aliyun Cloud Logging（SLS）、Google Cloud Logging 等。
最近通过社区的共建支持，Apache APISIX 的 Logger 全家桶中又多了一位新成员：Splunk HEC Logging。本文将为大家介绍如何在 Apache APISIX 中配置和使用 Splunk HEC 服务。
关于 Splunk HTTP Event Collector
Splunk 是一个机器数据的全文搜索引擎，可应用于采集、索引、搜索和分析各种应用数据，根据 DB Engines 的检索引擎排名，目前 Splunk 位列第二，是一款应用广泛的全文检索软件。Splunk 和 ElasticSearch 一样，是准实时可以提供不间断搜索结果的数据流。
Splunk HTTP Event Collector (HEC) 是 Splunk 提供的 HTTP 事件收集器，主要提供以 HTTP(S) 协议将数据和应用程序事件发送到 Splunk 的能力。
关于 Splunk HEC Logging 插件
splunk-hec-logging 插件用于将 Apache APISIX 的请求日志转发到 Splunk 中进行分析和存储。启用该插件后，Apache APISIX 将在 Log 阶段获取请求上下文信息，并将其序列化为 Splunk Event Data 格式 后提交到批处理队列中。当触发批处理队列每批次最大处理容量，或刷新缓冲区的最大时间时，会将队列中的数据提交到 Splunk HEC 中。
如何使用 Splunk HEC Logging 插件
Splunk 配置步骤
部署 Splunk Enterprise
请参考 Splunk 的 官方安装指南 进行部署，本文将通过 Docker 进行部署演示。
Docker 命令参数如下：
命令参数具体释义可参考：Docker Splunk 文档。
配置 Splunk HEC
Docker 中已经配置并创建了默认的 HEC，在这里不再过多赘述创建 HEC 的流程。具体手动创建的流程可参考文档：Set up and use HTTP Event Collector in Splunk Web。
登录 Splunk Enterprise 并检查 HEC
通过浏览器访问 Docker 的映射端口。因为需要把管理后台的 8000 端口映射到宿主机的 18000 端口，所以在操作时可以在宿主机上通过「回环地址加端口」的方式在浏览器访问即可。例如：http://127.0.0.1:18000，登录的默认用户名是 admin，密码是在上例的环境变量中设置的 SPLUNK_PASSWORD 的值。
如下图所示，表示登录成功。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RhiPwEG6-1645606771349)(https://tfzcfxawmk.feishu.cn/space/api/box/stream/download/asynccode/?code=NDE1NzY4ZDI2MTJmYzg3NTc4NjRhMTQyYzNmZDFlNmNfM2M3c3J5eHlnRG9hYWZ0T0JCNEQ3NjNkZnFhTmV2VjVfVG9rZW46Ym94Y25SZUI5UElTVDZhWkVlY1BvUkNDa1RjXzE2NDU2MDY3NjA6MTY0NTYxMDM2MF9WNA)]
单击界面右上方 “Settings > Data Inputs” 检查默认 HEC 是否设置成功：
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Nnfu7WGq-1645606771350)(https://tfzcfxawmk.feishu.cn/space/api/box/stream/download/asynccode/?code=MTE3MjcxZTAzOTZmNjFjZWFjNzU3ZTcyNzBhODdiMWRfRXZSMThEWFd0Nnp2VzcyUnc4TG5LWW9tMkZXWWh1TXhfVG9rZW46Ym94Y25mbTB2bVBEOU9haUs1Y2ZnRFhIdEJnXzE2NDU2MDY3NjA6MTY0NTYxMDM2MF9WNA)]
在 HTTP Event Collector 的 Inputs 列中我们已经可以看到 HEC 的数量，表示设置成功。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SYrFh1eq-1645606771351)(https://tfzcfxawmk.feishu.cn/space/api/box/stream/download/asynccode/?code=ZTkyNGI0YzcwMDc3YTdlNjI5OTRmZjk1NGQ2MzZiZDFfNEdWa0hFTVViOGFmTzhidHJndUp6aUtiUlQ5M3hueU5fVG9rZW46Ym94Y254d3ZtbmRGd2hEaEhWTWNWWlkzNFRiXzE2NDU2MDY3NjA6MTY0NTYxMDM2MF9WNA)]
此时可以点击 HTTP Event Collector 进入 HEC 详情列表查看 HECs 的 Token 信息。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-M4ByG1CP-1645606771352)(https://tfzcfxawmk.feishu.cn/space/api/box/stream/download/asynccode/?code=NTQxOTdmOWYxOWRiOGNiOWJlYTZmN2NmNTI5YmRiYTNfOTVldWk5YlA4VWlDelAwVVlBamRZVXJuU0p2UjA1bUNfVG9rZW46Ym94Y25BUk4zQ1p6SzZkZFBlUk5qWkRkQ21oXzE2NDU2MDY3NjA6MTY0NTYxMDM2MF9WNA)]
Token Values 即在上文中 Docker 环境变量中配置的 SPLUNK_HEC_TOKEN 的值。
Apache APISIX 配置步骤
启用插件
运行以下命令，启用 splunk-hec-logging 插件。
插件参数说明如下表所示。
无法复制加载中的内容
发送请求
运行以下命令，向 Splunk 发送请求。
验证日志
登录 Splunk 控制台，点击 “Search & Reporting”。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4HYPqw8m-1645606771352)(https://tfzcfxawmk.feishu.cn/space/api/box/stream/download/asynccode/?code=NzYzODY1NTAzYWNlM2Q3NTE4ODg4MDI0ZGIyYmYxNWRfTllJbnlsTUVoQkZlSzlzbUxwRmVpNU40RDNnbFQ0ejVfVG9rZW46Ym94Y25oWHVIS0g3aGRwcVExclZnYWR3NEZmXzE2NDU2MDY3NjA6MTY0NTYxMDM2MF9WNA)]
在搜索输入框中输入：source="apache-apisix-splunk-hec-logging"，即可查询到发送的请求日志。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XXgJHGc8-1645606771353)(https://tfzcfxawmk.feishu.cn/space/api/box/stream/download/asynccode/?code=N2QxMGJiZmUzNzhiMWEzZmI5NDllY2ZjMjViZGYxM2JfUTNxRERFMGt1MzFhd3JBdzRwSXl2OVlLQzZSeVlKdUpfVG9rZW46Ym94Y25yd1VwcnRkUGJEZHBibjNOQnQ5azNmXzE2NDU2MDY3NjA6MTY0NTYxMDM2MF9WNA)]
停用插件
移除 splunk-hec-logging 相关配置即可。
总结
目前，Apache APISIX 也在开发其他插件以支持集成更多服务，如果您对此感兴趣，欢迎随时在 GitHub Discussion 中发起讨论，也可通过邮件列表进行交流。
相关阅读
Github：https://github.com/apache/apisix 2021.06.02 加入
Apache APISIX 是一个云原生、高性能、可扩展的微服务 API 网关。它是基于 OpenResty 和 etcd 来实现，和传统 API 网关相比，Apache APISIX 具备动态路由和插件热加载，特别适合微服务体系下的 API 管理。
评论