Nginx 日志采集与分析

2022 年 5 月 09 日
本文字数：2378 字
阅读完需：约 8 分钟

概述

观测云拥有全面的日志采集能力，包括系统日志、应用日志、安全日志等多种日志类型，通过观测云提供的自定义日志采集器可采集任意日志汇总到观测云进行统一存储和分析；通过观测云提供的文本处理器（Pipeline）可对采集的日志进行自定义切割，并把切割出来的字段作为属性使用。通过属性字段，我们可以快速筛选相关日志、进行数据关联分析，帮助我们快速去定位问题并解决问题。

前置条件

您需要先创建一个【观测云账号】https://auth.guance.com/register?channel=微信公众号
安装 DataKit 【DataKit 安装文档】https://www.yuque.com/dataflux/datakit/datakit-how-to

方法｜步骤

开启 Nginx 采集器

主机安装 Datakit 以后，在/usr/local/datakit/conf.d/nginx 目录下，复制 nginx.conf.sample 并命名为 nginx.conf，编辑 nginx.conf，开启存放 Nginx 日志的地址和 Pipeline。如：

files = ["/var/log/nginx/access.log","/var/log/nginx/error.log"]

Pipeline = "nginx.p"（其中 ""中可以不填写具体的 Pipeline 脚本名称，DataKit 会自动匹配跟 source 同名的脚本文件）

注意：Pipeline 开启后，DataKit 会自动根据日志来源来匹配 Pipeline 脚本文件。若日志来源和 Pipeline 文件名称不一致，则需要在采集器配置，如日志来源 nginx，Pipeline 文件名 nginx1.p，则需要配置 Pipeline = "nginx1.p"。

[[inputs.nginx]]        url = "http://localhost/server_status"        # ##(optional) collection interval, default is 30s        # interval = "30s"        use_vts = false        ## Optional TLS Config        # tls_ca = "/xxx/ca.pem"        # tls_cert = "/xxx/cert.cer"        # tls_key = "/xxx/key.key"        ## Use TLS but skip chain & host verification        insecure_skip_verify = false        # HTTP response timeout (default: 5s)        response_timeout = "20s"
        [inputs.nginx.log]                files = ["/var/log/nginx/access.log","/var/log/nginx/error.log"]        #       # grok pipeline script path                pipeline = "nginx.p"        [inputs.nginx.tags]        # some_tag = "some_value"        # more_tag = "some_other_value"        # ...

复制代码

配置完成后，使用命令行 datakit --restart 重启 DataKit 使配置生效。

更多详情，可参考文档【 Nginx 】https://www.yuque.com/dataflux/datakit/nginx

在观测云工作空间查看和分析日志数据

开启 Nginx 采集器，配置日志文件路径，开启 Pipeline 以后，即可在观测云工作空间查看采集到的 Nginx 日志。

在观测云工作空间的日志下，选择 nginx 的日志，在日志详情页，我们可以看到产生日志的主机及其属性指标视图、日志来源、通过 pipeline 切割的日志属性、日志内容详情等数据，通过配置链路关联日志，我们还可以在日志详情页查看相关的链路详情，帮助您快速做数据关联分析。

进阶参考

日志文本处理（ Pipeline ）

观测云提供三种日志 Pipeline 文本处理方式：

DataKit：在服务器安装 DataKit 以后，在终端工具中配置 DataKit 的日志采集器及其对应的 pipeline 文件，对文本数据进行处理；
Pipelines：支持在观测云工作空间手动配置和查看日志 pipeline 文件，无需登录 DataKit 服务器进行操作，帮助您方便的使用在线日志 Pipeline 功能来切割您的日志；
DCA：DataKit Control APP，是 DataKit 的桌面客户端应用，需要先安装，安装完成后可在客户端查看和编辑 DataKit 默认自带的日志 pipeline 文件和自定义手动添加 pipeline 文件。

生成指标

观测云支持通过生成指标的方式，基于当前工作空间内的现有数据来自定义指标数据。在观测云工作空间「日志」-「生成指标」页面，点击「新建规则」即可开始创建新的生成指标规则。

更多详情，可参考文档【生成指标】https://www.yuque.com/dataflux/doc/mgcvm9