极客时间运维进阶训练营第六周作业

基于 logstash filter 功能将 nginx 默认的访问日志及 error log 转换为 json 格式并写入 elasticsearch

/usr/share/logstash/bin/logstash -help

/usr/share/logstash/bin/logstash-plugin --help

/usr/share/logstash/bin/logstash-plugin list

vim /usr/share/logstash/vendor/bundle/jruby/version number/gems/logstash-

https://www.elastic.co/guide/en/logstash/current/filter-plugins.html

systemctl stop logstash

cd /usr/local/src

wget https://nginx.org/download/nginx-1.22.1.tar.gz

tar xvf nginx-1.22.1.tar.gz

cd nginx-1.22.1

./configure -prefix=/apps/nginx

make

安装编译环境

1. 基于 logstash 收集 json 格式的 nginx 访问日志

2. 基于 logstash 收集 java 日志并实现多行合并

3. 基于 logstash 收集 syslog 类型日志 (以 haproxy 替代网络设备)

4. logstash 收集日志并写入 Redis、再通过其它 logstash 消费至 elasticsearch 并保持 json 格式日志的解析

5. 基于 docker-compose 部署单机版本 ELK

1. 大型的日志收集案例: filebeat–>logstash–>Redis<–logstash–>elasticsearch

2. 日志写入数据库

   地图显示客户端 IP 城市

3. logstash 收集 TCP 日志