一文读懂 Logstash 原理
一.Logstash
Logstash 作为 Elasicsearch 常用的实时数据采集引擎,可以采集来自不同数据源的数据,并对数据进行处理后输出到多种输出源,是 Elastic Stack 的重要组成部分。
二.Logstash Hello world
Logstash 将采用标准输入和标准输出作为 input 和 output,并且不指定 filter。其中,syslog 为系统日志。保存文件。在控制台结果如下:
三.action
index 给一个文档建立索引 delete 通过 id 值删除一个文档(这个 action 需要指定一个 id 值)create 插入一条文档信息,如果这条文档信息在索引中已经存在,那么本次插入工作失败 update 通过 id 值更新一个文档。更新有个特殊的案例 upsert,如果被更新的文档还不存在,那么就会用到 upsert
默认的 Logstash 安装包含 Beats input 插件,Beats input 插件允许 Logstash 从 Elastic Beats 框架接收事件,也就是说任何 Beat written 使用 Beats 框架工作,例如 Packetbeat 和 Metricbeat,也可以将事件数据发送到 Logstash。
四.manage_template
布尔类型 默认为 true 设置为 false 将关闭 logstash 自动管理模板功能比如你定义了一个自定义模板,更加字段名动态生成字段,那么应该设置为 false
五.filter
Logstash 三个组件的第二个组件,也是真个 Logstash 工具中最复杂,最蛋疼的一个组件,当然,也是最有作用的一个组件。
date 插件 这里需要合前面的 grok 插件剥离出来的值 logdate 配合使用
版权声明: 本文为 InfoQ 作者【黎燃】的原创文章。
原文链接:【http://xie.infoq.cn/article/29e09b0daf23a172b9c03c747】。文章转载请联系作者。
评论