写点什么

大数据 ELK(一):集中式日志协议栈 Elastic Stack 简介

作者:Lansonli
  • 2022 年 9 月 15 日
    广东
  • 本文字数:630 字

    阅读完需:约 2 分钟

大数据ELK(一):集中式日志协议栈Elastic Stack简介

一、简介

日常工作中会面临很多问题,处理问题时候。怎么解决问题?

  • 通过工作经验,迅速判断问题出在哪。

  • 通过日志

  • 系统日志:/var/log 目录下的问题的文件

  • 程序日志: 代码日志(项目代码输出的日志)

  • 服务应用日志nginx、HAproxy、lvstomcat、php-fpmredis、mysql、mongoRabbitMq、kafkaGlusterfs、HDFS、NFS等等

通过日志排除,发现问题根源解决问题

如果 1 台或者几台服务器,我们可以通过 linux 命令,tail、cat,通过grep、awk等过滤去查询定位日志查问题

但是如果几十台、甚至几百台。通过这种方式肯定不现实。

怎么办?

一些聪明人就提出了建立一套集中式的方法,把不同来源的数据集中整合到一个地方。

一个完整的集中式日志系统,是离不开以下几个主要特点的。

  • 收集-能够采集多种来源的日志数据

  • 传输-能够稳定的把日志数据传输到中央系统

  • 存储-如何存储日志数据

  • 分析-可以支持 UI 分析

  • 警告-能够提供错误报告,监控机制

二、ELK 协议栈介绍及体系结构

ELK其实并不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写,Elasticsearch**,**Logstash 和 Kibana。这三款软件都是开源软件,通常是配合使用,而且又先后归于 Elastic.co 公司名下,故被简称为ELK**协议栈。**

三、集中式日志协议栈组件功能简介

  • ElasticSearch : 主要是用于做全文检索功能、数据的存储和数据的查询 

  • Logstash:  主要是用于进行数据的传递采集工作,将数据从一个地方 搬运到另一个地方去

  • Kibana :  主要是用于 图标报表展示 以及 数据探索

  • Beats : 主要是用于进行数据的写入工作


发布于: 2022 年 09 月 15 日阅读数: 51
用户头像

Lansonli

关注

微信公众号:三帮大数据 2022.07.12 加入

CSDN大数据领域博客专家,华为云享专家、阿里云专家博主、腾云先锋(TDP)核心成员、51CTO专家博主,全网六万多粉丝,知名互联网公司大数据高级开发工程师

评论

发布
暂无评论
大数据ELK(一):集中式日志协议栈Elastic Stack简介_ELK_Lansonli_InfoQ写作社区