完全基于 Pipeline 实现完整的代码部署流水线

熟悉 ELK 各组件的功能、Elasticsearch 的节点角色类型

ELK 各组件功能：

• elasticsearch：负责数据存储及检索

• logstash：负责日志收集、日志处理并发送至 elasticsearch

• kibana：负责从 ES 读取数据进行可视化展示及数据管理

• elasticsearch 节点角色：

• data node：数据节点

• master node： 主节点

• client node/coordinating-node：客户端节点或协调节点

• Ingest 节点：预处理节点

熟悉索引、doc、分片与副本的概念

• Document：文档、简称 doc，存储在 Elasticsearch 的数据

• Index：一类相同类型的数据(dloc)，在逻辑上通过同一个 index 进行查询、修改与删除等操作

• Shard：分片，是对 Index 的逻辑拆分存储，分片可以是一个也可以是多个，多个分片合并起来就是 Index 的所有数据

• Replica：一个分片的跨主机完整备份，分为主分片和副本分片，数据写入主分片时立即同步到副本分片，以实现数据高可用及主分片宕机的故障转移，副本分片可以读，多副本分片可以提高 ES 集群的读性能，只有在主分片宕机以后才会给提升为主分片继续写入数据，并为其添加新的副本分片

掌握不同环境的 ELK 部署规划，基于 deb 或二进制部署 Elasticsearch 集群

ELK 部署规划

• 小型业务环境：kibana + elasticsearch cluster + logstash

• 中型业务环境：kibana + elasticsearch cluster + logstash + kafka/redis

• 大型业务环境：kibana + elasticsearch cluster + logstash cluster + kafka/redis + mysql

ES 集群部署

参照《ES 集群 x-pack_8.5.1 》部署

了解 Elasticsearch API 的简单使用，安装 head 插件管理 ES 的数据

ES API ：是 REST 风格的 API

head 插件：在 Chrome 浏览器通过扩展插件安装

安装 Logstash 收集不同类型的系统日志并写入到 ES 的不同 index

logstash 安装

# dpkg -i logstash-8.5.1-amd64.deb # service文件的启动用户配置

安装 Kibana、查看 ES 集群的数据

kibana 安装

root@es1:/usr/local/src# dpkg -i kibana-8.5.1-amd64.deb 
	server.port: 5601
	elasticsearch.hosts: ["http:/ /172.31.2.102:9200"] 
	elasticsearch.username: "kibana_system" 
	elasticsearch.password: "magedu123"
	il8n.locale: "zh-CN"
root@es1:/usr/local/src# systemctl restart kibana.service 
root@es1:/usr/local/src# systemctl enable kibana.service
root@es1:/usr/ocal/sre# lsof -i:5601
root@es1:/usr/local/src# tail -f /var/log /kibana/kibana.log