ElasticSearch + Kibana for Kubernetes 硬气功实践 2

2022-10-19
广东
本文字数：5285 字
阅读完需：约 1 分钟

一、概述

Elasticsearch 是一个基于 Lucene 的搜索引擎。它提供了具有 HTTP Web 界面和无架构 JSON 文档的分布式，多租户能力的全文搜索引擎。Elasticsearch 是用 Java 开发的，根据 Apache 许可条款作为开源发布。

官方文档：

https://www.elastic.co/guide/en/elasticsearch/reference/master/getting-started.html

GitHub:

https://github.com/elastic/elasticsearch

也可以参考这篇文章：分布式实时搜索和分析引擎：Elasticsearch

https://www.cnblogs.com/liugp/p/16508196.html

二、Elasticsearch 编排部署

地址：

https://artifacthub.io/packages/helm/elastic/elasticsearch

1）添加源并下载编排部署包

helm repo add elastic https://helm.elastic.cohelm pull elastic/elasticsearch --version 7.17.3tar -xf elasticsearch-7.17.3.tgz

复制代码

2）构建镜像

Elasticsearch 各版本下载地址：

https://www.elastic.co/cn/downloads/past-releases#elasticsearch 这里就不重新构建镜像了，有不知道怎么构建镜像的小伙伴可以给我留言或私信，这里是将远程的镜像推送到我们本地 harbor，加速拉取镜像。

docker pull docker.elastic.co/elasticsearch/elasticsearch:7.17.3
docker tag docker.elastic.co/elasticsearch/elasticsearch:7.17.3  myharbor.com/bigdata/elasticsearch:7.17.3
# 上传镜像docker push myharbor.com/bigdata/elasticsearch:7.17.3
# 删除镜像docker rmi myharbor.com/bigdata/elasticsearch:7.17.3crictl rmi myharbor.com/bigdata/elasticsearch:7.17.3

复制代码

3）修改 yaml 编排

elasticsearch/values.yaml

image: "myharbor.com/bigdata/elasticsearch"
...
...### 去掉这几行volumeClaimTemplate:  accessModes: ["ReadWriteOnce"]  resources:    requests:      storage: 30Gi....
persistence:  enabled: true  labels:    # Add default labels for the volumeClaimTemplate of the StatefulSet    enabled: false  annotations: {}  accessModes:    - ReadWriteOnce  size: 1Gi  storageClass: "elasticsearch-local-storage"  local:  - name: elasticsearch-0    host: "local-168-182-110"    path: "/opt/bigdata/servers/elasticsearch/data/data1"  - name: elasticsearch-1    host: "local-168-182-111"    path: "/opt/bigdata/servers/elasticsearch/data/data1"  - name: elasticsearch-2    host: "local-168-182-112"    path: "/opt/bigdata/servers/elasticsearch/data/data1"
...
protocol: httphttpPort: 9200transportPort: 9300service:  enabled: true  type: NodePort  nodePort: 30920  httpPortName: http

复制代码

elasticsearch/templates/storage-class.yaml

kind: StorageClassapiVersion: storage.k8s.io/v1metadata:  name: {{ .Values.persistence.storageClass }}provisioner: kubernetes.io/no-provisioner

复制代码

elasticsearch/templates/pv.yaml

{{- range .Values.persistence.local }}---apiVersion: v1kind: PersistentVolumemetadata:  name: {{ .name }}  labels:    name: {{ .name }}spec:  storageClassName: {{ $.Values.persistence.storageClass }}  capacity:    storage: {{ $.Values.persistence.size }}  accessModes:  {{- range $.Values.persistence.accessModes }}    - {{ . | quote }}  {{- end }}  local:    path: {{ .path }}  nodeAffinity:    required:      nodeSelectorTerms:        - matchExpressions:            - key: kubernetes.io/hostname              operator: In              values:                - {{ .host }}---{{- end }}

复制代码

elasticsearch/templates/statefulset.yaml

spec:  volumeClaimTemplates:    spec:# 去掉这行{{ toYaml .Values.volumeClaimTemplate | indent 6 }}
# 新增以下内容：      accessModes:      {{- range .Values.persistence.accessModes }}      - {{ . | quote }}      {{- end }}      resources:        requests:          storage: {{ .Values.persistence.size | quote }}    {{- if .Values.persistence.storageClass }}    {{- if (eq "-" .Values.persistence.storageClass) }}      storageClassName: ""    {{- else }}      storageClassName: "{{ .Values.persistence.storageClass }}"    {{- end }}    {{- end }}

复制代码

4）开始部署

# 先创建本地存储目录mkdir -p /opt/bigdata/servers/elasticsearch/data/data1chmod -R 777 /opt/bigdata/servers/elasticsearch/data/data1
helm install my-elasticsearch ./elasticsearch -n elasticsearch --create-namespace# 查看helm get notes my-elasticsearch -n elasticsearchkubectl get pods,svc -n elasticsearch -owide

复制代码

NOTES

NAME: my-elasticsearchLAST DEPLOYED: Wed Oct 12 23:47:17 2022NAMESPACE: elasticsearchSTATUS: deployedREVISION: 1NOTES:1. Watch all cluster members come up.  $ kubectl get pods --namespace=elasticsearch -l app=elasticsearch-master -w2. Test cluster health using Helm test.  $ helm --namespace=elasticsearch test my-elasticsearch

复制代码

5）测试验证

 curl http://192.168.182.110:30920/curl http://192.168.182.110:30920/_cat/nodescurl http://192.168.182.110:30920/_cat/health?pretty

复制代码

6）elasticsearch-head

elasticsearch-head GitHub 下载地址：

https://github.com/mobz/elasticsearch-head

Google 浏览器 elasticsearch-head 插件，链接：

https://pan.baidu.com/s/1kYcTjBDPmSWVzsku2hEW7w?pwd=67v4

7）卸载

helm uninstall my-elasticsearch -n elasticsearchkubectl delete ns elasticsearch --force
rm -fr /opt/bigdata/servers/elasticsearch/data/data1/*ssh local-168-182-111 "rm -fr /opt/bigdata/servers/elasticsearch/data/data1/*"ssh local-168-182-112 "rm -fr /opt/bigdata/servers/elasticsearch/data/data1/*"
docker rmi myharbor.com/bigdata/elasticsearch:7.17.3crictl rmi myharbor.com/bigdata/elasticsearch:7.17.3ssh local-168-182-111 "crictl rmi myharbor.com/bigdata/elasticsearch:7.17.3"ssh local-168-182-112 "crictl rmi myharbor.com/bigdata/elasticsearch:7.17.3"

复制代码

三、Kibana 编排部署

地址：

https://artifacthub.io/packages/helm/bitnami/kibana?modal=install

1）添加源并下载编排部署包

helm repo add bitnami https://charts.bitnami.com/bitnamihelm pull bitnami/kibana --version 10.2.6tar -xf kibana-10.2.6.tgz

复制代码

2）构建镜像

这里也不重新构建镜像了，只是将镜像推送到本地 harbor 加速，对构建镜像不清楚的可以留言或私信。【注意】版本号需要跟 ES 相对应，版本不一样，可能会存储不兼容的情况。

docker pull docker.io/bitnami/kibana:7.17.3docker tag docker.io/bitnami/kibana:7.17.3 myharbor.com/bigdata/kibana:7.17.3
# 上传镜像docker push myharbor.com/bigdata/kibana:7.17.3
# 删除镜像docker rmi myharbor.com/bigdata/kibana:7.17.3crictl rmi myharbor.com/bigdata/kibana:7.17.3

复制代码

3）修改 yaml 编排

kibana/values.yaml

image:  registry: myharbor.com  repository: bigdata/kibana  tag: 8.4.3-debian-11-r1
...
replicaCount: 1
...
persistence:  enabled: true  accessModes:    - ReadWriteOnce  size: 1Gi  storageClass: "kibana-local-storage"  local:  - name: kibana-0    host: "local-168-182-111"    path: "/opt/bigdata/servers/kibana/data/data1"
...
service:  ports:    http: 5601  type: NodePort  nodePorts:    http: "30601"
...
elasticsearch:  hosts:    - elasticsearch-master.elasticsearch  port: "9200"

复制代码

kibana/templates/values.yaml

{{- range .Values.persistence.local }}---apiVersion: v1kind: PersistentVolumemetadata:  name: {{ .name }}  labels:    name: {{ .name }}spec:  storageClassName: {{ $.Values.persistence.storageClass }}  capacity:    storage: {{ $.Values.persistence.size }}  accessModes:  {{- range $.Values.persistence.accessModes }}    - {{ . | quote }}  {{- end }}  local:    path: {{ .path }}  nodeAffinity:    required:      nodeSelectorTerms:        - matchExpressions:            - key: kubernetes.io/hostname              operator: In              values:                - {{ .host }}---{{- end }}

复制代码

kibana/templates/storage-class.yaml

kind: StorageClassapiVersion: storage.k8s.io/v1metadata:  name: {{ .Values.persistence.storageClass }}provisioner: kubernetes.io/no-provisioner

复制代码

kibana/templates/pv.yaml

{{- range .Values.persistence.local }}---apiVersion: v1kind: PersistentVolumemetadata:  name: {{ .name }}  labels:    name: {{ .name }}spec:  storageClassName: {{ $.Values.persistence.storageClass }}  capacity:    storage: {{ $.Values.persistence.size }}  accessModes:  {{- range $.Values.persistence.accessModes }}    - {{ . | quote }}  {{- end }}  local:    path: {{ .path }}  nodeAffinity:    required:      nodeSelectorTerms:        - matchExpressions:            - key: kubernetes.io/hostname              operator: In              values:                - {{ .host }}---{{- end }}

复制代码

4）开始部署

# 先创建本地存储目录mkdir -p /opt/bigdata/servers/kibana/data/data1chmod -R 777 /opt/bigdata/servers/kibana/data/data1
helm install my-kibana ./kibana -n kibana --create-namespace# 查看helm get notes my-kibana -n kibanakubectl get pods,svc -n kibana -owide

复制代码

NOTES

NAME: my-kibanaLAST DEPLOYED: Thu Oct 13 22:43:30 2022NAMESPACE: kibanaSTATUS: deployedREVISION: 1TEST SUITE: NoneNOTES:CHART NAME: kibanaCHART VERSION: 10.2.6APP VERSION: 8.4.3
** Please be patient while the chart is being deployed **######################################################################################################### ERROR: You did not provide the Elasticsearch external host or port in your 'helm install' call #########################################################################################################
Complete your Kibana deployment by running:
  helm upgrade --namespace kibana my-kibana my-repo/kibana \    --set elasticsearch.hosts[0]=YOUR_ES_HOST,elasticsearch.port=YOUR_ES_PORT
Replacing "YOUR_ES_HOST" and "YOUR_ES_PORT" placeholders by the proper values of your Elasticsearch deployment.

复制代码

5）测试验证

web：

http://192.168.182.111:30601

6）卸载

helm uninstall my-kibana -n kibanakubectl delete ns kibana --force
ssh local-168-182-111 rm -fr /opt/bigdata/servers/kibana/data/data1/*
docker rmi myharbor.com/bigdata/bigdata:8.4.3-debian-11-r1crictl rmi myharbor.com/bigdata/bigdata:8.4.3-debian-11-r1

复制代码

elasticsearch-on-k8s 下载地址：

https://gitee.com/hadoop-bigdata/elasticsearch-on-k8s

kibana-on-k8s 下载地址：

https://gitee.com/hadoop-bigdata/kibana-on-k8s

发布于: 刚刚阅读数: 4

原文链接:【http://xie.infoq.cn/article/65de27059872e9c190d76ff1a】。未经作者许可，禁止转载。

CTO技术共享

关注

学如逆水行舟,不进则退 2022-08-05 加入

大型企业CTO，专注大数据、架构框架、集群、中间件、分布式、数据库、监控、开源、基础架构等技术分享，助力数字化转型。

发布

暂无评论

创作场景

ElasticSearch + Kibana for Kubernetes 硬气功实践 2

一、概述

二、Elasticsearch 编排部署

1）添加源并下载编排部署包

2）构建镜像

3）修改 yaml 编排

4）开始部署

5）测试验证

6）elasticsearch-head

7）卸载

三、Kibana 编排部署

1）添加源并下载编排部署包

2）构建镜像

3）修改 yaml 编排

4）开始部署

5）测试验证

6）卸载

CTO技术共享

评论