基于主机安装或基于Kubernetes安装的 Rainbond 集群（均使用默认参数安装），默认使用的共享文件存储是 NFS ，以 Pod 方式运行在 Kubernetes 中，但这种方式也有一些无法避免的问题，比如：NFS 的 SVC 无法通信时集群无法挂载存储则导致不能使用、服务器关机时卡在 umount 导致不能正常关机等等。
当然还有切换共享文件存储的需求，在第一次安装 Rainbond 时，大多数都使用的默认安装，使用一段时间后想切换到外部的 NFS，或者云上的 NAS 等等。
在原生的 Kubernetes 集群中，通过 StorageClass 创建的 PVC 是无法修改存储后端的，需要将 PV、PVC 删除后通过新的 StorageClass 创建新的 PVC，然后再将数据迁移，再重新挂载 PVC。当有很多个 PVC 时，需要多次重复的操作。
而 Rainbond 虽然也是通过 StorageClass 创建的 PVC，但相比原生 Kubernetes 省去了创建 PV、PVC 和重新挂载的步骤，以及重复性的操作。在 Rainbond 中只需要将底层存储类更换，然后迁移 Rainbond 所创建的一整个目录，最后重新在页面中修改挂载即可完成迁移。
本文将讲述如何迁移 Rainbond 默认的 NFS 存储到外部 NFS 存储，大致分为以下几个步骤：
部署外部 NFS 存储并对接到 K8s 上。
备份 NFS 存储的数据。
恢复备份数据并切换 Rainbond 默认存储至外部存储。
注意：
部署 NFS 并对接到 K8s 上
外部 NFS 存储可以选择部署 NFS 双机热备或其他方案，这里就不演示了，以单节点 NFS 为例。
在 Centos 上部署 NFS
安装 nfs-utils
创建共享目录
编辑 /etc/exports 文件，添加如下内容：
$ vim /etc/exports
/data *(rw,sync,insecure,no_subtree_check,no_root_squash)
复制代码
配置完成后，执行以下命令启动 NFS 服务：
systemctl enable nfs-serversystemctl start nfs-server
复制代码
验证 NFS 是否可用
showmount -e 172.20.251.94
复制代码
在 K8s 中部署 NFS Client
下面将外部的 NFS 存储对接到 Kubernetes 上，在 Kubernetes 中部署 NFS Client Provisioner
安装 Helm 命令
添加 Helm Chart 仓库
helm repo add rainbond https://openchart.goodrain.com/goodrain/rainbond
复制代码
安装 NFS-Client-Provisioner
helm install nfs-client-provisioner rainbond/nfs-client-provisioner \--set nfs.server=172.20.251.94 \--set nfs.path=/data \--version 1.2.8
复制代码
验证 NFS Client 是否可用，创建 PVC 验证。
$ vim test-pvc.yaml
apiVersion: v1kind: PersistentVolumeClaimmetadata: name: test-claimspec: accessModes: - ReadWriteOnce volumeMode: Filesystem resources: requests: storage: 1Gi storageClassName: nfs-client $ kubectl apply -f test-pvc.yaml
复制代码
查询 PVC 状态为 Bound 则正常。
备份默认 NFS 的数据
查看 rbd-system 下所有的 PVC。
kubectl get pvc -n rbd-system
复制代码
以上数据中对于我们要迁移的重要数据有 rbd-cpt-grdata 和 rbd-hub，根据 VOLUME 名称在默认的存储目录 /opt/rainbond/data/nfs 下查找，例如 pvc-9ec619e3-1e20-4d7a-b744-aa04088fb6c3。
使用 rsync 同步工具，将数据同步到新的 NFS 存储服务器上，根据以下命令开始同步，根据实际情况修改命令。
rsync -avP /opt/rainbond/data/nfs/pvc-9ec619e3-1e20-4d7a-b744-aa04088fb6c3 root@172.20.251.94:/datarsync -avP /opt/rainbond/data/nfs/pvc-d0bf09ca-5543-4050-bd08-b02ebb593b4e root@172.20.251.94:/data
复制代码
注意：数据同步完成后切记要校验数据的完整性。
切换 Rainbond 存储
更改 Rainbond 默认存储
修改 rainbondcluster CRD 资源，添加 storageClassName
$ kubectl edit rainbondcluster -n rbd-system
spec: rainbondVolumeSpecRWX: storageClassName: nfs-client #由 NFS-Client-Provisioner 创建的 sc
复制代码
修改 rainbondvolumes CRD 资源，修改 storageClassName 为 nfs-client
$ kubectl edit rainbondvolumes -n rbd-system
spec: storageClassName: nfs-client
复制代码
删除 Rainbond 基于默认 NFS 创建的 StorageClass rainbondsssc rainbondslsc
kubectl delete sc rainbondsssc rainbondslsc
复制代码
删除 rbd-system 命名空间下旧的 PVC。这时候会删除不掉，因为还有 POD 在使用该 PVC，先 ctrl c 结束。
kubectl delete pvc data data-rbd-monitor-0 rbd-api rbd-chaos-cache rbd-cpt-grdata rbd-hub -n rbd-system
复制代码
删除 Rainbond 组件的控制器让 rainbond-operator 控制 PVC 重新创建。
kubectl delete deploy rbd-api -n rbd-systemkubectl delete ds rbd-chaos -n rbd-systemkubectl delete sts rbd-monitor -n rbd-systemkubectl delete deploy rbd-worker -n rbd-systemkubectl delete deploy rbd-hub -n rbd-systemkubectl delete deploy rbd-resource-proxy -n rbd-systemkubectl delete sts rbd-eventlog -n rbd-systemkubectl delete ds rbd-node -n rbd-system
复制代码
kubectl delete pod -l release=rainbond-operator -n rbd-system
复制代码
等待所有 POD 重新创建，创建完成后 Rainbond 平台可正常访问，正常工作。
恢复数据
下面将前面备份的数据恢复到新创建的 PVC 中。
此时 rbd-cpt-grdata 和 rbd-hub 新创建的目录下的数据都是自动创建，先将其删除。
rm -rf /data/rbd-system-rbd-cpt-grdata-pvc-44167209-1006-4de5-9801-afcce996449c/*rm -rf /data/rbd-system-rbd-hub-pvc-c326b89f-7c0e-4990-a8e2-31472799ccc8/*
复制代码
再将备份的 rbd-cpt-grdata 和 rbd-hub 数据分别同步到新的目录中，例如以下命令。
rsync -avP /data/pvc-9ec619e3-1e20-4d7a-b744-aa04088fb6c3/* /data/rbd-system-rbd-cpt-grdata-pvc-44167209-1006-4de5-9801-afcce996449crsync -avP /data/pvc-d0bf09ca-5543-4050-bd08-b02ebb593b4e /data/rbd-system-rbd-hub-pvc-c326b89f-7c0e-4990-a8e2-31472799ccc8
复制代码
注意：数据同步完成后切记要校验数据的完整性。
重新 Rainbond 部分组件的 POD 生效。
kubectl delete pod -l name=rbd-api -n rbd-systemkubectl delete pod -l name=rbd-chaos -n rbd-systemkubectl delete pod -l name=rbd-monitor -n rbd-systemkubectl delete pod -l name=rbd-worker -n rbd-systemkubectl delete pod -l name=rbd-hub -n rbd-systemkubectl delete pod -l name=rbd-resource-proxy -n rbd-systemkubectl delete pod -l name=rbd-eventlog -n rbd-systemkubectl delete pod -l name=rbd-node -n rbd-system
复制代码
更改 Rainbond 上的组件存储
替换底层存储后，此时 Rainbond 上组件的存储还未修改，此时需要进入 Rainbond 的组件中将当前存储删除重新添加。
挂载路径、存储类型保持不变，删除当前的配置添加新的同样配置即可。
至此存储切换完成，后续请验证应用的数据是否都完整。
删除默认 NFS 存储资源（可选）
修改 CRD 资源，将 nfs-provisioner replicas 设置为 0
$ kubectl edit rbdcomponent nfs-provisioner -n rbd-system
spec: replicas: 0
复制代码
删除 nfs-provisioner 控制器
kubectl delete sts nfs-provisioner -n rbd-system
复制代码
删除 nfs-provisioner 的 PV、PVC
kubectl delete pvc data-nfs-provisioner-0 -n rbd-systemkubectl delete pv nfs-provisioner
复制代码
删除宿主机上的 NFS 数据存储目录
rm -rf /opt/rainbond/data/nfs
复制代码
评论