写点什么

通过 TiOperator 备份数据到共享存储

  • 2024-03-22
    北京
  • 本文字数:3379 字

    阅读完需:约 11 分钟

作者: 清风明月原文来源:https://tidb.net/blog/f2201fd4


Kubernetes 上 TiDB 集群的数据备份到​持久卷​​​上。本文描述的持久卷,指任何 ​ ​Kubernetes 支持的持久卷类型​​。本文以备份数据到网络文件系统存储为例。

常用场景

如果你对数据备份有以下要求,可考虑使用 BR 将 TiDB 集群数据以 ​ ​Ad-hoc 备份​​(只执行一次) 或​ ​定时快照备份​​(执行多次) 的方式备份至持久卷:


  • 需要备份的数据量较大,而且要求备份速度较快

  • 需要直接备份数据的 SST 文件(键值对)


注意


  • BR 只支持 TiDB v3.1 及以上版本。

  • 使用 BR 备份出的数据只能恢复到 TiDB 数据库中,无法恢复到其他数据库中

一、Ad-hoc 备份

d-hoc 备份支持快照备份与增量备份。Ad-hoc 备份通过创建一个自定义的 ​​Backup​​ custom resource (CR) 对象来描述一次备份。TiDB Operator 根据这个 ​​Backup​​ 对象来完成具体的备份过程。如果备份过程中出现错误,程序不会自动重试,此时需要手动处理。


本文档对 K8S 集群中命名空间为 tidb 下的 lqb 数据库集群进行备份,具体操作如下:

准备 Ad-hoc 备份环

1. 下载​ ​backup-rbac.yaml

---kind: RoleapiVersion: rbac.authorization.k8s.io/v1metadata:  name: tidb-backup-manager  labels:    app.kubernetes.io/component: tidb-backup-managerrules:- apiGroups: [""]  resources: ["events"]  verbs: ["*"]- apiGroups: ["pingcap.com"]  resources: ["backups", "restores"]  verbs: ["get", "watch", "list", "update"]
---kind: ServiceAccountapiVersion: v1metadata: name: tidb-backup-manager
---kind: RoleBindingapiVersion: rbac.authorization.k8s.io/v1metadata: name: tidb-backup-manager labels: app.kubernetes.io/component: tidb-backup-managersubjects:- kind: ServiceAccount name: tidb-backup-managerroleRef: apiGroup: rbac.authorization.k8s.io kind: Role name: tidb-backup-manager

复制代码

2. 创建备份需要的 RBAC 相关资源在 tidb 命名空间下

[root@k8s-master]# kubectl apply -f backup-rbac.yaml -ntidbrole.rbac.authorization.k8s.io/tidb-backup-manager createdserviceaccount/tidb-backup-manager createdrolebinding.rbac.authorization.k8s.io/tidb-backup-manager created

复制代码

3. 确保可以从 K8S 集群中访问用于存储备份数据的共享服务器,并且配置了 TiKV 挂载跟备份任务相同的本地目录

spec:  tikv:    baseImage: pingcap/tikv    replicas: 4    maxFailoverCount: 6
#下边是配置tikv挂载nfs additionalVolumes: - name: nfs nfs: server: 172.16.5.194 path: /home/k8s-nfs additionalVolumeMounts: - name: nfs mountPath: /nfs
requests: cpu: "6c" storage: 12Gi memory: "400Mi" limits: cpu: "6c" memory: "12Gi" mountClusterClientSecret: false storageClassName: "local-hostpath"
复制代码

4. 备份数据到共享持久卷

1. 创建备份的自定义资源CR,将数据备份到共享存储卷
##以下以备份yz数据库为例[root@k8s-master backup]# cat backup-nfs.yaml---apiVersion: pingcap.com/v1alpha1kind: Backupmetadata: name: demo1-backup-nfs namespace: tidbspec: tableFilter: - "yz.*"
br: cluster: yz clusterNamespace: tidb
local: prefix: backup-nfs volume: name: nfs nfs: server: 172.16.5.194 path: /home/k8s-nfs volumeMount: name: nfs mountPath: /nfs
2. 创建应用配置[root@k8s-master]# kubectl apply -f backup-nfs.yamlbackup.pingcap.com/demo1-backup-nfs created
3.查看备份状态和备份文件[root@k8s-master]# kubectl get bk -n tidb -owide -wNAME TYPE MODE STATUS BACKUPPATH BACKUPSIZE COMMITTS LOGTRUNCATEUNTIL STARTED COMPLETED AGEdemo1-backup-nfs snapshot Running local:///nfs/backup-nfs 57sdemo1-backup-nfs snapshot Complete local:///nfs/backup-nfs 2.8 GB 439178019024666631 68s 0s 72s
[root@k8s-master]ls /home/k8s-nfs/backup-nfs/de1 20001 39461 4 backup.lock backupmeta checkpoint.meta checkpoints
复制代码

5. 备份实例

5.1 备份全部集群数据
---apiVersion: pingcap.com/v1alpha1kind: Backupmetadata:  name: demo1-backup-nfs  namespace: test1spec:  br:    cluster: demo1    clusterNamespace: test1  local:    prefix: backup-nfs    volume:      name: nfs      nfs:        server: ${nfs_server_ip}        path: /home/k8s-nfs    volumeMount:      name: nfs      mountPath: /nfs
复制代码

5.2. 备份单个数据库的数据

---apiVersion: pingcap.com/v1alpha1kind: Backupmetadata:  name: demo1-backup-nfs  namespace: test1spec:  tableFilter:  - "db1.*"  br:    cluster: demo1    clusterNamespace: test1  local:    prefix: backup-nfs    volume:      name: nfs      nfs:        server: ${nfs_server_ip}        path: /home/k8s-nfs    volumeMount:      name: nfs      mountPath: /nfs
复制代码

5.3. 备份单张表的数据

---apiVersion: pingcap.com/v1alpha1kind: Backupmetadata:  name: demo1-backup-nfs  namespace: test1spec:  tableFilter:  - "db1.table1"  br:    cluster: demo1    clusterNamespace: test1  local:    prefix: backup-nfs    volume:      name: nfs      nfs:        server: ${nfs_server_ip}        path: /home/k8s-nfs    volumeMount:      name: nfs      mountPath: /nfs
复制代码

5.4. 使用表库过滤功能备份多张表的数据

---apiVersion: pingcap.com/v1alpha1kind: Backupmetadata:  name: demo1-backup-nfs  namespace: test1spec:  tableFilter:  - "db1.table1"  - "db1.table2"  br:    cluster: demo1    clusterNamespace: test1  local:    prefix: backup-nfs    volume:      name: nfs      nfs:        server: ${nfs_server_ip}        path: /home/k8s-nfs    volumeMount:      name: nfs      mountPath: /nfs
复制代码

二、查看备份状态和备份文件

[root@k8s-master backup]# kubectl get bks -n tidb -owideNAME                        SCHEDULE      MAXBACKUPS   LASTBACKUP   LASTBACKUPTIME   AGEdemo1-backup-schedule-nfs   */2 * * * *                                              9sNAME                        SCHEDULE      MAXBACKUPS   LASTBACKUP   LASTBACKUPTIME   AGEdemo1-backup-schedule-nfs   */2 * * * *                                              46s

demo1-backup-schedule-nfs */2 * * * * demo1-backup-schedule-nfs-2024-02-02t10-16-00 6s 89sdemo1-backup-schedule-nfs */2 * * * * demo1-backup-schedule-nfs-2024-02-02t10-18-00 6s 3m29sdemo1-backup-schedule-nfs */2 * * * * demo1-backup-schedule-nfs-2024-02-02t10-20-00 6s 5m29sdemo1-backup-schedule-nfs */2 * * * * demo1-backup-schedule-nfs-2024-02-02t10-22-00 6s 7m29sdemo1-backup-schedule-nfs */2 * * * * demo1-backup-schedule-nfs-2024-02-02t10-24-00 6s 9m29s
[root@k8s-master ~]# ls /home/k8s-nfs/backup-nfs/yz-pd.tidb-2379-2024-02-02t10-16-00/1 20001 39461 4 backup.lock backupmeta checkpoint.meta checkpoints
复制代码

三、删除备份的 Backup CR

kubectl delete backup ${name} -n ${namespace}kubectl delete backupschedule ${name} -n ${namespace}
复制代码


发布于: 2 小时前阅读数: 4
用户头像

TiDB 社区官网:https://tidb.net/ 2021-12-15 加入

TiDB 社区干货传送门是由 TiDB 社区中布道师组委会自发组织的 TiDB 社区优质内容对外宣布的栏目,旨在加深 TiDBer 之间的交流和学习。一起构建有爱、互助、共创共建的 TiDB 社区 https://tidb.net/

评论

发布
暂无评论
通过TiOperator备份数据到共享存储_实践案例_TiDB 社区干货传送门_InfoQ写作社区