写点什么

对象存储手把手教四 | Bucket 生命周期管理

发布于: 1 小时前
对象存储手把手教四 | Bucket 生命周期管理

​作者简介:周洋,QingStor 前端负责人,主要负责 QingStor 存储线相关产品的前端工作,包括 NeonSAN、文件存储、对象存储等。十年前后端研发从业经验,对项目研发及服务架构有着深刻的理解。


众所周知,数据已经融入了我们生活的各个方面。马路上随处可见的摄像头,手机中林林总总的应用程序,每分每秒都在生产着大量的数据。随着数据量的增加,我们的维护成本也将变得更加困难,那么如何去降低我们的维护成本呢?接下来我将为大家介绍 QingStor 对象存储中的 Lifecycle 功能。

1. 什么是 Lifecycle ?

在 QingStor 对象存储中, Lifecycle 也被称为 Bucket 生命周期管理。Bucket 生命周期管理允许用户对 Bucket 中的对象配置一条或多条规则。每条规则定义了对 Bucket 中的相匹配的对象定时执行相关操作,以达到节约存储成本的目的。

2. 什么条件下我们需要使用这个功能?

首先,对于有时效性的数据(比如国家规定留存相关网络日志不少于 6 个月),我们需要定期有计划的清理,如果手动清理的话,人力成本和时间成本过高。我们可以通过配置 Bucket 生命周期管理定期删除的规则达到留存一定时间后自动删除的目的。


另外,我们的互联网应用中,新产生的数据一般在一段时间后,访问量会大幅度下降。数据由热变冷,我们也可以利用 Bucket 生命周期管理定期将数据转换到低频存储,从而降低存储成本。

3. QingStor Bucket 生命周期都支持哪些具体的功能?

过期删除,用户可以使用此操作使资源在指定时间后自动删除。包括删除对象和取消分段上传(即删除未完成的分段上传)。


转换存储级别,用户可以使用此操作使资源在指定时间后转换到指定的存储级别,目前仅支持从标准存储转换到低频存储(STANDARD_IA)。

4. 如何配置生命周期策略?

4.1 通过青云控制台配置

接下来,我们尝试通过青云控制台来体验一下 QingStor 对象存储生命周期管理功能。


目前我们有这样一个场景:某 APP 应用存放用户日志到 QingStor 对象存储,需要在 6 个月以后对日志进行自动化删除,我们尝试从控制台配置相应的生命周期策略。


登录到青云控制台(https://console.qingcloud.com

创建一个 Bucket (以上海 1 区为例)。



点击 Bucket 名称,进入「Bucket 详情」 - 「设置」 - 「生命周期」页面。



点击「添加规则」,创建相关规则(对象前缀为空,匹配 Bucket 中所有对象)。



点击「提交」完成创建。



这样我们就成功的创建了一条对象定期删除的策略,需要注意的是,我们指定的天数 180,是指对象自创建或者修改起 180 天后自动被删除。

4.2 使用 SDK 配置

QingStor 对象存储提供了丰富的 API、SDK 以及 AWS S3 兼容 API 以满足大家在不同环境下的开发和使用。请参考文档:https://docsv3.qingcloud.com/storage/object-storage/

5. QingStorLifecycle 策略相关注意事项

5.1 变更存储级别天数限制

对象在最后修改时间至少 30 天以后(包括 30 天),才能转移到低频存储。 

5.2 低频存储最短天数限制

在低频存储中的对象有最少存储时间 30 天的限制,如果在 30 天之前被修改或删除仍然以 30 天计费。

5.3 不同规则对象前缀匹配冲突的情况

两条(或多条)生命周期规则的前缀有重叠, 此情况下有部分对象会匹配到两条(或多条)规则,QingStor 对象存储平台处理如下:


1、如果一个对象匹配到多条规则, 这些规则是同一操作,那么生效时间最早的先执行。

  • 一个对象匹配到了 rule1(7 天以后删除)和 rule2(30 天以后删除),那么这个对象会在 7 天以后删除。

  • 一个对象匹配到了 rule1(30 天以后变更低频存储)和 rule2(120 天以后变更低频存储),那么这个对象会在 30 天以后变更低频存储。


2、如果一个对象匹配到多条规则,这些规则是不同操作,除第 3 种情况下,生效时间更早的先执行,生效时间晚的后执行。

  • 一个对象匹配到了 30 天以后变更低频存储,120 天以后删除,那么这个对象会在 30 天以后变更低频存储,120 天以后删除。


3、限制用户创建的情况,不允许存在删除对象规则 rule1 和变更存储级别 rule2 前缀有重叠,且 rule1 在 rule2 之前执行,因为这样会产生对象在被删除后,无法继续执行「变更存储级别」的冲突。

6. 结尾

相信在阅读完本篇文章后,您已经知道了 QingStor 对象存储的生命周期功能是什么,以及该功能的使用场景、使用方法。希望通过使用生命周期管理,能够让您的数据管理更加方便,节约您的时间成本和消费成本。

7. 相关文章推荐

如何打造云时代的存储基石

存储大师班 | NFS的诞生与成长

QingStor 对象存储架构设计及最佳实践

发布于: 1 小时前阅读数: 3
用户头像

拥抱云原生存储 2021.06.29 加入

公众号:QingStor 分布式存储。 提供云原生时代的全栈存储知识与服务,驱动数据引领业务创新!

评论

发布
暂无评论
对象存储手把手教四 | Bucket 生命周期管理