全部标签
写点什么
学习MySQL开源云计算行业资讯算法Python人工智能区块链Linux前端个人成长面试架构师编程企业动态新基建敏捷安全读书笔记高效工作团队管理创业活动专区生涯规划知识管理运维产品经理 查看更多

对象存储手把手教五 | 数据存取与加密

用户头像
QingStor分布式存储
关注
发布于: 2 小时前
对象存储手把手教五 | 数据存取与加密

一 简介

随着航海征程的推进，乔巴的背包是越来越鼓，也越来越大了。看着轻装上阵的伙伴们，它的内心是复杂的。


乔巴 OS ：我也想找个地方储存一下我的背包，可是我又担心背包里面的内容，被人窃取了可怎么好？


针对乔巴的需求，QingStor 对象存储提供了一套完整的解决方案。既能满足你多种多样的数据存取的需求，同时，还能确保你的数据安全。


本文中用到的相关名词有：

二 什么是加密

QingStor 对象存储提供怎样的方案，来消除乔巴的担忧呢？我们先来看看 存/取 数据的流程：

通过上图，我们可以知道，乔巴要将背包存起来，首先需要将背包运送到存储地点（QingStor 对象存储）。


当前已经有比较成熟的做法用来保障数据在传输过程中的安全，也就是通用的 SSL 协议，这里不做详细说明了。


除此之外，乔巴也可以给自己的背包加个锁，即：客户端加密。这部分操作，是由乔巴自发完成并监管的。这里也不做具体说明。


等背包运输到 QingStor 了，QingStor 再对背包进行加密，这个就是服务端的数据加密。


为了消除乔巴的担忧，QingStor 对象存储提供了一套完整的解决方案： SSL 协议 + 服务端数据加密。


具体怎么做的呢？下面我们来详细说一下整个的加密/解密过程吧。好期待哦！

2.1 加密过程

乔巴现在想把背包（数据）交由 QingStor 对象存储，那么整个过程如下：


  1. 乔巴在自己的背包上贴上密钥，根据密钥生成的 MD5 值，和加密算法等标签。并保留这些信息。

  2. 乔巴将贴有这些标签的背包，交给 QingStor 对象存储。

  3. QingStor 在收到乔巴提交的背包后，先取下密钥，计算出密钥的 MD5 值

  4. QingStor 取下乔巴背包上的 MD5 值，与计算出的 MD5 值进行比对，以确认密钥在提交过程中没有被修改。

  5. 如果 QingStor 发现 MD5 值不一致了，提醒乔巴，背包内容可能会被窃取，需重新对背包贴标签，并再次提交

  6. 如果 QingStor 发现 MD5 值一致时，说明密钥没有被修改，背包提交过程中是安全的，这个时候从背包上取下加密算法，对背包里面的数据进行加密

  7. 为了确保背包里面的数据仅乔巴一个人可以获取，在加密完成后，QingStor 丢弃背包上的密钥，仅保留根据密钥计算出来的 MD5 值，用于取数据时的认证。


至此，乔巴就可以拿着加密信息离开了。

2.2 解密过程

一段时间后，乔巴要从 QingStor 取回背包了，那么整个过程又是怎样的呢？


  1. 乔巴提出取数据的申请，并在申请里面提交当时存储背包时的标签：密钥，根据密钥生成的 MD5 值，和加密算法给 QingStor

  2. QingStor 收到乔巴提交的申请后，先取下密钥，计算出 MD5 值

  3. QingStor 再取下乔巴取包申请上的 MD5 值，与计算出的 MD5 进行比对，以确认密钥在提交过程中没有被修改

  4. 若 QingStor 发现两个 MD5 值不一致，提醒乔巴，根据约定，你这个背包取不了，需重新回去找找密钥，再次提交申请啊

  5. 若 QingStor 发现两个 MD5 值一致，说明这个申请是合法的

  6. QingStor 用乔巴提交的密钥将背包数据进行数据

  7. QingStor 将解密后的背包返回给乔巴


至此，乔巴就可以拿到自己的原始背包了。

三 如何使用加密

乔巴：也就是说我只要保存好我的密钥就行了，是么？


QingStor：是的呢，密钥可要保存好哦，弄丢了，背包里面的东西就谁也不能获取到了，包括你自己哦。


乔巴：果然是够安全了。那我们就开始来办手续吧。

3.1 加密请求头

根据前文提到的，我们知道，需要给乔巴的背包贴上三个标签以实现对背包的加密。那么这个标签要怎么写呢？内容格式如下：

备注：

  • QingStor 对象存储目前支持的加密算法仅有 AES256。

  • QingStor 对象存储要求密钥的明文必须具有 32 个字节长度。且，密钥必须进行 Base64 编码处理

  • 为了确认密钥在传输过程中的完整性，这里也需要用户提供原始密钥的 MD5 值，且该 MD5 值也必须进行 Base64 编码处理。


标签贴好了，那么如何提交请求呢？QingStor 对象存储提供多种 API，用以满足用户的多种请求类型。详细内容如下：

3.2 基础操作

3.2.1 GET Object

若乔巴想从指定的存储空间，获取之前存储的加密对象（背包），可以使用 GET Object，并携带该加密对象的加密信息。即：加密请求头。


具体可以这样做：


请求示例：

GET /myphoto.jpg HTTP/1.1Host: mybucket.pek3a.qingstor.comDate: Wed, 21 Jul 2021 01:32:07 GMTAuthorization: authorization stringConnection: closeContent-Type: application/octet-streamX-Qs-Encryption-Customer-Algorithm: AES256X-Qs-Encryption-Customer-Key: your keyX-Qs-Encryption-Customer-Key-Md5: md5 of your key
复制代码


响应示例：

HTTP/1.1 200 OKServer: nginxDate: Wed, 21 Jul 2021 01:32:44 GMTLast-Modified: Tue, 20 Jul 2021 10:29:28 GMTContent-Type: application/octet-streamContent-Length: 712012Connection: keep-aliveETag: "7c1fa24c1049ea04713e38a876531b3b"X-Qs-Encryption-Customer-Algorithm: AES256X-Qs-Encryption-Customer-Key-Md5: md5 of your keyx-qs-raw-version-id: '596774173842344405x-qs-request-id: 412b0b33cb5df691x-qs-storage-class: STANDARD
[712012 bytes of object data]
复制代码

3.2.2 PUT Object

若乔巴需要将待存储至指定空间的对象（背包）进行加密，可以使用 PUT Object，并携带加密信息。


具体可以这样做：


请求示例：

PUT /myphoto.jpg HTTP/1.1Host: mybucket.pek3a.qingstor.comDate: Tue, 20 Jul 2021 10:28:51 GMTContent-Length: 7987Authorization: authorization stringX-Qs-Encryption-Customer-Algorithm: AES256X-Qs-Encryption-Customer-Key: your keyX-Qs-Encryption-Customer-Key-Md5: md5 of your key
复制代码


响应示例：

HTTP/1.1 201 CREATEDServer: nginxDate: Tue, 20 Jul 2021 10:29:28 GMTETag: "7c1fa24c1049ea04713e38a876531b3b"Content-Length: 0Connection: closeX-Qs-Encryption-Customer-Algorithm: 'AES256'X-Qs-Encryption-Customer-Key-Md5: md5 of your keyx-qs-request-id: c60578c617907748
复制代码

3.2.3 PUT Object - Copy

若乔巴想要对已经存储在 QingStor 的加密对象（背包），进行备份，可以使用 PUT Object - Copy ，对源对象（背包）进行拷贝。


拷贝后的对象，不会包含源对象的加密信息，乔巴需要再次提供加密信息，对目标对象进行加密。


由于拷贝的过程涉及到：


  1. 读取源对象

  2. 将源对象写入目标存储空间


根据前文说明，我们知道，若需读取 QingStor 的加密对象（背包），我们需要提供该加密对象的加密信息。成功读取后，再将该对象写入存储空间时，我们需要提供加密信息，对该对象进行加密。


整个过程，我们需要提供两个加密信息：源对象的加密信息与目标对象的加密信息。为了区分这两个加密信息，QingStor 对象存储用到如下请求头来标明源对象的加密信息：

请求示例：

PUT /myphoto.jpg HTTP/1.1Host: mybucket.pek3a.qingstor.comDate: Wed, 21 Jul 2021 03:06:32 GMTContent-Type: application/octet-streamAuthorization: authorization stringX-Qs-Copy-Source: /source-bucket/source-objectX-Qs-Copy-Source-Encryption-Customer-Algorithm: AES256X-Qs-Copy-Source-Encryption-Customer-Key: original object keyX-Qs-Copy-Source-Encryption-Customer-Key-Md5:original object key's md5X-Qs-Encryption-Customer-Algorithm: AES256X-Qs-Encryption-Customer-Key: new object keyX-Qs-Encryption-Customer-Key-Md5: new object key's md5
复制代码


响应示例：

HTTP/1.1 201 CREATEDServer: nginxDate: Wed, 21 Jul 2021 03:11:02 GMTETag: "7c1fa24c1049ea04713e38a876531b3b"Content-Length: 0Content-Type: text/plainConnection: closeX-Qs-Encryption-Customer-Algorithm: 'AES256'X-Qs-Encryption-Customer-Key-Md5: md5 of your keyx-qs-request-id: c60578c617907748
复制代码

3.2.4 PUT Object - Move

若乔巴需要将自己已经提交储存的背包移动一下存储位置，比如从一个存储空间移动到另外一个存储空间，那可以通过 PUT Object - Move 来操作。


因为移动背包不涉及到背包数据的读写，因此该操作是无需提供加密背包时所使用的加密信息，即：无需提供源对象加密请求头。


移动后的背包（目标对象），仍然保留源背包（源对象）加密时所使用的加密信息。


请求示例：

PUT /myphoto.jpg HTTP/1.1Host: mybucket.pek3a.qingstor.comDate: Wed, 21 Jul 2021 03:11:02 GMTAuthorization: authorization stringX-Qs-move-source: /source-bucket/source-objectX-Qs-Copy-Source-Encryption-Customer-Algorithm: AES256X-Qs-Copy-Source-Encryption-Customer-Key: original object keyX-Qs-Copy-Source-Encryption-Customer-Key-Md5:original object key's md5X-Qs-Encryption-Customer-Algorithm: AES256X-Qs-Encryption-Customer-Key: new object keyX-Qs-Encryption-Customer-Key-Md5: new object key's md5
复制代码


响应示例：

HTTP/1.1 201 CREATEDServer: QingStorDate: Wed, 21 Jul 2021 03:11:02 GMTETag: "0c2f573d81194064b129e940edcefe9b"Content-Length: 0Connection: closeX-Qs-Encryption-Customer-Algorithm: 'AES256'X-Qs-Encryption-Customer-Key-Md5: md5 of your keyx-qs-request-id: c60578c617907748
复制代码

3.2.5 HEAD Object

当乔巴存储的东西越来越多了，搞不清楚每个背包里有什么内容，这个时候可以使用 HEAD Object 来获取一下这些背包的相关信息。因为不涉及到背包数据的读写，因此该操作无需提供加密背包时所使用的加密信息，即：无需提供源对象的加密请求头。


若乔巴手里的密钥太多，不确定密钥与背包是否匹配，也可以使用 HEAD Object 来操作，这个时候就需要提供背包加密时所使用的加密信息，即：需要提供源对象的加密请求头，用以验证该加密信息的算法与密钥是否正确。


请求示例：

HEAD /myphoto.jpg HTTP/1.1Host: mybucket.pek3a.qingstor.comDate: Wed, 21 Jul 2021 06:13:33 GMTConnection：closeAuthorization: authorization stringX-Qs-Encryption-Customer-Algorithm: AES256X-Qs-Encryption-Customer-Key: your keyX-Qs-Encryption-Customer-Key-Md5:your key's md5
复制代码


响应示例：

HTTP/1.1 200 OKServer: nginxDate: Wed, 21 Jul 2021 06:13:33 GMTLast-Modified: Tue, 20 Jul 2021 10:29:28 GMTETag: "0c2f573d81194064b129e940edcefe9b"Content-Type: application/octet-streamContent-Length: 7987Connection: keep-aliveX-Qs-Encryption-Customer-Algorithm: AES256X-Qs-Encryption-Customer-Key-Md5: key's md5x-qs-storage-class: STANDARDx-qs-request-id: aa08cf7a43f611e5886952542e6ce14b
复制代码

3.3 分段上传

若乔巴待存储的背包过大，如超过 5G，这个时候，乔巴需要将背包进行一下切分，分为多个小背包进行传输。待 QingStor 收到该背包的所有分片后，QingStor 会将这些分片进行组装，再次整理为一个背包进行存储。


具体做法，参考如下内容：

3.3.1 Initiate Multipart Upload

首先，乔巴需要通知 QingStor，它需要加密分段上传。这个时候，需要用到带有加密信息的 Initiate Multipart Upload 操作来完成。


请求示例：

POST /large-object?uploads HTTP/1.1Host: mybucket.pek3a.qingstor.comDate: Wed, 21 Jul 2021 06:58:47 GMTAuthorization: authorization stringX-Qs-Encryption-Customer-Algorithm: AES256X-Qs-Encryption-Customer-Key: your keyX-Qs-Encryption-Customer-Key-Md5: your key's md5
复制代码


响应示例：

HTTP/1.1 200 OKServer: QingStorDate: Wed, 21 Jul 2021 06:59:24 GMTContent-Type: application/jsonContent-Length: 90Connection: keep-aliveX-Qs-Encryption-Customer-Algorithm: AES256X-Qs-Encryption-Customer-Key-Md5: your keyx-qs-request-id: f697b777721f033ex-qs-request-id: 37fed66c441a11e5b95f52542e6ce14b
{    "bucket":"test-rose",    "key":"example_key8",    "upload_id":"84947437bc00e22"}
复制代码


备注：

  • 这个过程中，QingStor 仅保存密钥的 MD5 值，用于验证后续上传分段的密钥是否正确。

  • QingStor 将丢弃乔巴提交的密钥信息。

3.3.2 Upload Object Part

QingStor 收到乔巴加密分段上传的请求，并做好相关准备操作后，告诉乔巴，你可以继续上传分段了。这个时候，乔巴可以使用携带有加密信息的 Upload Object Part 来进行操作。


备注：

  • 由于是同一个背包（对象）的不同分片，故加密信息应与初始化分段时提供的加密信息保持一致。

  • 该操作需包含有初始化加密分段上传阶段的 upload_id 字段


请求示例：

PUT /large-object?upload_id=4d26b37a469230619604ecdc0e314782&part_number=0 HTTP/1.1Host: mybucket.pek3a.qingstor.comDate: Wed, 21 Jul 2021 06:59:24 GMTContent-Length: 7987Authorization: authorization stringX-Qs-Encryption-Customer-Algorithm: AES256X-Qs-Encryption-Customer-Key: your keyX-Qs-Encryption-Customer-Key-Md5: your key's md5
复制代码


响应示例：

HTTP/1.1 201 CREATEDServer: QingStorDate: Wed, 21 Jul 2021 06:59:24 GMTContent-Length: 0Connection: closeX-Qs-Encryption-Customer-Algorithm: 'AES256'X-Qs-Encryption-Customer-Key-Md5: md5 of your keyx-qs-request-id: 37fed66c441a11e5b95f52542e6ce14b
复制代码

3.3.3 Copy Object Part

QingStor 也支持对加密分段的拷贝操作。与拷贝加密对象对象的操作相同，需要提供额外的请求头：

备注：

  • 拷贝时，提供的源对象加密信息与初始化分段时提供的加密信息保持一致。

  • 目标对象的加密信息重新给定。

  • 该操作需包含有初始化加密分段上传阶段的 upload_id 字段.


请求示例：

PUT /large-object?upload_id=4d26b37a469230619604ecdc0e314782&Host: mybucket.pek3a.qingstor.comDate: Wed, 21 Jul 2021 03:06:32 GMTContent-Type: application/octet-streamAuthorization: authorization stringX-Qs-Copy-Source: /source-bucket/source-objectX-Qs-Copy-Source-Encryption-Customer-Algorithm: AES256X-Qs-Copy-Source-Encryption-Customer-Key: original object keyX-Qs-Copy-Source-Encryption-Customer-Key-Md5:original object key's md5X-Qs-Encryption-Customer-Algorithm: AES256X-Qs-Encryption-Customer-Key: new object keyX-Qs-Encryption-Customer-Key-Md5: new object key's md5
复制代码


响应示例：

HTTP/1.1 201 CREATEDServer: QingStorDate: Wed, 21 Jul 2021 03:11:02 GMTETag: "7c1fa24c1049ea04713e38a876531b3b"Content-Length: 0Content-Type: text/plainConnection: closeX-Qs-Encryption-Customer-Algorithm: 'AES256'X-Qs-Encryption-Customer-Key-Md5: md5 of your keyx-qs-request-id: c60578c617907748
复制代码

3.3.4 Complete Multipart Upload

当乔巴的加密分段上传完成后，这个时候，就需要用到带有加密信息的 Initiate Multipart Upload 操作来通知 QingStor 加密分段上传完成。


备注：

  • 该操作不能单独使用。

  • 该操作不涉及到背包数据的读取，故无需提交加密请求头

  • 该操作需包含有初始化加密分段上传阶段的 upload_id 字段


请求示例：

POST /large-object?upload_id=4d26b37a469230619604ecdc0e314782 HTTP/1.1Host: mybucket.<zone-id>.qingstor.comDate: Wed, 21 Jul 2021 03:06:32 GMTAuthorization: authorization stringETag: "0c2f573d81194064b129e940edcefe9b"{    "object_parts": [        {"part_number": 0, "etag": "c837682353601f7fc0a2ccb6bc8f4654"},        {"part_number": 1, "etag": "28e2c0c6574a1ef20ac41d16a012a7c1"}    ]}
复制代码


响应示例：

HTTP/1.1 201 CREATEDServer: QingStorDate: Wed, 21 Jul 2021 03:06:32 GMTContent-Length: 0Connection: closex-qs-request-id: 37fed66c441a11e5b95f52542e6ce14b
复制代码

3.3.5 Abort Multipart Upload

在加密分段上传的过程中，乔巴发现传错背包了，或者其他原因需要终止加密分段上传，可以在完成分段上传前，提前终止加密分段上传，这个时候，就可以使用 Abort Multipart Upload。使用该操作后，已经上传成功的分段也将从 QingStor 删除。


备注：

  • 该操作不能单独使用。

  • 该操作无需提交加密请求头

  • 该操作需包含有初始化加密分段上传阶段的 upload_id 字段


请求示例：

DELETE /large-object?upload_id=4d26b37a469230619604ecdc0e314782 HTTP/1.1Host: mybucket.pek3a.qingstor.comDate: Wed, 21 Jul 2021 03:06:32 GMTContent-Length: 0Authorization: authorization string
复制代码


响应示例：

HTTP/1.1 204 NoContentServer: QingStorDate: Wed, 21 Jul 2021 03:06:32 GMTContent-Length: 0Connection: closex-qs-request-id: 37fed66c441a11e5b95f52542e6ce14b
复制代码

四 结尾

至此，我们知道，QingStor 在完成对乔巴提交的对象加密后，将丢弃乔巴提交的用于解密该对象的密钥。也就是说，一旦该对象加密存储后，只有拥有该密钥的人，才能对该对象进行下载解密。


就好比家里的保险柜钥匙丢了，你打电话给这个保险柜的生产厂家，如果厂家说他能帮你打开，那这恰恰说明这个保险柜不是那么的保险。所以从保险角度来说，厂家也没有备用钥匙的。


所以 QingStor 在这里提醒诸位，一定要保管好自己的密钥哦！

相关文章推荐

存储大师班 | ZFS存储池块管理与事务模型

对象存储手把手教四 | Bucket 生命周期管理

划线
评论
复制
发布于: 2 小时前阅读数: 4

版权声明: 本文为 InfoQ 作者【QingStor分布式存储】的原创文章。

原文链接:【http://xie.infoq.cn/article/433c4c7b287b1ad0448edf37c】。文章转载请联系作者。

对象存储分布式存储数据加密
用户头像

QingStor分布式存储

关注

拥抱云原生存储 2021.06.29 加入

公众号：QingStor 分布式存储。 提供云原生时代的全栈存储知识与服务，驱动数据引领业务创新！

评论

发布
暂无评论
Copyright © 2021, Geekbang Technology Ltd. All rights reserved. 极客邦控股（北京）有限公司 | 京 ICP 备 16027448 号 - 5京公网安备京公网安备 11010502039052号
对象存储手把手教五 | 数据存取与加密