OBS 鉴权实现的宝典秘籍,速拿!
摘要:OBS提供了REST(Representational State Transfer)风格API,支持您通过HTTP/HTTPS请求调用。本文将带你了解OBS API鉴权实现的宝典秘籍。
OBS提供了REST(Representational State Transfer)风格API,支持您通过HTTP/HTTPS请求调用。在调用OBS的API前,需要了解OBS的鉴权认证方式。
签名计算篇
本文就将带您了解OBS的两种常见的鉴权方式——Header携带签名和URL携带签名。
1、在Header中携带签名计算
官网链接:https://support.huaweicloud.com/api-obs/obs_04_0010.html
1.1、签名的计算原理和计算方法
原理图示
计算方法
1.构造请求字符串(StringToSign)。
请求字符串的构造方法如下:
StringToSign =
HTTP-Verb + "\n" +
Content-MD5 + "\n" +
Content-Type + "\n" +
Date + "\n" +
CanonicalizedHeaders + CanonicalizedResource
2.对第一步的结果进行UTF-8编码。
3.使用SK对第二步的结果进行HMAC-SHA1签名计算。
4.对第三步的结果进行Base64编码,得到签名。
签名如以下形式(28位长度的BASE64编码的字符串):
计算示例
例:需要获取桶”obs-test”下的对象log.conf的对象ACL,如何构造请求并计算签名?
1、首先明确StringToSign的各字段:
请求方法:GET;
请求MD5:空
Content-Type:空
请求时间:Tue, 28 Jul 2020 06:29:47 GMT(即北京时间2020年7月28日14:29:47)
自定义头域(CanonicalizedHeaders):空
规范化资源(CanonicalizedResource):/obs-test/log.conf?acl
2、构造请求字符串StringToSign如下:
StringToSign = ‘’’GET
Tue, 28 Jul 2020 06:29:47 GMT
/obs-test/log.conf?acl’’’
3、根据签名算法,将StringToSign进行HMAC-SHA1计算后进行BASE64编码获得签名结果:xYlcrwT9jSaCtY0OnBE01OBR+aA=
1.2、签名计算的实现方式
以Python计算签名代码为例,供参考:
C语言签名算法示例:
请参考https://obs-community.obs.cn-north-1.myhuaweicloud.com/sign/signature_c.zip,下载C语言签名计算代码样例,其中:
计算签名的接口包含在sign.h头文件中。
计算签名的示例代码在main.c文件中。
可视化签名计算工具:
您也可以通过OBS提供的可视化签名计算工具来计算签名。
工具链接:
https://obs-community.obs.cn-north-1.myhuaweicloud.com/sign/header_signature.html
说明:
1. canonicalizedHeaders:表示HTTP请求头域中的OBS请求头字段,即以“x-obs-”作为前辍的头域,如“x-obs-date,x-obs-acl,x-obs-meta-*”;
a.请求头字段中关键字的的所有字符要转为小写,需要添加多个字段时,要将所有字段按照关键字的字典序从小到大进行排序;
b.在添加请求头字段时,如果有重名的字段,则需要进行合并。如:x-obs-meta-name:name1和x-obs-meta-name:name2,则需要先将重名字段的值(这里是name1和name2)以逗号分隔,合并成x-obs-meta-name:name1,name2;
c.头域中的请求头字段中的关键字不允许含有非ASCII码或不可识别字符;请求头字段中的值也不建议使用非ASCII码或不可识别字符,如果一定要使用非ASCII码或不可识别字符,需要客户端自行做编解码处理,可以采用URL编码或者Base64编码,服务端不会做解码处理;
d.当请求头字段中含有无意义空格或table键时,需要摒弃。例如:x-obs-meta-name: name(name前带有一个无意义空格),需要转换为:x-obs-meta-name:name;
e.每一个请求头字段最后都需要另起新行。
2. canonicalizedResource表示HTTP请求所指定的OBS资源,构造方式如下:
<桶名+对象名>+[子资源] …
a.通过桶绑定的自定义域名访问OBS,桶名由自定义域名表示,则为"/http://obs.ccc.com/object",其中“obs.ccc.com”为桶绑定的自定义域名。如果没有对象名,如列举桶,则为"/http://obs.ccc.com/";
b.不是通过桶绑定的自定义域名访问OBS的场景,则为"/bucket/object",如果没有对象名,如列举桶,则为"/bucket/"。如果桶名也没有,则为“/”;
c.如果有子资源,则将子资源添加进来,例如?acl,?logging。
3. 如需要使用临时AK/SK+SecurityToken的方式计算签名,计算签名的方法保持一致,但需要在头域中添加“x-obs-security-token:…”字段。
4.计算Content-MD5的方法见文末的说明。
5.其他语言计算签名的代码可详见对应语言的SDK,详见:
https://support.huaweicloud.com/sdkreference-obs/obs_02_0001.html
1.3、常见问题
1.访问OBS时报错:Signature Does Not Match
签名不匹配的情况主要有以下两种可能:
a.您没有使用正确的AK/SK,您可以检查您计算签名使用的SK和发送请求时所携带的AK是否正确且匹配;
b.您计算签名时构造的StringToSign和服务端根据接收到的HTTP请求所计算的StringToSign不匹配,您可以检查服务端返回的StringToSign,并与本地计算签名所使用的StringToSign进行对比。
如下图是服务端返回的由接收到HTTP请求所还原的StringToSign,您可以通过对比您本地的StringToSign和您发送到服务端的HTTP请求,来分析您签名计算失败的原因。
2.访问OBS时报错:Request has expired
此类情况请您检查您携带的Date是否正确,为保证请求的时效性,您所携带的Date头域必须与服务端的时间相差在15分钟以内(服务端为UTC时间),如您携带了x-obs-date头域,需检查x-obs-date的时间是否与服务端时间相差15分钟以内。
2、在URL中携带签名
OBS服务支持用户构造一个特定操作的URL,这个URL中会包含用户AK、签名、有效期、资源等信息,任何拿到这个URL的人均可执行这个操作,OBS服务收到这个请求后认为该请求就是签发URL用户自己在执行操作。例如构造一个携带签名信息的下载对象的URL,拿到相应URL的人能下载这个对象,但该URL只在Expires指定的失效时间内有效。URL中携带签名主要用于在不提供给其他人Secret Access Key的情况下,让其他人能用预签发的URL来进行身份认证,并执行预定义的操作。
官网链接https://support.huaweicloud.com/api-obs/obs_04_0011.html
2.1、签名的计算原理和计算方法
原理图示
计算方法
1.构造请求字符串(StringToSign)。
请求字符串的构造方法如下:
StringToSign =
HTTP-Verb + "\n" +
Content-MD5 + "\n" +
Content-Type + "\n" +
Date + "\n" +
CanonicalizedHeaders + CanonicalizedResource
2.对第一步的结果进行UTF-8编码。
3.使用SK对第二步的结果进行HMAC-SHA1签名计算。
4.对第三步的结果进行Base64编码,得到签名。
签名如以下形式(28位长度的BASE64编码的字符串):
JONydLd9zpf+Eu3IYiUjNmukHN0=
URL中携带的签名计算方法同Header中携带签名的签名计算方法,但是需要将Date更换为UNIX时间戳。
携带签名的URL形式如下:
其对应的StringToSign为
GET
1575452568
/obs-ycytest/
URL中携带的参数具体含义见下表:
计算示例
例:需要获取桶”obs-test”下的对象log.conf的对象ACL,如何构造请求并计算签名?
1、首先明确StringToSign的各字段:
请求方法:GET;
请求MD5:空
Content-Type:空
请求时间:1595918661(即北京时间2020年7月28日14:44:21)
自定义头域(CanonicalizedHeaders):空
规范化资源(CanonicalizedResource):/obs-test/log.conf?acl
2、构造请求字符串StringToSign如下:
StringToSign = ‘’’GET
1595918661
/obs-test/log.conf?acl’’’
3、根据签名算法,将StringToSign进行HMAC-SHA1计算后进行BASE64编码获得签名结果:lLcYw1fFMJv5m+MS0XenNrqJlag=
根据计算的结果,将URL拼接起来即可生成携带签名的URL如下:
http://obs-test.obs.myhuaweicloud.com/log.conf?AccessKeyId=xxx&acl&Expires=1595918661&Signature= lLcYw1fFMJv5m+MS0XenNrqJlag=
2.2、签名计算的实现方式
在URL中携带签名时,只需将Date替换为UNIX时间戳即可计算对应的签名,因此对应的代码不再赘述。
如需要使用临时AK/SK+SecurityToken的方式计算签名,计算签名的方法保持一致,但需要在对应的CanonicalizedResource中添加“?x-obs-security-token=…”字段,且计算得到的签名必须要进行URL编码。使用临时AK/SK+SecurityToken计算签名的代码如下:
说明:
1.在计算签名时,Date表示的是一个UNIX时间戳;
2.如果想要在浏览器中使用URL中携带签名生成的预定于URL,则计算签名时不要使用“Content-MD5”、“Content-Type”、“CanonicalizedHeaders”计算签名,否则浏览器不能携带这些参数,请求发送到服务端之后,会提示签名错误。
3、Content-MD5的计算方式
3.1、Content-MD5的计算方法
以消息内容“0123456789”为例,以下详细说明计算该字符串的Content-MD5的方法。
1.先计算MD5加密的二进制数组(128位)。
2.对这个二进制数组进行base64编码(而不是对32位字符串编码)。
以Python为例:
>>> import base64,hashlib
>>> hash = hashlib.md5()
>>> hash.update("0123456789".encode(‘utf-8’))
>>> base64.b64encode(hash.digest())
'eB5eJF1ptWaXm4bijSPyxw=='
注:hash.digest(),计算出二进制数组(128位)。
>>> hash.digest()
'x\x1e^$]i\xb5f\x97\x9b\x86\xe2\x8d#\xf2\xc7'
3.2、Content-MD5计算的实现
以Python计算文件MD5代码为例,供参考:
3.3、常见问题
常见错误是直接对计算出的32位字符串进行base64编码。
# hash.hexdigest(),计算得到可见的32位字符串编码。
>>> import base64,hashlib
>>> hash = hashlib.md5()
>>> hash.update("0123456789".encode(‘utf-8’))
>>> hash.hexdigest()
'781e5e245d69b566979b86e28d23f2c7'
# 错误的MD5值进行base64编码后的结果:
>>> base64.b64encode(hash.hexdigest())
'NzgxZTVlMjQ1ZDY5YjU2Njk3OWI4NmUyOGQyM2YyYzc='
POST签名计算
OBS服务支持基于浏览器的POST上传对象请求,此类请求的签名信息通过表单的方式上传。POST上传对象的流程主要如下:
首先,创建一个安全策略,指定请求中需要满足的条件,比如:桶名、对象名前缀;
然后,创建一个基于此策略的签名,需要签名的请求表单中必须包含有效的signature和policy;
最后,创建一个表单将对象上传到桶中。
1、基于浏览器上传的表单中携带签名
官网链接:https://support.huaweicloud.com/api-obs/obs_04_0012.html
1.1、签名的计算原理和计算方法
原理图示
计算方法
1.构造请求Policy:
例如一个最简单的请求Policy如下:
2.对请求Policy进行UTF-8编码。
3.对第二步的结果进行Base64编码。
4.使用SK对第三步的结果进行HMAC-SHA1签名计算。
5.对第四步的结果进行Base64编码,得到签名。
签名如以下形式(28位长度的BASE64编码的字符串):
CVs7GTY6n8Gdhc74Gj+QhpbxtT4=
即:StringToSign = Base64( UTF-8-Encoding-Of( policy ) )
Signature = Base64( HMAC-SHA1( YourSecretAccessKeyID, StringToSign ) )
计算示例
例:需要通过浏览器表单上传对象”post.txt”到桶”obs-test”下,同时设置对象ACL为公共读,如何构造请求并计算签名?
1、首先构造请求Policy:
设置请求过期时间:2020-12-21T12:00:00.000Z
桶名:obs-test
对象ACL:public-read
匹配条件:对象名=post.txt
2、构造Policy如下:
3、根据签名算法,将Policy进行UTF-8编码后再进行BASE64编码,再进行HMAC-SHA1计算后获得签名结果:odouyqpyXcYlKQz7G1/EaUNfJUE=
1.2、签名计算的实现方式
以Python计算签名代码为例,供参考:
说明:
1. policy使用json格式,conditions可以支持 { } 和 [ ] 两种方式,{ }中包含表单元素的key和value两项,以冒号分隔;[ ]中包含条件类型、key、value三项,以逗号分隔,元素key之前使用$字符表示变量;
2.下表内的字符都必须进行转义:
1.3、基于浏览器表单上传的Policy与其他方式的StringToSign的异同
基于浏览器表单上传时,匹配条件可以设置为“Starts-With”,即前缀匹配而非精确匹配,因此在上传时适用于更广的场景。
OBS API实战篇
OBS提供了REST(Representational State Transfer)风格API,支持您通过HTTP/HTTPS请求调用。
通过前述的签名计算方法,想必大家对OBS的API鉴权方式已经有所了解,下文将通过Postman、cURL、编码等方法对OBS的API进行实战调用。
1、OBS支持的API列表
详见官网链接:https://support.huaweicloud.com/api-obs/obs_04_0005.html
2、构造请求
本节主要介绍OBS RESTful 请求的构成
2.1、请求URI
OBS根据桶和对象以及所对应的子资源参数来确定具体的URI,当需要进行资源操作时,可以使用这个URI地址。
URI的一般格式为(方括号内为可选项):
protocol://[bucket.]domain[:port][/object][?param]
URI中参数的具体含义如下:
2.2、请求方法
HTTP方法(也称为操作或动词),它告诉服务你正在请求什么类型的操作。
华为云对象存储支持以下的REST请求方法:
2.3、请求消息头
请求消息头是可选的附加请求头字段,如指定的URI和HTTP方法所要求的字段。以下是OBS的公共请求消息头:
2.4、请求消息体(可选)
请求消息体通常以结构化格式(如JSON或XML)发出,与请求消息头中Content-type对应,传递除请求消息头之外的内容。若请求消息体中参数支持中文,则中文字符必须为UTF-8编码。
每个接口的请求消息体内容不同,也并不是每个接口都需要有请求消息体(或者说消息体为空),GET、DELETE操作类型的接口就不需要消息体,消息体具体内容需要根据具体接口而定。
3、发起请求
本文以列举桶内对象为例,说明各种客户端发起请求调用OBS API的流程。
3.1、构造请求
1、按照上述2.1构建请求URI,本例中的URI即为“bucketname.obs.cn-north-4.myhuaweicloud.com”;
2.按照上述2.2选择对应的请求方法,本例使用“GET”请求方法;
3.按照2.3选择对应的请求消息头,由于本例的请求为GET请求,因此Content-Type、Content-Length、Content-MD5都设置为空字符串;
其中“Authorization”请求头中的签名需要根据前文所述的签名计算方法进行计算:
StringToSign=GET
Thu, 03 Sep 2020 01:57:08 GMT
/bucketname/
将其进行加密并进行编码后,获得Authorization头域为:OBS Y5IBJTPVZBXYXVLKVOSZ:L0h7P/XDJltLkT/arekZy3Ysh68=
4.传入对应的请求消息体,本例中不涉及。
3.2、使用PostMan发起请求
Postman是一种网页调试与发送网页http请求的chrome插件。我们可以用来很方便的模拟get或者post或者其他方式的请求来调试接口。
由于Postman具有可视化的操作界面,因此调试接口过程不再赘述。
注意事项:
当在请求中不手动指定“Content-Type”等头域时,Postman会自动生成头域,可能会导致签名不匹配的情况,可通过点击红框中的按钮将隐藏头域显示以便定位此类问题;
3.3、使用cURL发起请求
cURL是利用URL语法在命令行方式下工作的文件传输工具。利用cURL可以调试OBS提供的接口。在使用curl调试OBS API时,需要用到以下的语法:
-H HTTP请求头
-X HTTP方法
调用OBS提供的列举对象接口时,在Linux终端下执行以下命令:
curl -X GET https://bucketname.obs.cn-north-4.myhuaweicloud.com -H "Content-Type:" -H "Authorization:OBS Y5IBJTPVZBXYXVLKVOSZ:*****" -H "Date:Tue, 25 Aug 2020 03:16:39 GMT" –kv
即可获取到接口返回的信息。
注意事项:
curl命令所携带的 –k参数允许curl使用非安全的ssl连接并且传输数据(证书不受信),而-v参数能输出更详细的参数便于debug。
3.4、使用HTTP请求库发起请求
通过编码发起请求,以Python常见的HTTP请求库requests库为例,代码如下:(示例代码中已集成签名计算)
评论