Python 中的 bytes、str 以及 unicode 区别

用户头像
王坤祥
关注
发布于: 2020 年 08 月 19 日
Python中的bytes、str以及unicode区别

从Python发展历史谈起

Python3和Python2表示字符序列的方式有所不同。

  • Python3字符序列的两种表示为byte和str前者的实例包含原始的8位值,即原始的字节;后者的实例包括Unicode字符。

  • Python2字符序列的两种表示为str和unicode与Python3不同的是,str实例包含原始的8位值;而unicode的实例,则包含Unicode字符。



类型转换

把Unicode字符表示为二进制数据有许多方法。做常见的编码方式是UTF-8。但是python3的str实例和Python2的unicode实例都没有和特定的二进制编码形式相关联。要想把Unicode字符转换为二进制数据,就必须使用encode方法。要想把二进制数据转换成Unicode字符,则必须使用decode方法。



因此,在编写大型复杂的Python程序的时候,一般把编码和解码的相关操作放到最外层来做。程序核心部分使用Unicode字符类型,也就是Python3的str以及Python2的unicode,而且不要对字符编码做任何假设。这种办法既可以让程序接受多种类型的文本编码,又可以保证输出的文本信息只采用一种编码形式(最好是UTF-8),灵活性很高。



所以,可以编写两个辅助函数,以便对序列进行转换,使得转换后的输入数据符合开发者预期。

对于Python3

在Python3中,我们需要编写一个接收str或bytes,并总是返回str的方法:

def to_str(bytes_or_str):
if isinstance(bytes_or_str, bytes):
return bytes_or_str.decode('utf-8')
return bytes_or_str # instance of str



以及一个总是返回bytes的方法:

def to_bytes(bytes_or_str):
if isinstance(bytes_or_str, str):
return bytes_or_str.encode('utf-8')
return bytes_or_str # instance of bytes

对于Python2

在Python2中,我们需要编写一个接收str或unicode,并总是返回unicode的方法:

def to_unicode(unicode_or_str):
if isinstance(unicode_or_str, str):
return unicode_or_str.decode('utf-8')
return unicode_or_str # instance of unicode

以及一个总是返回str的方法:

def to_str(unicode_or_str):
if isinstance(unicode_or_str, unicode):
return unicode_or_str.encode('utf-8')
return unicode_or_str # instance of str



面临的问题

在Python中使用原始8位值与Unicode字符时,通常有两个问题需要注意。

第一个问题

第一个问题通常出现在Python2中,如果你用的是Python3,可以暂且忽略这个问题。

如果str只包含7位的ASCII字符,那么unicode和str实例似乎就成了同一种类型。

  • 可以用+操作符把str与unicode连接起来

  • 可以进行比较操作比如, ==!=、<、>

这些行为一位着,只处理7位的ASCII的情况下,如果某个函数接受str,那么可以给它传入unicode;如果某个函数接收unicode,也可以传入str。而在Python3中,bytes和str实例绝对不会等价,更不能进行比较,即使是空字符串也不可以,因为这是完全不同的两个类型。所以,在传入字符序列的时候必须留意其类型。



第二个问题

第二个问题可能会出现在Python3上,也是经常遇到的一些问题。

如果通过内置的open函数获取讴歌文件句柄,那么需要注意的是,该句柄默认会采用UTF-8编码格式来操作文件。而在Python2中,文件操作的默认格式是二进制的,这可能会导致程序出现奇怪的错误。



例如,现在要向文件中随机写入二进制数据,下面这个写法在Python2中不会有什么问题,但在Python3中会有异常,提示TypeError: write() argument must be str, not bytes

with open('./random.bin', 'w') as f:
f.write(os.urandom(10))
>>> TypeError: write() argument must be str, not bytes



发生上述问题的原因是Python3给open函数添加了encode参数,而这个新参数的默认值是UTF-8。这样一来,系统就会要求开发者必须传入包含Unicode字符的str实例,而不是包含二进制数据的bytes实例。



为了解决这个问题,我们必须用二进制写入模式,即将原来的'w'修改为'wb',这样一来就可以同时适配Python2和Python3。从文件中读取数据的时候也会有类似的问题,解决方法与写入类似,使用'rb'模式打开文件,而不是'r'模式。



总结

  1. 在Python3中,bytes是一种包含8位值的序列,str是一种包含Unicode字符的序列。开发者不用比较操作来混合处理。

  2. 在Python2中,str是一种包含8位值的序列,unicode是一种包含Unicode字符的序列。如果str只有7位ASCII字符,那么可以进行比较运算以及连接操作。

  3. 在对输入的数据操作之前,使用辅助函数来保证字符序列的类型与开发者的期望一致。

  4. 从文件中读取二进制数据,或向其中写入二进制数据时,总应该以'rb'或'wb'等二进制模式来开启文件。



几个例题供参考:

  1. 字符串编码格式 UTF8 使用__________个字节表示一个汉字。(3

  2. 字符串编码格式 GBK 使用________个字节表示一个汉字。(2

  3. 已知字符串编码格式 utf8 使用 3 个字节表示一个汉字、1 个字节表示英语字母,那么表达式 len(‘abc 你好’)的值为_____。(5

  4. 已知字符串编码格式 utf8 使用 3 个字节表示一个汉字、1 个字节表示英语字母,那么表达式 len(‘abc 你好’.encode())的值为_____。(9



414、 已知字符串编码格式 gbk 使用 2 个字节表示一个汉字、1 个字节表示英语字母,那么表达式 len(‘abc 你 好’.encode(‘gbk’))的值为_____。(7



参考阅读:

《Effective Python》



发布于: 2020 年 08 月 19 日 阅读数: 744
用户头像

王坤祥

关注

日拱一卒,功不唐捐。 2017.10.17 加入

不懂热能的低温工程师不是好程序猿

评论

发布
暂无评论
Python中的bytes、str以及unicode区别