Python 中的 bytes、str 以及 unicode 区别

从Python发展历史谈起

Python3和Python2表示字符序列的方式有所不同。

• Python3字符序列的两种表示为byte和str。前者的实例包含原始的8位值，即原始的字节；后者的实例包括Unicode字符。

• Python2字符序列的两种表示为str和unicode。与Python3不同的是，str实例包含原始的8位值；而unicode的实例，则包含Unicode字符。



类型转换

把Unicode字符表示为二进制数据有许多方法。做常见的编码方式是UTF-8。但是python3的str实例和Python2的unicode实例都没有和特定的二进制编码形式相关联。要想把Unicode字符转换为二进制数据，就必须使用encode方法。要想把二进制数据转换成Unicode字符，则必须使用decode方法。



因此，在编写大型复杂的Python程序的时候，一般把编码和解码的相关操作放到最外层来做。程序核心部分使用Unicode字符类型，也就是Python3的str以及Python2的unicode，而且不要对字符编码做任何假设。这种办法既可以让程序接受多种类型的文本编码，又可以保证输出的文本信息只采用一种编码形式（最好是UTF-8），灵活性很高。



所以，可以编写两个辅助函数，以便对序列进行转换，使得转换后的输入数据符合开发者预期。

对于Python3

在Python3中，我们需要编写一个接收str或bytes，并总是返回str的方法：

def to_str(bytes_or_str):
    if isinstance(bytes_or_str, bytes):
        return bytes_or_str.decode('utf-8')
    return bytes_or_str # instance of str



以及一个总是返回bytes的方法：

def to_bytes(bytes_or_str):
    if isinstance(bytes_or_str, str):
        return bytes_or_str.encode('utf-8')
    return bytes_or_str # instance of bytes

对于Python2

在Python2中，我们需要编写一个接收str或unicode，并总是返回unicode的方法：

def to_unicode(unicode_or_str):
    if isinstance(unicode_or_str, str):
        return unicode_or_str.decode('utf-8')
    return unicode_or_str # instance of unicode

以及一个总是返回str的方法：

def to_str(unicode_or_str):
    if isinstance(unicode_or_str, unicode):
        return unicode_or_str.encode('utf-8')
    return unicode_or_str # instance of str



面临的问题

在Python中使用原始8位值与Unicode字符时，通常有两个问题需要注意。

第一个问题

第一个问题通常出现在Python2中，如果你用的是Python3，可以暂且忽略这个问题。

如果str只包含7位的ASCII字符，那么unicode和str实例似乎就成了同一种类型。

• 可以用+操作符把str与unicode连接起来

• 可以进行比较操作比如， ==、!=、<、>

这些行为一位着，只处理7位的ASCII的情况下，如果某个函数接受str，那么可以给它传入unicode；如果某个函数接收unicode，也可以传入str。而在Python3中，bytes和str实例绝对不会等价，更不能进行比较，即使是空字符串也不可以，因为这是完全不同的两个类型。所以，在传入字符序列的时候必须留意其类型。



第二个问题

第二个问题可能会出现在Python3上，也是经常遇到的一些问题。

如果通过内置的open函数获取讴歌文件句柄，那么需要注意的是，该句柄默认会采用UTF-8编码格式来操作文件。而在Python2中，文件操作的默认格式是二进制的，这可能会导致程序出现奇怪的错误。



例如，现在要向文件中随机写入二进制数据，下面这个写法在Python2中不会有什么问题，但在Python3中会有异常，提示TypeError: write() argument must be str, not bytes

with open('./random.bin', 'w') as f:
    f.write(os.urandom(10))
>>> TypeError: write() argument must be str, not bytes



发生上述问题的原因是Python3给open函数添加了encode参数，而这个新参数的默认值是UTF-8。这样一来，系统就会要求开发者必须传入包含Unicode字符的str实例，而不是包含二进制数据的bytes实例。



为了解决这个问题，我们必须用二进制写入模式，即将原来的'w'修改为'wb'，这样一来就可以同时适配Python2和Python3。从文件中读取数据的时候也会有类似的问题，解决方法与写入类似，使用'rb'模式打开文件，而不是'r'模式。



总结

1. 在Python3中，bytes是一种包含8位值的序列，str是一种包含Unicode字符的序列。开发者不用比较操作来混合处理。

2. 在Python2中，str是一种包含8位值的序列，unicode是一种包含Unicode字符的序列。如果str只有7位ASCII字符，那么可以进行比较运算以及连接操作。

3. 在对输入的数据操作之前，使用辅助函数来保证字符序列的类型与开发者的期望一致。

4. 从文件中读取二进制数据，或向其中写入二进制数据时，总应该以'rb'或'wb'等二进制模式来开启文件。



几个例题供参考：

1. 字符串编码格式 UTF8 使用__________个字节表示一个汉字。(3

2. 字符串编码格式 GBK 使用________个字节表示一个汉字。(2

3. 已知字符串编码格式 utf8 使用 3 个字节表示一个汉字、1 个字节表示英语字母，那么表达式 len(‘abc 你好’)的值为_____。(5

4. 已知字符串编码格式 utf8 使用 3 个字节表示一个汉字、1 个字节表示英语字母，那么表达式 len(‘abc 你好’.encode())的值为_____。(9



414、 已知字符串编码格式 gbk 使用 2 个字节表示一个汉字、1 个字节表示英语字母，那么表达式 len(‘abc 你 好’.encode(‘gbk’))的值为_____。(7



参考阅读：

《Effective Python》