Go 的 UTF-8 实现
计算机刚诞生的时候,计算机内的字符可以全部由 ASCII 来表示,ASCII 字符的长度是 7 位,可以表示 128 个字符,对于美国等国家来说是够了,但是对于世界上的其他国家,特别是东亚国家,文字不是由字母组成,汉字就有几万个,ASCII 码根本不够用。
字符本质就是对应计算机中的一个数值,既然不够用,那么解决方法就是把这个范围扩大,Unicode 的出现就解决了这个问题,它包括了世界上所有的字符,每一个字符都对应一个数值,这个数值被称之为 Unicode 码点。
但是 Unicode 也不是没有缺点,因为表示的范围大,所以每一个 Unicode 都需要 4 个字节来表示,但是对于原本的 ASCII 编码,本来只需要一个字节,现在也需要 4 个字节,这样会浪费很多存储。
UTF-8 的出现解决了这个问题,它解决问题的思路是让每个字符选择自己的大小,需要多少字节就用多少。对于占不同字节的字符,有不同的表示格式:
1 字节:0xxxxxxx
2 字节:110xxxxx 10xxxxxx
3 字节:1110xxxx 10xxxxxx 10xxxxxx
4 字节:11110xxx 10 xxxxxx 10xxxxxx 10xxxxxx
通过识别每个字符串的头部来判断占几个字节。
每个 Unicode 字符都对应一个码点,在字符串中,可以对码点进行转义,使用 \uhhhh
表示 16 位码点,使用 \Uhhhhhhhh
来表示 32 位码点,每一个 h 都代表一个十六进制的数字。
这里有一点比较特殊,对于码点值小于 256 的文字符号可以使用单个十六进制的数字来表示,比如 'A' 可以使用 '\x41' 来表示,对于大于 256 的码点,就必须使用 \u 或者 \U 来转义。
Go 语言对于 UTF-8 的支持很好,这里有一点很有意思,Go 语言的两位作者 Ken Thompson 和 Rob Pike 同时也是 UTF-8 的发明者,Go 语言对 UTF-8 的支持赢在起跑线。
Go 语言总是使用 UTF-8 来处理源文件,同时也是优先使用 UTF-8 来处理字符串。所以上面说到的那些 Unicode 字符的转义被 Go 直接处理,比如下面三个字符串在 Go 语言中是等价的:
Go 字符串使用只读的 []byte 来存储,所以字符串值是不变的,这样做更安全,效率也很高:
在上面的例子中, s 的值出现了变化,但是 t 的值还是旧的字符串。由于是 [] byte 是 slice 类型,所以字符串的截取操作效率很高,但是在字符串截取的过程中,就会出现一些坑。
Go 中的字符串底层使用了只读的 []byte 来存储,所以本质上 Go 语言中的字符串是使用字节来表示,而不是字符表示,理解这一点很重要。
非 ASCII 码的字符一般占用的字节会超过一个,如果直接截取,就会导致截取不到正确的位置,从而乱码。在上面的例子中,一个中文字符占 3 个字节,只有严格按照字节数来截取才能获取到显示正常的字符:
那么在这个时候,如果要按照字符截取,就需要把字符串转成 []rune,每个 rune 都代表一个 UTF-8 中的码点,对 []rune 按照字符截取就不会出现乱码:
把字符串转成 []rune,就是把字符串转成 UTF-8 码点,而不是 []byte,rune 其实就是 int32 类型。
Go 语言中有一个专门 unicode/utf8
包来处理 utf8 字符。由于每个字符占据的字节可能不一样,所以字符数和字节数大小是两回事:
如果要获取字符占据的总字节数,就使用 len 方法,如果需要计算字符的个数,那就需要使用 utf8.RuneCountInString 方法。
这个包里面还提供了其他常用函数:
除了 utf8 包之外, unicode
包对提供了一系列 IsXX 函数来 rune 的检查:
RangeTable 是对所有 Unicode 字符的分类,比如验证一个字符是否是汉字:
其中 unicode.Han
就是 RangeTable 类型,表示汉字。
文 / Rayjun
本文首发于微信公众号【Rayjun】
版权声明: 本文为 InfoQ 作者【Rayjun】的原创文章。
原文链接:【http://xie.infoq.cn/article/fdbc14cb2db0e6a7112b56fc4】。文章转载请联系作者。
评论