Go 的 UTF-8 实现

关注

发布于: 2021 年 04 月 24 日

计算机刚诞生的时候，计算机内的字符可以全部由 ASCII 来表示，ASCII 字符的长度是 7 位，可以表示 128 个字符，对于美国等国家来说是够了，但是对于世界上的其他国家，特别是东亚国家，文字不是由字母组成，汉字就有几万个，ASCII 码根本不够用。

字符本质就是对应计算机中的一个数值，既然不够用，那么解决方法就是把这个范围扩大，Unicode 的出现就解决了这个问题，它包括了世界上所有的字符，每一个字符都对应一个数值，这个数值被称之为 Unicode 码点。

但是 Unicode 也不是没有缺点，因为表示的范围大，所以每一个 Unicode 都需要 4 个字节来表示，但是对于原本的 ASCII 编码，本来只需要一个字节，现在也需要 4 个字节，这样会浪费很多存储。

UTF-8 的出现解决了这个问题，它解决问题的思路是让每个字符选择自己的大小，需要多少字节就用多少。对于占不同字节的字符，有不同的表示格式：

1 字节：0xxxxxxx
2 字节：110xxxxx 10xxxxxx
3 字节：1110xxxx 10xxxxxx 10xxxxxx
4 字节：11110xxx 10 xxxxxx 10xxxxxx 10xxxxxx

通过识别每个字符串的头部来判断占几个字节。

每个 Unicode 字符都对应一个码点，在字符串中，可以对码点进行转义，使用 \uhhhh 表示 16 位码点，使用 \Uhhhhhhhh 来表示 32 位码点，每一个 h 都代表一个十六进制的数字。

这里有一点比较特殊，对于码点值小于 256 的文字符号可以使用单个十六进制的数字来表示，比如 'A' 可以使用 '\x41' 来表示，对于大于 256 的码点，就必须使用 \u 或者 \U 来转义。

Go 语言对于 UTF-8 的支持很好，这里有一点很有意思，Go 语言的两位作者 Ken Thompson 和 Rob Pike 同时也是 UTF-8 的发明者，Go 语言对 UTF-8 的支持赢在起跑线。

Go 语言总是使用 UTF-8 来处理源文件，同时也是优先使用 UTF-8 来处理字符串。所以上面说到的那些 Unicode 字符的转义被 Go 直接处理，比如下面三个字符串在 Go 语言中是等价的:

"世界""\u4e16\u754c""\U00004e16\U0000u754c"

复制代码

Go 字符串使用只读的 []byte 来存储，所以字符串值是不变的，这样做更安全，效率也很高：

s := "left root"t := ss += ", right root"
fmt.Println(s) // left root, right rootfmt.Println(t) // left root

复制代码

在上面的例子中， s 的值出现了变化，但是 t 的值还是旧的字符串。由于是 [] byte 是 slice 类型，所以字符串的截取操作效率很高，但是在字符串截取的过程中，就会出现一些坑。

Go 中的字符串底层使用了只读的 []byte 来存储，所以本质上 Go 语言中的字符串是使用字节来表示，而不是字符表示，理解这一点很重要。

str := "hello world"fmt.Println(str[:2]) // he
str = "你好，世界"fmt.Println(str[:2]) // ��，这个符号用来表示 UTF-8 里面的未知字符，码点是

复制代码

非 ASCII 码的字符一般占用的字节会超过一个，如果直接截取，就会导致截取不到正确的位置，从而乱码。在上面的例子中，一个中文字符占 3 个字节，只有严格按照字节数来截取才能获取到显示正常的字符：

str = "你好，世界"fmt.Println(str[:3]) // 你

复制代码

那么在这个时候，如果要按照字符截取，就需要把字符串转成 []rune，每个 rune 都代表一个 UTF-8 中的码点，对 []rune 按照字符截取就不会出现乱码：

str = "你好，世界"runeStr := []rune(str)fmt.Println(string(runeStr[:1])) // 你

复制代码

把字符串转成 []rune，就是把字符串转成 UTF-8 码点，而不是 []byte，rune 其实就是 int32 类型。

Go 语言中有一个专门 unicode/utf8 包来处理 utf8 字符。由于每个字符占据的字节可能不一样，所以字符数和字节数大小是两回事：

s := "Hello, 世界" // 逗号是半角符号fmt.Println(len(s))                    // 13fmt.Println(utf8.RuneCountInString(s)) // 9

复制代码

如果要获取字符占据的总字节数，就使用 len 方法，如果需要计算字符的个数，那就需要使用 utf8.RuneCountInString 方法。

这个包里面还提供了其他常用函数：

// 判断是否符合 utf8 编码：func Valid(p []byte) boolfunc ValidRune(r rune) boolfunc ValidString(s string) bool// 判断 rune 所占的字节数func RuneLen(r rune) int// 判断字节串或者字符串中的 rune 字符数func RuneCount(p []byte) intfunc RuneCountInString(s string) int// 对 rune 的编码和解码func EncodeRune(p []byte, r rune) intfunc DecodeRune(p []byte) (r rune, size int)func DecodeRuneInString(s string) (r rune, size int)func DecodeLastRune(p []byte) (r rune, size int)func DecodeLastRuneInString(s string) (r rune, size int)

复制代码

除了 utf8 包之外， unicode 包对提供了一系列 IsXX 函数来 rune 的检查：

func Is(rangeTab *RangeTable, r rune) bool // 是否是 RangeTable 类型的func In(r rune, ranges ...*RangeTable) bool  // 是否是 ranges 中任意一个类型的字符func IsControl(r rune) bool  // 是否是控制字符func IsDigit(r rune) bool  // 是否是阿拉伯数字字符，即 0-9func IsGraphic(r rune) bool // 是否是图形字符func IsLetter(r rune) bool // 是否是字母func IsLower(r rune) bool // 是否是小写字符func IsMark(r rune) bool // 是否是符号字符func IsNumber(r rune) bool // 是否是数字字符，包含罗马数字func IsOneOf(ranges []*RangeTable, r rune) bool // 是否是 RangeTable 中的一个func IsPrint(r rune) bool // 是否是可打印字符func IsPunct(r rune) bool // 是否是标点符号func IsSpace(r rune) bool // 是否是空格func IsSymbol(r rune) bool // 是否符号字符func IsTitle(r rune) bool // 字符串中的每个单词的第一个字符是否是大写func IsUpper(r rune) bool // 是否是大写字符

复制代码

RangeTable 是对所有 Unicode 字符的分类，比如验证一个字符是否是汉字：

r := '中'result := unicode.Is(unicode.Han, r)fmt.Println(result) // true

复制代码

其中 unicode.Han 就是 RangeTable 类型，表示汉字。

文 / Rayjun

本文首发于微信公众号【Rayjun】

发布于: 2021 年 04 月 24 日阅读数: 15

原文链接:【http://xie.infoq.cn/article/fdbc14cb2db0e6a7112b56fc4】。文章转载请联系作者。

Rayjun

关注

程序员，王小波死忠粉 2017.10.17 加入

非著名程序员，还在学习如何写代码，公众号同名

发布

暂无评论

创作场景

Go 的 UTF-8 实现

Rayjun

评论