gopl-zh.github.com/ch3/ch3-05-3.md

157 lines
7.7 KiB
Markdown
Raw Normal View History

2015-12-16 06:03:43 +00:00
### 3.5.3. UTF-8
2015-12-28 02:40:45 +00:00
UTF8是一個將Unicode碼點編碼爲字節序列的變長編碼。UTF8編碼由Go語言之父Ken Thompson和Rob Pike共同發明的現在已經是Unicode的標準。UTF8編碼使用1到4個字節來表示每個Unicode碼點ASCII部分字符隻使用1個字節常用字符部分使用2或3個字節表示。每個符號編碼後第一個字節的高端bit位用於表示總共有多少編碼個字節。如果第一個字節的高端bit爲0則表示對應7bit的ASCII字符ASCII字符每個字符依然是一個字節和傳統的ASCII編碼兼容。如果第一個字節的高端bit是110則説明需要2個字節後續的每個高端bit都以10開頭。更大的Unicode碼點也是采用類似的策略處理。
2015-12-18 05:09:37 +00:00
```
2015-12-21 12:13:05 +00:00
0xxxxxxx runes 0-127 (ASCII)
110xxxxx 10xxxxxx 128-2047 (values <128 unused)
1110xxxx 10xxxxxx 10xxxxxx 2048-65535 (values <2048 unused)
11110xxx 10xxxxxx 10xxxxxx 10xxxxxx 65536-0x10ffff (other values unused)
2015-12-18 05:09:37 +00:00
```
2015-12-28 07:57:07 +00:00
變長的編碼無法直接通過索引來訪問第n個字符但是UTF8編碼獲得了很多額外的優點。首先UTF8編碼比較緊湊完全兼容ASCII碼併且可以自動同步它可以通過向前迴朔最多2個字節就能確定當前字符編碼的開始字節的位置。它也是一個前綴編碼所以當從左向右解碼時不會有任何歧義也併不需要向前査看譯註像GBK之類的編碼如果不知道起點位置則可能會出現歧義。沒有任何字符的編碼是其它字符編碼的子串或是其它編碼序列的字串因此蒐索一個字符時隻要蒐索它的字節編碼序列卽可不用擔心前後的上下文會對蒐索結果産生榦擾。同時UTF8編碼的順序和Unicode碼點的順序一致因此可以直接排序UTF8編碼序列。同時因爲沒有嵌入的NUL(0)字節可以很好地兼容那些使用NUL作爲字符串結尾的編程語言。
2015-12-18 05:09:37 +00:00
2015-12-28 02:40:45 +00:00
Go語言的源文件采用UTF8編碼併且Go語言處理UTF8編碼的文本也很出色。unicode包提供了諸多處理rune字符相關功能的函數比如區分字母和數組或者是字母的大寫和小寫轉換等unicode/utf8包則提供了用於rune字符序列的UTF8編碼和解碼的功能。
2015-12-18 05:09:37 +00:00
2015-12-28 02:40:45 +00:00
有很多Unicode字符很難直接從鍵盤輸入併且還有很多字符有着相似的結構有一些甚至是不可見的字符譯註中文和日文就有很多相似但不同的字。Go語言字符串面值中的Unicode轉義字符讓我們可以通過Unicode碼點輸入特殊的字符。有兩種形式\uhhhh對應16bit的碼點值\Uhhhhhhhh對應32bit的碼點值其中h是一個十六進製數字一般很少需要使用32bit的形式。每一個對應碼點的UTF8編碼。例如下面的字母串面值都表示相同的值
2015-12-18 05:09:37 +00:00
```
"世界"
"\xe4\xb8\x96\xe7\x95\x8c"
"\u4e16\u754c"
"\U00004e16\U0000754c"
```
2015-12-28 00:20:58 +00:00
上面三個轉義序列都爲第一個字符串提供替代寫法,但是它們的值都是相同的。
2015-12-18 05:09:37 +00:00
2015-12-28 00:20:58 +00:00
Unicode轉義也可以使用在rune字符中。下面三個字符是等價的
2015-12-18 05:09:37 +00:00
```
'世' '\u4e16' '\U00004e16'
```
2015-12-28 00:20:58 +00:00
對於小於256碼點值可以寫在一個十六進製轉義字節中例如'\x41'對應字符'A',但是對於更大的碼點則必鬚使用\u或\U轉義形式。因此'\xe4\xb8\x96'併不是一個合法的rune字符雖然這三個字節對應一個有效的UTF8編碼的碼點。
2015-12-18 05:09:37 +00:00
2015-12-28 02:40:45 +00:00
得益於UTF8編碼優良的設計諸多字符串操作都不需要解碼操作。我們可以不用解碼直接測試一個字符串是否是另一個字符串的前綴
2015-12-18 05:09:37 +00:00
```Go
func HasPrefix(s, prefix string) bool {
return len(s) >= len(prefix) && s[:len(prefix)] == prefix
}
```
2015-12-28 00:20:58 +00:00
或者是後綴測試:
2015-12-18 05:09:37 +00:00
```Go
func HasSuffix(s, suffix string) bool {
return len(s) >= len(suffix) && s[len(s)-len(suffix):] == suffix
}
```
2015-12-28 00:20:58 +00:00
或者是包含子串測試:
2015-12-18 05:09:37 +00:00
```Go
func Contains(s, substr string) bool {
for i := 0; i < len(s); i++ {
if HasPrefix(s[i:], substr) {
return true
}
}
return false
}
```
2015-12-28 02:40:45 +00:00
對於UTF8編碼後文本的處理和原始的字節處理邏輯是一樣的。但是對應很多其它編碼則併不是這樣的。上面的函數都來自strings字符串處理包眞實的代碼包含了一個用哈希技術優化的Contains 實現。)
2015-12-18 05:09:37 +00:00
2015-12-28 02:40:45 +00:00
另一方面如果我們眞的關心每個Unicode字符我們可以使用其它處理方式。考慮前面的第一個例子中的字符串它包混合了中西兩種字符。圖3.5展示了它的內存表示形式。字符串包含13個字節以UTF8形式編碼但是隻對應9個Unicode字符
2015-12-18 05:09:37 +00:00
```Go
import "unicode/utf8"
s := "Hello, 世界"
fmt.Println(len(s)) // "13"
fmt.Println(utf8.RuneCountInString(s)) // "9"
```
2015-12-28 02:40:45 +00:00
爲了處理這些眞實的字符我們需要一個UTF8解碼器。unicode/utf8包提供了該功能我們可以這樣使用
2015-12-18 05:09:37 +00:00
```Go
for i := 0; i < len(s); {
r, size := utf8.DecodeRuneInString(s[i:])
fmt.Printf("%d\t%c\n", i, r)
i += size
}
```
2015-12-28 02:40:45 +00:00
每一次調用DecodeRuneInString函數都返迴一個r和長度r對應字符本身長度對應r采用UTF8編碼後的編碼字節數目。長度可以用於更新第i個字符在字符串中的字節索引位置。但是這種編碼方式是笨拙的我們需要更簡潔的語法。幸運的是Go語言的range循環在處理字符串的時候會自動隱式解碼UTF8字符串。下面的循環運行如圖3.5所示需要註意的是對於非ASCII索引更新的步長將超過1個字節。
2015-12-18 05:09:37 +00:00
![](../images/ch3-05.png)
```Go
for i, r := range "Hello, 世界" {
fmt.Printf("%d\t%q\t%d\n", i, r, r)
}
```
2015-12-28 00:20:58 +00:00
我們可以使用一個簡單的循環來統計字符串中字符的數目,像這樣:
2015-12-18 05:09:37 +00:00
```Go
n := 0
for _, _ = range s {
n++
}
```
2015-12-28 00:20:58 +00:00
像其它形式的循環那樣,我們也可以忽略不需要的變量:
2015-12-18 05:09:37 +00:00
```Go
n := 0
for range s {
n++
}
```
2015-12-28 00:20:58 +00:00
或者我們可以直接調用utf8.RuneCountInString(s)函數。
2015-12-18 05:09:37 +00:00
2015-12-28 00:20:58 +00:00
正如我們前面提到的文本字符串采用UTF8編碼隻是一種慣例但是對於循環的眞正字符串併不是一個慣例這是正確的。如果用於循環的字符串隻是一個普通的二進製數據或者是含有錯誤編碼的UTF8數據將會發送什麽呢
2015-12-18 05:09:37 +00:00
2015-12-28 02:40:45 +00:00
每一個UTF8字符解碼不管是顯式地調用utf8.DecodeRuneInString解碼或是在range循環中隱式地解碼如果遇到一個錯誤的UTF8編碼輸入將生成一個特别的Unicode字符'\uFFFD',在印刷中這個符號通常是一個黑色六角或鑽石形狀,里面包含一個白色的問號(?。當程序遇到這樣的一個字符通常是一個危險信號説明輸入併不是一個完美沒有錯誤的UTF8字符串。
2015-12-18 05:09:37 +00:00
2015-12-28 00:20:58 +00:00
UTF8字符串作爲交換格式是非常方便的但是在程序內部采用rune序列可能更方便因爲rune大小一致支持數組索引和方便切割。
2015-12-18 05:09:37 +00:00
2015-12-28 02:40:45 +00:00
string接受到[]rune的類型轉換可以將一個UTF8編碼的字符串解碼爲Unicode字符序列
2015-12-18 05:09:37 +00:00
```Go
// "program" in Japanese katakana
s := "プログラム"
fmt.Printf("% x\n", s) // "e3 83 97 e3 83 ad e3 82 b0 e3 83 a9 e3 83 a0"
r := []rune(s)
fmt.Printf("%x\n", r) // "[30d7 30ed 30b0 30e9 30e0]"
```
2015-12-28 00:20:58 +00:00
在第一個Printf中的`% x`參數用於在每個十六進製數字前插入一個空格。)
2015-12-18 05:09:37 +00:00
2015-12-28 00:20:58 +00:00
如果是將一個[]rune類型的Unicode字符slice或數組轉爲string則對它們進行UTF8編碼
2015-12-18 05:09:37 +00:00
```Go
fmt.Println(string(r)) // "プログラム"
```
2015-12-28 02:40:45 +00:00
將一個整數轉型爲字符串意思是生成以隻包含對應Unicode碼點字符的UTF8字符串
2015-12-18 05:09:37 +00:00
```Go
fmt.Println(string(65)) // "A", not "65"
fmt.Println(string(0x4eac)) // "京"
```
2015-12-28 00:20:58 +00:00
如果對應碼點的字符是無效的,則用'\uFFFD'無效字符作爲替換:
2015-12-18 05:09:37 +00:00
```Go
fmt.Println(string(1234567)) // "(?)"
```
2015-12-16 06:03:43 +00:00