為了安全地操縱UTF-8字符串，您必須使用多型感知功能，因?yàn)闃?biāo)準(zhǔn)字符串操作假設(shè)每個(gè)字符每個(gè)字節(jié)都會損壞UTF-8中的多型字符； 1。始終在php中使用'utf-8'編碼的php中的mb_substr（）和mb_strlen（）（例如mb_substr（）和mb_strlen（）； 2。在Python 3中，默認(rèn)情況下的字符串是Unicode，但請確保使用編碼='utf-8'打開文件，並避免字節(jié)級切片； 3。在JavaScript中，使用傳播運(yùn)算符[... text]或array.from（）進(jìn)行精確的字符計(jì)數(shù)和切片，原因是替代對； 4。在讀取/編寫文件，數(shù)據(jù)庫或網(wǎng)絡(luò)數(shù)據(jù)時(shí)始終指定UTF-8； 5。除非故意處理RAW UTF-8流，否則避免使用字節(jié)級操作； 6。處理前驗(yàn)證輸入為有效的UTF-8； 7。使用現(xiàn)實(shí)世界的文本進(jìn)行測試，包括表情符號，口音和CJK字符； 8。使用RAW字節(jié)時(shí)，僅在有效的UTF-8邊界上分開，通過檢查前導(dǎo)位（1字節(jié)的0xxxxxxx，2字節(jié)的110xxxxxx，3字節(jié)為1110xxxx，3字節(jié)為11110xxxx，11110xxxx對於4 byte），從不分裂。最安全的方法是解碼為Unicode，修改，然後重新編寫，以確保全局用戶輸入之間的數(shù)據(jù)完整性。

在現(xiàn)代網(wǎng)絡(luò)和軟件開發(fā)中使用文本時(shí)，正確處理UTF-8是不可談判的。雖然ASCII涵蓋了基本的英語字符，但UTF-8幾乎支持地球上的每種語言 - 使用多鍵序列代表7位範(fàn)圍之外的字符。但是，這種靈活性會引入複雜性，尤其是在修改字符串時(shí)：切片，更換，插入或逆轉(zhuǎn)。做錯(cuò)了，您冒著損壞數(shù)據(jù)，打破用戶體驗(yàn)或引入微妙錯(cuò)誤的風(fēng)險(xiǎn)。

這是您需要知道的安全操縱UTF-8字符串所需的內(nèi)容。

為什麼常規(guī)字符串功能在UTF-8中失敗

許多編程語言都提供內(nèi)置的字符串函數(shù)，假設(shè)一個(gè)字符等於一個(gè)字節(jié)。對於ASCII來說，這很好，但在UTF-8上失敗了，其中：

• 基本拉丁字母（A – Z）使用1個(gè)字節(jié)
• 重音字符（例如é ， ? ）經(jīng)常使用2個(gè)字節(jié)
• 大多數(shù)中文，日語和韓國人物使用3或4個(gè)字節(jié)
• 表情符號通常使用4個(gè)字節(jié)

示例：表情符號“？”在UTF-8中為4個(gè)字節(jié)（HEX中的F0 9F 98 8A ）。如果您嘗試將其切成字節(jié)2，則會中途將序列拆分，以無效或亂七八糟的輸出來歸納。

在不考慮Unicode的情況下使用諸如PHP（無mb_前綴）或len()的substr()或在python中切片的函數(shù)，可能會導(dǎo)致：

• 截短的字符（Mojibake：“”）
• 不正確的字符串長度（計(jì)數(shù)字節(jié)而不是字符）
• 破裂的文本處理（例如，大寫一半的字符）

底線：處理UTF-8時(shí)，必須使用多級吸引功能。

使用多鍵字符串功能

大多數(shù)現(xiàn)代語言都提供Unicode安全的替代方案。這是在通用環(huán)境中正確處理UTF-8的方法。

PHP：始終使用mbstring

PHP的默認(rèn)字符串函數(shù)基於字節(jié)。啟用並使用mbstring擴(kuò)展名：

 //錯(cuò)誤 - 打破UTF-8
$ truncated = substr（“café”，-1）; //如果“é”是2個(gè)字節(jié)，可能會破裂

//正確 - 尊重UTF-8
$ truncated = mb_substr（“café”，-1，1，'utf -8'）; //返回“é”
$ length = mb_strlen（“café”，'utf-8'）; //返回4

確保啟用mbstring並考慮設(shè)置：

 mb_internal_encoding（'utf-8'）;

Python：Unicode字符串是默認(rèn)的（在Python 3中）

在Python 3中，默認(rèn)情況下的字符串是Unicode，因此高級操作通常是安全的：

文字=“你好？”
打?。↙en（text））＃8（正確，包括表情符號）
打印（文字[6：]）?！?？” （正確切片）

但是要謹(jǐn)慎：

• 編碼/解碼：讀取文件時(shí)始終指定編碼：

  使用open（'file.txt'，encoding ='utf-8'）作為f：
      content = f.read（）

• 字節(jié)操作：避免切片bytes對象，除非您要處理RAW UTF-8數(shù)據(jù)。

JavaScript：主要是安全的，但請注意Edge Case

JavaScript在內(nèi)部使用UTF-16，而不是UTF-8，但可以很好地處理最多的Unicode：

 const text =“你好？”;
console.log（text.length）; // 7（但是？替代對= 2個(gè)單位）

捕獲：某些字符（像許多表情符號一樣）表示為替代對（2個(gè)代碼單位），因此.length長度給出2，而不是1。

為了準(zhǔn)確的角色計(jì)數(shù)和安全切片，請使用：

 [... text] .length; // 6（正確數(shù)量字符）
[... text] .slice（-1）[0]; //“？”

或使用Array.from()處理代理並正確組合標(biāo)記。

安全UTF-8字符串操縱的關(guān)鍵規(guī)則

為了避免在修改多重細(xì)胞字符串時(shí)損壞：

• ?在讀取/編寫文件，數(shù)據(jù)庫或網(wǎng)絡(luò)數(shù)據(jù)時(shí)始終指定編碼。
• ?使用多型功能（在PHP中，在其他地方的Unicode-ware方法中使用mb_* ）。
• ?除非您故意解析UTF-8流，否則避免使用字節(jié)級操作。
• ?驗(yàn)證輸入- 確定文本在處理之前是有效的UTF-8。
• ?用現(xiàn)實(shí)世界文本進(jìn)行測試：使用表情符號，口音和CJK字符的字符串。

一個(gè)常見的陷阱：修剪或截?cái)嘤脩糨斎胍燥@示顯示而不尊重字符邊界。 10個(gè)字符的限制應(yīng)意味著10個(gè)字符，而不是10個(gè)字符。

當(dāng)您必須使用字節(jié)時(shí)

有時(shí)，您正在處理RAW UTF-8字節(jié)流（例如，網(wǎng)絡(luò)協(xié)議，文件解析）。在這些情況下：

1. 不要在多重序列的中間分開

   • UTF-8使用領(lǐng)先位來指示字節(jié)長：
     • 0xxxxxxx →1字節(jié)（ASCII）
     • 110xxxxx →2字節(jié)序列的開始
     • 1110xxxx →3字節(jié)的開始
     • 11110xxx →4字節(jié)的開始
   • 延續(xù)字節(jié)為10xxxxxx

2. 僅在有效的邊界分開：

   • 在0xxxxxxx之後
   • 完成完整的多重序列之後（例如，在4字節(jié)表情符號之後）

您可以編寫一個(gè)助手來查找安全的分分點(diǎn)，但是首先解碼為Unicode，然後在修改後重新編寫。

一旦您尊重其結(jié)構(gòu)，就可以安全地處理UTF-8。關(guān)鍵是使用正確的工具，而從不假設(shè)一個(gè)字節(jié)等於一個(gè)字符。無論您是修剪用戶名還是解析多語言文檔，都要謹(jǐn)慎對待UTF-8，您的全球用戶都會感謝您。

基本上：使用Unicode-ware功能，使用真實(shí)文本進(jìn)行測試，並且永遠(yuǎn)不要相信基於字節(jié)的切片。

以上是處理UTF-8：深入研究多型字符串修改的詳細(xì)內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！