始終按字符而不是字節(jié)切片字符串，以避免損壞多字節(jié)UTF-8序列。 1。了解UTF-8字符可以是1-4個(gè)字節(jié)，因此基于字節(jié)的切片可以拆分字符。 2。避免將字符串視為字節(jié)陣列；使用解碼的Unicode字符串進(jìn)行切片。 3。將字節(jié)解碼為文本，并僅在必要時(shí)進(jìn)行編碼。 4。使用Unicode-Aware庫(kù)，例如Python的Regex或JavaScript的intl.sementer.sementer。 5。驗(yàn)證或修復(fù)部分字節(jié)序列，如果使用原始字節(jié)。切片不正確會(huì)導(dǎo)致亂碼的文字，尤其是在表情符號(hào)或國(guó)際角色的情況下，因此請(qǐng)始終確保切片與角色邊界保持一致。

當(dāng)使用現(xiàn)代編程中的字符串（尤其是在處理國(guó)際文本的Web應(yīng)用程序或系統(tǒng)中）時(shí)，很容易忽略字符串切片如何靜靜地?fù)p壞數(shù)據(jù)，尤其是在處理諸如UTF-8中的多字節(jié)字符時(shí)。錯(cuò)誤地切成此類(lèi)字符串會(huì)使字符中后期打破字符，導(dǎo)致亂七八糟的文本，無(wú)效的編碼或難以追蹤的微妙錯(cuò)誤。這是您需要知道的避免這些陷阱的知識(shí)。

?了解并非所有字符都是一個(gè)字節(jié)

問(wèn)題的根源在于字符編碼。在ASCII中，每個(gè)字符完全采用一個(gè)字節(jié)，因此通過(guò)字節(jié)索引切片與字符邊界完全一致。但是在UTF-8（當(dāng)今最常見(jiàn)的編碼）中，字符可以采用1到4個(gè)字節(jié)：

• ASCII字母（AZ）：1字節(jié)
• 重音字符（é，?）：2–3字節(jié)
• 表情符號(hào)（？，？）：4字節(jié)

如果將UTF-8字符串切成一個(gè)字節(jié)索引，該字節(jié)索引屬于多字節(jié)字符，則將分開(kāi)該字符并產(chǎn)生無(wú)效或損壞的輸出。

例子：

文字=“你好？”
＃UTF-8字節(jié)：B'Hello \ Xf0 \ X9F \ X98 \ x82'
＃如果您在字節(jié)7中切片：b'hello \ xf0'→無(wú)效

將Byte 7切成4個(gè)字節(jié)？表情符號(hào)，留下一個(gè)不完整的字節(jié)序列。解碼時(shí)，這可能會(huì)導(dǎo)致替換字符（）或?qū)е陆獯a錯(cuò)誤。

?普通陷阱：將字符串視為字節(jié)陣列

許多語(yǔ)言允許您按索引切片字符串，但是行為取決于索引是指代碼單元，代碼點(diǎn)還是插圖集簇。

有問(wèn)題的方法：

• 在python中使用字節(jié)索引而不必小心：

   ＃錯(cuò)誤：該切片由Unicode代碼點(diǎn)，但視覺(jué)上截?cái)?s =“咖啡館？”
  打?。╯ [：4]）＃'咖啡館' - 好的
  打?。⊿ [：5]）＃'咖啡館？' - 好的

  但是，如果您正在使用原始字節(jié)：

   s_bytes =“café？”。
  截?cái)? s_bytes [：6]＃截?cái)酁?個(gè)字節(jié)
  print（truncated.decode（'utf-8'，errors ='replact'））＃'caf' - 損壞！

  “é”是UTF-8（ \xc3\xa9 ）中的2個(gè)字節(jié)，因此在字節(jié)6上切片可能將其切成兩半。

• javaScript substring on Emoji：

   “？”。子弦（0，1）; //返回“ \ ud83d”  - 高替代物→無(wú)效

  JavaScript使用UTF-16，其中表情符號(hào)為兩個(gè)“替代”代碼單元。它們之間的切片會(huì)產(chǎn)生破碎的字符。

?切片字符串的安全實(shí)踐

為了避免損壞，始終將字符串切成有效字符（代碼點(diǎn)或石墨）邊界，而不是任意字節(jié)或代碼單位位置。

1。使用尊重Unicode的語(yǔ)言功能

在Python中，使用字符串本身（不是RAW字節(jié)）進(jìn)行切片：

 s =“你好？！”
SAFE_SLICE = S [：6]＃'Hello' - 包括空間，避免破壞表情符號(hào)

但是更好的是：確保您不要混合字節(jié)和文本操作。

2。提早解碼，遲到

在內(nèi)存中使用解碼的字符串（Unicode）工作，并且在輸出時(shí)僅編碼為字節(jié)：

 ＃ 好的
data = get_bytes_from_network（）
text = data.decode（'utf-8'）＃首先解碼
safe_part = text [：10]＃安全切片
結(jié)果= safe_part.encode（'utf-8'）＃僅在需要時(shí)編碼

3。使用庫(kù)進(jìn)行石墨感切片

有些字符是譜系簇- 視覺(jué)上是由多個(gè)′點(diǎn)制成的（例如，“é”為e或flags？）。

使用庫(kù)，例如：

• Python： unicodedata或regex模塊（素描支持\X ）
• JavaScript： Intl.Segmenter ，或諸如grapheme-splitter之類(lèi)的庫(kù)

python中的示例與regex ：

導(dǎo)入正則

文字=“你好??！”
＃分成圖形
塊= regex.findall（r'\ x'，文本）
safe_slice =''.join（塊[：6]）＃安全包括整個(gè)表情符號(hào)/旗幟

4。切片后進(jìn)行驗(yàn)證

如果您必須使用字節(jié)切片（例如，流數(shù)據(jù)），請(qǐng)驗(yàn)證UTF-8完整性：

 def safe_decode（b：bytes） - > str：
    嘗試：
        返回b.decode（'utf-8'）
    除了Unicodedecodeerror：
        ＃嘗試找到UTF-8序列的最后有效開(kāi)始
        對(duì)于我的范圍（len（b）-1，-1，-1）：
            嘗試：
                尾= b [i：]。解碼（'utf-8'）
                head = b [：i] .decode（'utf-8'，errors ='nighore'）
                返回頭尾
            除了Unicodedecodeerror：
                繼續(xù)
        返回b.decode（'utf-8'，errors ='替換'）

關(guān)鍵要點(diǎn)

• 永遠(yuǎn)不要假設(shè)一個(gè)字符=一個(gè)字節(jié)。
• 除非您正確處理邊界，否則請(qǐng)避免切片RAW UTF-8字節(jié)。
• 早期解碼為Unicode字符串，并在字符串域中切片。
• 對(duì)于UI/文本顯示，請(qǐng)考慮Gruseme簇，而不僅僅是代碼點(diǎn)。
• 處理部分字節(jié)序列時(shí)驗(yàn)證或修復(fù)UTF-8。

通過(guò)不正確的切片損壞字符串似乎很少，但是它以截?cái)嗟娜罩鞠ⅲ深A(yù)覽或處理用戶輸入（尤其是來(lái)自全局用戶的處理）出現(xiàn)。謹(jǐn)慎處理文本，并尊重UTF-8邊界。

基本上：切片字符，而不是字節(jié)。

以上是避免損壞的數(shù)據(jù)：切片多字節(jié)字符串的陷阱不正確的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！