本文深入探討如何利用 `jq` 工具高效地遞歸處理 JSON 數(shù)據(jù)，實(shí)現(xiàn)空值（包括空字符串、空數(shù)組、空對象及僅含空白的字符串）的移除、字符串布爾值的類型轉(zhuǎn)換以及所有字符串（包括鍵）的首尾空白字符清理。文章將分析常見實(shí)現(xiàn)方式的性能瓶頸，并提供一個(gè)優(yōu)化的自定義 `walk` 函數(shù)，以提升處理復(fù)雜嵌套 JSON 結(jié)構(gòu)時(shí)的 CPU 效率。

在數(shù)據(jù)預(yù)處理過程中，面對復(fù)雜且嵌套的 JSON 數(shù)據(jù)，我們經(jīng)常需要執(zhí)行一系列清理和標(biāo)準(zhǔn)化操作。例如，移除各種形式的“空”值、將特定字符串轉(zhuǎn)換為其對應(yīng)的布爾類型，以及統(tǒng)一清理字符串中的多余空白。jq 作為一款強(qiáng)大的命令行 JSON 處理器，是完成此類任務(wù)的理想工具。然而，對于大規(guī)?；蛏疃惹短椎?JSON 數(shù)據(jù)，如何編寫高效的 jq 查詢以避免不必要的 CPU 消耗，則成為一個(gè)關(guān)鍵挑戰(zhàn)。

核心數(shù)據(jù)處理需求

我們的目標(biāo)是遞歸地對 JSON 數(shù)據(jù)執(zhí)行以下操作：

1. 移除空值：
   • 空數(shù)組 []
   • 空對象 {}
   • 空字符串 ""
   • 僅包含空白字符的字符串（如 " "、"\t"）
   • 值為上述空值的鍵值對
   • 鍵本身為空字符串或僅含空白字符的對象成員
2. 字符串清理：
   • 對所有字符串值（包括對象鍵）去除首尾空白字符。
3. 類型轉(zhuǎn)換：
   • 將字符串 "true" 轉(zhuǎn)換為布爾值 true。
   • 將字符串 "false" 轉(zhuǎn)換為布爾值 false。

初始 jq 解決方案分析

一個(gè)常見的 jq 實(shí)現(xiàn)思路是利用其 walk 函數(shù)進(jìn)行遞歸遍歷，并在不同數(shù)據(jù)類型上應(yīng)用相應(yīng)的轉(zhuǎn)換邏輯。以下是一個(gè)初步的 jq 腳本示例，它嘗試滿足上述所有需求：

jq 'walk(
  if type == "string" then
    (sub("^[[:space:]]+"; "") | sub("[[:space:]]+$"; "") | if . == "true" then . |= true else . end | if . == "false" then . |= false else . end)
  elif type == "object" then
    with_entries(select(.value | IN("",null, [], {}) | not) | .key |= sub("^[[:space:]]+"; "") | .key |= sub("[[:space:]]+$"; "") |select(.key | IN("") | not ))
  elif type == "array" then
      map(select(. | IN("",null, [], {}) | not))
  else . end)'

腳本邏輯解析：

• walk(...): 這是 jq 的一個(gè)內(nèi)置函數(shù)（或自定義實(shí)現(xiàn)），用于遞歸地遍歷 JSON 結(jié)構(gòu)。它將一個(gè)過濾器 f 應(yīng)用于每個(gè)節(jié)點(diǎn)及其子節(jié)點(diǎn)，從葉子節(jié)點(diǎn)向上。
• if type == "string" then ...:
  • sub("^[[:space:]]+"; "") | sub("[[:space:]]+$"; ""): 使用正則表達(dá)式去除字符串的首尾空白。
  • if . == "true" then . |= true else . end | if . == "false" then . |= false else . end: 將字符串 "true" 和 "false" 轉(zhuǎn)換為對應(yīng)的布爾值。
• elif type == "object" then ...:
  • with_entries(...): 遍歷對象的鍵值對。
  • select(.value | IN("",null, [], {}) | not): 過濾掉值為 ""、null、[] 或 {} 的鍵值對。
  • .key |= sub("^[[:space:]]+"; "") | .key |= sub("[[:space:]]+$"; ""): 清理對象鍵的首尾空白。
  • select(.key | IN("") | not): 過濾掉清理后鍵為空字符串的鍵值對。
• elif type == "array" then ...:
  • map(select(. | IN("",null, [], {}) | not)): 遍歷數(shù)組元素，過濾掉值為 ""、null、[] 或 {} 的元素。

盡管此腳本功能完整，但在處理大型數(shù)據(jù)集時(shí)，其 CPU 占用可能較高。這通常是由于 walk 函數(shù)的內(nèi)部實(shí)現(xiàn)效率，或者在每個(gè)節(jié)點(diǎn)上重復(fù)執(zhí)行復(fù)雜邏輯所致。

jq 性能優(yōu)化策略：自定義 walk 函數(shù)

為了提升性能，特別是降低 CPU 消耗，我們可以采用一個(gè)更為高效的自定義 walk 函數(shù)。jq 的內(nèi)置 walk 在某些情況下可能不是最優(yōu)的，尤其是在處理對象時(shí)。以下是一個(gè)經(jīng)過優(yōu)化的 walk 函數(shù)定義：

def walk(f):
  def w:
    if type == "object"
    then . as $in
    | reduce keys_unsorted[] as $key
        ( {}; . + { ($key):  ($in[$key] | w) } ) | f
    elif type == "array" then map( w ) | f
    else f
    end;
  w;

優(yōu)化點(diǎn)解析：

Find JSON Path Online

Easily find JSON paths within JSON objects using our intuitive Json Path Finder

30

查看詳情

• def walk(f): def w: ... w;: 定義了一個(gè)外部的 walk 函數(shù)，它接受一個(gè)過濾器 f，并在內(nèi)部定義了一個(gè)遞歸的輔助函數(shù) w。
• keys_unsorted[]: 相較于 keys[]，keys_unsorted[] 在不需要鍵序保證的情況下通常會更快，因?yàn)樗苊饬伺判虿僮鳌?/li>
• reduce keys_unsorted[] as $key ( {}; . + { ($key): ($in[$key] | w) } ): 這是對象處理的關(guān)鍵優(yōu)化。它使用 reduce 迭代對象的鍵，并逐步構(gòu)建一個(gè)新的對象。這種模式在某些 jq 版本和特定場景下，可能比在 with_entries 中進(jìn)行大量修改和過濾更高效，因?yàn)樗苊饬酥虚g對象或數(shù)組的創(chuàng)建和銷毀開銷。
• map( w ): 對于數(shù)組，使用 map 函數(shù)遞歸處理每個(gè)元素。
• | f: 無論是對象、數(shù)組還是其他基本類型，在子節(jié)點(diǎn)遞歸處理完成后，最終都會將過濾器 f 應(yīng)用于當(dāng)前節(jié)點(diǎn)。這意味著 f 作用于已經(jīng)處理過的子樹上。

整合優(yōu)化方案

將上述優(yōu)化的 walk 函數(shù)與我們之前的數(shù)據(jù)處理邏輯結(jié)合，構(gòu)成一個(gè)完整的、高效的 jq 腳本。首先定義 walk 函數(shù)，然后調(diào)用它并傳入我們的清理和轉(zhuǎn)換邏輯。

def walk(f):
  def w:
    if type == "object"
    then . as $in
    | reduce keys_unsorted[] as $key
        ( {}; . + { ($key):  ($in[$key] | w) } ) | f
    elif type == "array" then map( w ) | f
    else f
    end;
  w;

walk(
  if type == "string" then
    (sub("^[[:space:]]+"; "") | sub("[[:space:]]+$"; "") | if . == "true" then . |= true else . end | if . == "false" then . |= false else . end)
  elif type == "object" then
    with_entries(select(.value | IN("",null, [], {}) | not) | .key |= sub("^[[:space:]]+"; "") | .key |= sub("[[:space:]]+$"; "") |select(.key | IN("") | not ))
  elif type == "array" then
      map(select(. | IN("",null, [], {}) | not))
  else . end)

示例演示：

假設(shè)我們有以下輸入 JSON 數(shù)據(jù)：

{
  "key1": "  value1  ",
  "key2": "",
  "key3": "true",
  "key4": "false",
  "key5": [],
  "key6": {},
  "key7": null,
  "key8": {
    "nested_key": "   nested_value   ",
    "empty_object_key": {}
  },
  "key9": [
    "array_item_1",
    "",
    "   array_item_2   ",
    []
  ],
  "  empty_key  ": 123
}

運(yùn)行上述 jq 腳本后，將得到以下輸出：

{
  "key1": "value1",
  "key3": true,
  "key4": false,
  "key8": {
    "nested_key": "nested_value"
  },
  "key9": [
    "array_item_1",
    "array_item_2"
  ]
}

可以看到，所有空值（包括空字符串、空數(shù)組、空對象、null）、僅含空白的字符串以及空鍵都被移除。字符串值和鍵的首尾空白已被清理，并且 "true" 和 "false" 字符串已成功轉(zhuǎn)換為布爾類型。

注意事項(xiàng)與最佳實(shí)踐

1. 性能測試與基準(zhǔn): 盡管提供了優(yōu)化的 walk 函數(shù)，但實(shí)際性能提升仍需在您的具體數(shù)據(jù)和環(huán)境中進(jìn)行基準(zhǔn)測試。不同 jq 版本和操作系統(tǒng)可能會有差異。
2. jq 版本: 本文中的 jq 語法兼容 jq 1.6 及更高版本。
3. 內(nèi)存與 CPU: 本文主要關(guān)注 CPU 優(yōu)化。如果遇到內(nèi)存瓶頸，jq --stream 模式是一個(gè)值得探索的替代方案，盡管它會改變處理邏輯。
4. 可讀性: 對于非常復(fù)雜的處理邏輯，可以考慮將部分邏輯抽象為獨(dú)立的 def 函數(shù)，以提高腳本的可讀性和維護(hù)性。例如，可以定義 def trim: sub("^[[:space:]]+"; "") | sub("[[:space:]]+$"; "");。
5. 錯(cuò)誤處理: 在生產(chǎn)環(huán)境中，應(yīng)考慮輸入數(shù)據(jù)可能不符合預(yù)期的情況，并加入適當(dāng)?shù)腻e(cuò)誤處理或默認(rèn)值。

總結(jié)

jq 是處理 JSON 數(shù)據(jù)的強(qiáng)大工具，通過靈活運(yùn)用其內(nèi)置函數(shù)和自定義過濾器，可以實(shí)現(xiàn)復(fù)雜的轉(zhuǎn)換邏輯。對于性能敏感的應(yīng)用場景，理解 jq 內(nèi)部機(jī)制并優(yōu)化核心遞歸函數(shù)（如 walk）至關(guān)重要。本文提供的優(yōu)化 walk 函數(shù)和整合方案，旨在幫助您更高效地清理、轉(zhuǎn)換和標(biāo)準(zhǔn)化 JSON 數(shù)據(jù)，從而降低 CPU 消耗，提升數(shù)據(jù)預(yù)處理的效率。

以上就是使用 jq 高效遞歸處理 JSON 數(shù)據(jù)：去除空值、類型轉(zhuǎn)換與字符串清理的詳細(xì)內(nèi)容，更多請關(guān)注php中文網(wǎng)其它相關(guān)文章！