使用 OCR 數(shù)字化財務(wù)報告時，您可能會遇到各種方法來檢測這些報告中的特定類別。例如，像 Levenshtein 算法這樣的傳統(tǒng)方法可以用于基于編輯距離的字符串匹配，使其能夠有效地處理近似匹配，例如糾正拼寫錯誤或文本中的微小變化。

但是，當您需要在報告的一行中檢測多個類別時，尤其是當這些類別可能不完全按照預(yù)期顯示或可能在語義上重疊時，挑戰(zhàn)會變得更加復(fù)雜。

在這篇文章中，我們分析了使用 Facebook 的 LASER（與語言無關(guān)的 SEntence Representations）嵌入的語義匹配方法，展示了它如何有效地處理此任務(wù)。

問題

目標是識別給定文本行中的特定財務(wù)術(shù)語（類別）。假設(shè)我們有一組固定的預(yù)定義類別，代表所有可能感興趣的術(shù)語，例如：

[“收入”、“營業(yè)費用”、“營業(yè)利潤”、“折舊”、“利息”、“凈利潤”、“稅金”、“稅后利潤”、“指標 1”]

給定一個輸入行，例如：

“營業(yè)利潤、凈利潤和稅后利潤”

我們的目標是檢測此行中出現(xiàn)哪些標識符。

激光語義匹配

我們不依賴精確或模糊的文本匹配，而是使用語義相似性。這種方法利用激光嵌入來捕獲文本的語義，并使用余弦相似度進行比較。

執(zhí)行

預(yù)處理文本

在嵌入之前，通過將文本轉(zhuǎn)換為小寫并刪除多余的空格來對文本進行預(yù)處理。這確保了一致性。

def preprocess(text):
    return text.lower().strip()

嵌入標識符和輸入線

激光編碼器為標識符列表和輸入/OCR 行生成標準化嵌入。

identifier_embeddings = encoder.encode_sentences(identifiers, normalize_embeddings=True)
ocr_line_embedding = encoder.encode_sentences([ocr_line], normalize_embeddings=True)[0]

按特異性對標識符進行排名

較長的標識符會根據(jù)字數(shù)進行排序。這有助于處理嵌套匹配，其中較長的標識符可能包含較短的標識符（例如，“稅后利潤”包含“利潤”）。

ranked_identifiers = sorted(identifiers, key=lambda x: len(x.split()), reverse=True)
ranked_embeddings = encoder.encode_sentences(ranked_identifiers, normalize_embeddings=True)

計算相似度

使用余弦相似度，我們測量每個標識符與輸入行在語義上的相似程度。相似度高于指定閾值的標識符被視為匹配。

matches = []
threshold = 0.6

for idx, identifier_embedding in enumerate(ranked_embeddings):
    similarity = cosine_similarity([identifier_embedding], [ocr_line_embedding])[0][0]
    if similarity >= threshold:
        matches.append((ranked_identifiers[idx], similarity))

解析嵌套匹配

為了處理重疊的標識符，會優(yōu)先考慮較長的匹配，確保排除其中較短的匹配。

def preprocess(text):
    return text.lower().strip()

結(jié)果

執(zhí)行代碼時，輸??出會提供檢測到的匹配項及其相似度分數(shù)的列表。對于示例輸入：

identifier_embeddings = encoder.encode_sentences(identifiers, normalize_embeddings=True)
ocr_line_embedding = encoder.encode_sentences([ocr_line], normalize_embeddings=True)[0]

較長且復(fù)雜的輸入的注意事項

此方法適用于單行包含多個類別的結(jié)構(gòu)化財務(wù)報告，前提是沒有太多類別或太多不相關(guān)的文本。然而，隨著較長、復(fù)雜的輸入或非結(jié)構(gòu)化的用戶生成的文本的出現(xiàn)，準確性可能會降低，因為嵌入可能很難專注于相關(guān)類別。對于嘈雜或不可預(yù)測的輸入，它的可靠性較差。

結(jié)論

這篇文章演示了激光嵌入如何成為檢測文本中多個類別的有用工具。這是最好的選擇嗎？也許不是，但這肯定是值得考慮的選項之一，尤其是在處理傳統(tǒng)匹配技術(shù)可能無法滿足的復(fù)雜場景時。

完整代碼

ranked_identifiers = sorted(identifiers, key=lambda x: len(x.split()), reverse=True)
ranked_embeddings = encoder.encode_sentences(ranked_identifiers, normalize_embeddings=True)

以上是在 Python 中使用 LASER 嵌入進行文本標識符的語義匹配的詳細內(nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！