使用 OCR 數(shù)位化財務(wù)報告時，您可能會遇到各種方法來偵測這些報告中的特定類別。例如，像 Levenshtein 演算法這樣的傳統(tǒng)方法可以用於基於編輯距離的字串匹配，使其能夠有效地處理近似匹配，例如修正拼字錯誤或文字中的微小變化。

但是，當(dāng)您需要在報告的一行中檢測多個類別時，尤其是當(dāng)這些類別可能不完全按照預(yù)期顯示或可能在語義上重疊時，挑戰(zhàn)會變得更加複雜。

在這篇文章中，我們分析了使用 Facebook 的 LASER（與語言無關(guān)的 SEntence Representations）嵌入的語義匹配方法，展示了它如何有效地處理此任務(wù)。

問題

目標(biāo)是識別給定文字行中的特定財務(wù)術(shù)語（類別）。假設(shè)我們有一組固定的預(yù)定義類別，代表所有可能感興趣的術(shù)語，例如：

[「收入」、「營業(yè)費用」、「營業(yè)利潤」、「折舊」、「利息」、「淨(jìng)利」、「稅金」、「稅後利潤」、「指標(biāo) 1」]

給定一個輸入行，例如：

「營業(yè)利潤、淨(jìng)利和稅後利潤」

我們的目標(biāo)是偵測此行中出現(xiàn)哪些識別符。

雷射語義匹配

我們不依賴精確或模糊的文本匹配，而是使用語義相似性。這種方法利用雷射嵌入來捕捉文字的語義，並使用餘弦相似度進(jìn)行比較。

執(zhí)行

預(yù)處理文字

在嵌入之前，透過將文字轉(zhuǎn)換為小寫並刪除多餘的空格來對文字進(jìn)行預(yù)處理。這確保了一致性。

def preprocess(text):
    return text.lower().strip()

嵌入識別符和輸入線

雷射編碼器為標(biāo)識符清單和輸入/OCR 行產(chǎn)生標(biāo)準(zhǔn)化嵌入。

identifier_embeddings = encoder.encode_sentences(identifiers, normalize_embeddings=True)
ocr_line_embedding = encoder.encode_sentences([ocr_line], normalize_embeddings=True)[0]

以特異性對識別符進(jìn)行排名

較長的標(biāo)識符會根據(jù)字?jǐn)?shù)進(jìn)行排序。這有助於處理嵌套匹配，其中較長的標(biāo)識符可能包含較短的標(biāo)識符（例如，“稅後利潤”包含“利潤”）。

ranked_identifiers = sorted(identifiers, key=lambda x: len(x.split()), reverse=True)
ranked_embeddings = encoder.encode_sentences(ranked_identifiers, normalize_embeddings=True)

計算相似度

使用餘弦相似度，我們測量每個標(biāo)識符與輸入行在語意上的相似程度。相似度高於指定閾值的標(biāo)識符被視為匹配。

matches = []
threshold = 0.6

for idx, identifier_embedding in enumerate(ranked_embeddings):
    similarity = cosine_similarity([identifier_embedding], [ocr_line_embedding])[0][0]
    if similarity >= threshold:
        matches.append((ranked_identifiers[idx], similarity))

解析嵌套匹配

為了處理重疊的標(biāo)識符，會優(yōu)先考慮較長的匹配，確保排除其中較短的匹配。

def preprocess(text):
    return text.lower().strip()

結(jié)果

執(zhí)行程式碼時，輸出會提供偵測到的匹配項及其相似度分?jǐn)?shù)的清單。對於範(fàn)例輸入：

identifier_embeddings = encoder.encode_sentences(identifiers, normalize_embeddings=True)
ocr_line_embedding = encoder.encode_sentences([ocr_line], normalize_embeddings=True)[0]

較長且複雜的輸入的注意事項

此方法適用於單行包含多個類別的結(jié)構(gòu)化財務(wù)報告，前提是沒有太多類別或太多不相關(guān)的文字。然而，隨著較長、複雜的輸入或非結(jié)構(gòu)化的使用者生成的文字的出現(xiàn)，準(zhǔn)確性可能會降低，因為嵌入可能很難專注於相關(guān)類別。對於嘈雜或不可預(yù)測的輸入，它的可靠性較差。

結(jié)論

這篇文章示範(fàn)了雷射嵌入如何成為檢測文本中多個類別的有用工具。這是最好的選擇嗎？也許不是，但這肯定是值得考慮的選項之一，尤其是在處理傳統(tǒng)匹配技術(shù)可能無法滿足的複雜場景時。

完整程式碼

ranked_identifiers = sorted(identifiers, key=lambda x: len(x.split()), reverse=True)
ranked_embeddings = encoder.encode_sentences(ranked_identifiers, normalize_embeddings=True)

以上是在 Python 中使用 LASER 嵌入進(jìn)行文字標(biāo)識符的語意匹配的詳細(xì)內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！