探索圖像到文本模型的力量：Trocr和Zhen乳膠OCR

AI的世界充滿了語言模型及其在虛擬協(xié)助和內(nèi)容創(chuàng)建中的應(yīng)用。但是，由光學(xué)特徵識別（OCR）提供支持的圖像到文本轉(zhuǎn)換領(lǐng)域提供了令人興奮的可能性。本文深入研究了兩種強(qiáng)大的圖像到文本模型：Trocr和Zhen乳膠OCR，突出了它們的獨(dú)特優(yōu)勢和應(yīng)用。

學(xué)習(xí)目標(biāo)：

• 了解Trocr和Zhen乳膠OCR的最佳用例。
• 洞悉其基本架構(gòu)。
• 對這些模型進(jìn)行推斷並探索實(shí)際應(yīng)用。
• 識別這些強(qiáng)大工具的現(xiàn)實(shí)用途。

（本文是數(shù)據(jù)科學(xué)博客馬拉鬆的一部分。）

目錄：

• Trocr：圖像到文本的編碼器模型
• 特羅克建築
• 引入Zhen乳膠OCR
• Trocr vs. Zhen Latex OCR：比較
• 使用TROCR：逐步指南
• 利用Zhen乳膠OCR進(jìn)行數(shù)學(xué)和乳膠圖像識別
• 未來的改進(jìn)和增強(qiáng)
• OCR的真實(shí)應(yīng)用
• 常見問題

Trocr：圖像到文本的編碼器模型

TROR（基於傳統(tǒng)的光學(xué)特徵識別）是一種編碼器模型，利用序列到序列機(jī)制進(jìn)行圖像到文本轉(zhuǎn)換。它具有圖像變壓器（編碼器）和文本變壓器（解碼器）。 Trocr模型通常在綜合生成的印刷文本圖像的廣泛數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，然後在IAM手寫文本和SROIE印刷收據(jù)等數(shù)據(jù)集上進(jìn)行微調(diào)，從而產(chǎn)生了Trocr-Small-Sroie，Trocr-Base-Base-Sroie和Trocr-Large-Large-Large-Sroie等變體。

特羅克建築

與依靠CNN和RNNS的傳統(tǒng)OCR模型不同，TROCR採用了遠(yuǎn)見和語言變壓器體系結(jié)構(gòu)。編碼器處理圖像，將其分為貼片，並使用多頭注意力和饋送前方塊生成圖像嵌入。然後，解碼器處理這些嵌入以產(chǎn)生編碼的文本輸出，最終將其解碼為可讀文本。圖像已預(yù)處理到固定尺寸的補(bǔ)?。ɡ?，16x16）。

引入Zhen乳膠OCR

Zhen Latex OCR是Mixtex的開源模型，是另一個功能強(qiáng)大的編碼器模型模型，專門將數(shù)學(xué)公式的圖像和文本轉(zhuǎn)換為乳膠代碼。它準(zhǔn)確地識別複雜的乳膠數(shù)學(xué)公式，表，甚至在單個圖像中的單詞，文本，公式和表之間的區(qū)分。它為英語和中文提供雙語支持。

Trocr vs. Zhen Latex OCR：比較

Trocr在處理單線文本圖像方面表現(xiàn)出色，提供了比其他OCR模型的速度優(yōu)勢。但是，Zhen乳膠OCR閃耀著其處理數(shù)學(xué)公式和乳膠代碼的能力，為研究人員和學(xué)者提供了寶貴的工具。儘管存在用於乳膠輸入的其他工具，但Zhen latex OCR提供了方便有效的替代方案。

使用TROCR：逐步指南

我們將使用SROIE數(shù)據(jù)集進(jìn)行微調(diào)的Trocr模型演示。

步驟1：導(dǎo)入庫

從變形金剛導(dǎo)入trocrprocessor，VisionencoderDecodermodel
從PIL導(dǎo)入圖像
導(dǎo)入請求

步驟2：加載圖像

url ='https://fki.tic.tic.heia-fr.ch/static/img/a01-122-02-00.jpg'
image = image.open（requests.get（url，stream = true）.raw）.convert（“ rgb”）

步驟3：初始化TROR模型

processor = trocrprocessor.from_pretrataining（'Microsoft/Trocr-Base印刷'）
模型= visionencoderdecodermodel.from_pretrated（'Microsoft/Trocr-Base印刷'）
pixel_values =處理器（images = image，return_tensors =“ pt”）。 pixel_values

步驟4：文字一代

generated_ids = model.generate（pixel_values）
generated_text = processor.batch_decode（generated_ids，skip_special_tokens = true）[0]
print（generated_text.lower（））＃在小寫中輸出

利用Zhen乳膠OCR進(jìn)行數(shù)學(xué)和乳膠圖像識別

這是使用Zhen乳膠OCR的簡短示例：

步驟1：導(dǎo)入庫

從變形金剛導(dǎo)入自動源，VisionencoderDecodermodel，AutoImageProcessor
從PIL導(dǎo)入圖像
導(dǎo)入請求

feature_extractor = autoimageProcessor.from_pretrataining（“ mixtex/zhen-latex-ocr”）
tokenizer = autotokenizer.from_pretrataining（“ mixtex/zhen-latex-ocr”，max_len = 296）
型號= VisionencoderDecodermodel.from_pretrated（“ mixtex/zhen-latex-orock”）

步驟2：處理和生成乳膠

imgen = image.open（requests.get（'https://cdn-uploads.huggingface.co/production/uploads/62DBAADE36292040577D2D4F/EOOAYM7FZDSJIC_8PTSC-h.png'，stream = truh）。
latex_output = tokenizer.decode（model.generate（feature_extractor（imgen，return_tensors =“ pt”）。pixel_values）。pixel_values）[0]）。
打印（latex_output） 

未來的改進(jìn)和增強(qiáng)

兩種型號都有改進(jìn)的空間。 Trocr可以從增強(qiáng)的曲線文本和自然場景中的圖像中受益。 Zhen Latex OCR可以擴(kuò)展以支持手寫數(shù)學(xué)公式和更複雜的表。

OCR的真實(shí)應(yīng)用

OCR模型在各個領(lǐng)域找到廣泛的應(yīng)用程序：

• 財(cái)務(wù)：從財(cái)務(wù)文件中提取數(shù)據(jù)。
• 醫(yī)療保?。?/strong>數(shù)字化患者記錄和處方。
• 政府：簡化文件處理和記錄保存。