探索圖像到文本模型的力量：Trocr和Zhen乳膠OCR

AI的世界充滿(mǎn)了語(yǔ)言模型及其在虛擬協(xié)助和內(nèi)容創(chuàng)建中的應(yīng)用。但是，由光學(xué)特征識(shí)別（OCR）提供支持的圖像到文本轉(zhuǎn)換領(lǐng)域提供了令人興奮的可能性。本文深入研究了兩種強(qiáng)大的圖像到文本模型：Trocr和Zhen乳膠OCR，突出了它們的獨(dú)特優(yōu)勢(shì)和應(yīng)用。

學(xué)習(xí)目標(biāo)：

• 了解Trocr和Zhen乳膠OCR的最佳用例。
• 洞悉其基本架構(gòu)。
• 對(duì)這些模型進(jìn)行推斷并探索實(shí)際應(yīng)用。
• 識(shí)別這些強(qiáng)大工具的現(xiàn)實(shí)用途。

（本文是數(shù)據(jù)科學(xué)博客馬拉松的一部分。）

目錄：

• Trocr：圖像到文本的編碼器模型
• 特羅克建筑
• 引入Zhen乳膠OCR
• Trocr vs. Zhen Latex OCR：比較
• 使用TROCR：逐步指南
• 利用Zhen乳膠OCR進(jìn)行數(shù)學(xué)和乳膠圖像識(shí)別
• 未來(lái)的改進(jìn)和增強(qiáng)
• OCR的真實(shí)應(yīng)用
• 常見(jiàn)問(wèn)題

Trocr：圖像到文本的編碼器模型

TROR（基于傳統(tǒng)的光學(xué)特征識(shí)別）是一種編碼器模型，利用序列到序列機(jī)制進(jìn)行圖像到文本轉(zhuǎn)換。它具有圖像變壓器（編碼器）和文本變壓器（解碼器）。 Trocr模型通常在綜合生成的印刷文本圖像的廣泛數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，然后在IAM手寫(xiě)文本和SROIE印刷收據(jù)等數(shù)據(jù)集上進(jìn)行微調(diào)，從而產(chǎn)生了Trocr-Small-Sroie，Trocr-Base-Base-Sroie和Trocr-Large-Large-Large-Sroie等變體。

特羅克建筑

與依靠CNN和RNNS的傳統(tǒng)OCR模型不同，TROCR采用了遠(yuǎn)見(jiàn)和語(yǔ)言變壓器體系結(jié)構(gòu)。編碼器處理圖像，將其分為貼片，并使用多頭注意力和饋送前方塊生成圖像嵌入。然后，解碼器處理這些嵌入以產(chǎn)生編碼的文本輸出，最終將其解碼為可讀文本。圖像已預(yù)處理到固定尺寸的補(bǔ)丁（例如，16x16）。

引入Zhen乳膠OCR

Zhen Latex OCR是Mixtex的開(kāi)源模型，是另一個(gè)功能強(qiáng)大的編碼器模型模型，專(zhuān)門(mén)將數(shù)學(xué)公式的圖像和文本轉(zhuǎn)換為乳膠代碼。它準(zhǔn)確地識(shí)別復(fù)雜的乳膠數(shù)學(xué)公式，表，甚至在單個(gè)圖像中的單詞，文本，公式和表之間的區(qū)分。它為英語(yǔ)和中文提供雙語(yǔ)支持。

Trocr vs. Zhen Latex OCR：比較

Trocr在處理單線(xiàn)文本圖像方面表現(xiàn)出色，提供了比其他OCR模型的速度優(yōu)勢(shì)。但是，Zhen乳膠OCR閃耀著其處理數(shù)學(xué)公式和乳膠代碼的能力，為研究人員和學(xué)者提供了寶貴的工具。盡管存在用于乳膠輸入的其他工具，但Zhen latex OCR提供了方便有效的替代方案。

使用TROCR：逐步指南

我們將使用SROIE數(shù)據(jù)集進(jìn)行微調(diào)的Trocr模型演示。

步驟1：導(dǎo)入庫(kù)

從變形金剛導(dǎo)入trocrprocessor，VisionencoderDecodermodel
從PIL導(dǎo)入圖像
導(dǎo)入請(qǐng)求

步驟2：加載圖像

url ='https://fki.tic.tic.heia-fr.ch/static/img/a01-122-02-00.jpg'
image = image.open（requests.get（url，stream = true）.raw）.convert（“ rgb”）

步驟3：初始化TROR模型

processor = trocrprocessor.from_pretrataining（'Microsoft/Trocr-Base印刷'）
模型= visionencoderdecodermodel.from_pretrated（'Microsoft/Trocr-Base印刷'）
pixel_values =處理器（images = image，return_tensors =“ pt”）。pixel_values

步驟4：文字一代

generated_ids = model.generate（pixel_values）
generated_text = processor.batch_decode（generated_ids，skip_special_tokens = true）[0]
print（generated_text.lower（））＃在小寫(xiě)中輸出

利用Zhen乳膠OCR進(jìn)行數(shù)學(xué)和乳膠圖像識(shí)別

這是使用Zhen乳膠OCR的簡(jiǎn)短示例：

步驟1：導(dǎo)入庫(kù)

從變形金剛導(dǎo)入自動(dòng)源，VisionencoderDecodermodel，AutoImageProcessor
從PIL導(dǎo)入圖像
導(dǎo)入請(qǐng)求

feature_extractor = autoimageProcessor.from_pretrataining（“ mixtex/zhen-latex-ocr”）
tokenizer = autotokenizer.from_pretrataining（“ mixtex/zhen-latex-ocr”，max_len = 296）
型號(hào)= VisionencoderDecodermodel.from_pretrated（“ mixtex/zhen-latex-orock”）

步驟2：處理和生成乳膠

imgen = image.open（requests.get（'https://cdn-uploads.huggingface.co/production/uploads/62DBAADE36292040577D2D4F/EOOAYM7FZDSJIC_8PTSC-h.png'，stream = truh）。
latex_output = tokenizer.decode（model.generate（feature_extractor（imgen，return_tensors =“ pt”）。pixel_values）。pixel_values）[0]）。
打?。╨atex_output） 

未來(lái)的改進(jìn)和增強(qiáng)

兩種型號(hào)都有改進(jìn)的空間。 Trocr可以從增強(qiáng)的曲線(xiàn)文本和自然場(chǎng)景中的圖像中受益。 Zhen Latex OCR可以擴(kuò)展以支持手寫(xiě)數(shù)學(xué)公式和更復(fù)雜的表。

OCR的真實(shí)應(yīng)用

OCR模型在各個(gè)領(lǐng)域找到廣泛的應(yīng)用程序：

• 財(cái)務(wù)：從財(cái)務(wù)文件中提取數(shù)據(jù)。
• 醫(yī)療保健：數(shù)字化患者記錄和處方。
• 政府：簡(jiǎn)化文件處理和記錄保存。

結(jié)論

Trocr和Zhen乳膠OCR代表了圖像到文本技術(shù)的重大進(jìn)步。通過(guò)了解它們的優(yōu)勢(shì)和局限性，我們可以利用這些強(qiáng)大的工具來(lái)解決眾多行業(yè)的現(xiàn)實(shí)世界問(wèn)題。

關(guān)鍵要點(diǎn)：

• Trocr在單線(xiàn)文本識(shí)別方面表現(xiàn)出色。
• Zhen乳膠OCR專(zhuān)門(mén)研究數(shù)學(xué)公式和乳膠代碼。
• 基于特定需求的模型選擇對(duì)于最佳結(jié)果至關(guān)重要。

常見(jiàn)問(wèn)題

Q1：Trocr和Zhen乳膠OCR之間的主要區(qū)別是什么？ Trocr專(zhuān)注于一般文本提取，而Zhen latex OCR專(zhuān)門(mén)研究數(shù)學(xué)公式和乳膠。

Q2：我什么時(shí)候應(yīng)該使用Zhen乳膠OCR代替Trocr？處理數(shù)學(xué)方程式或乳膠代碼時(shí)，請(qǐng)使用Zhen乳膠OCR；否則，特羅克是合適的。

Q3：Zhen乳膠OCR可以處理手寫(xiě)方程嗎？目前，不，但是未來(lái)的改進(jìn)可能會(huì)解決這一問(wèn)題。

問(wèn)題4：哪些行業(yè)從OCR中受益最大？金融，醫(yī)療保健和政府是主要受益者。

（注意：本文中使用的圖像不由作者所有，并且經(jīng)過(guò)許可。）

以上是Trocr和Zhen乳膠OCR的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！