畫像間モデルのパワーの探索：TROCRとZHEN LATEX OCR

AIの世界は、言語モデルと仮想支援とコンテンツの作成におけるそのアプリケーションに亂暴になっています。ただし、光學(xué)文字認(rèn)識（OCR）を搭載した畫像からテキストへの変換のフィールドは、エキサイティングな可能性を提供します。この記事では、2つの強(qiáng)力な畫像からテキストへのモデルを掘り下げ、TROCRとZhen LaTex OCRを紹介し、獨(dú)自の強(qiáng)みとアプリケーションを強(qiáng)調(diào)しています。

學(xué)習(xí)目標(biāo)：

• TROCRとZhen Latex OCRの最適なユースケースを理解してください。
• 基礎(chǔ)となるアーキテクチャに関する洞察を得る。
• これらのモデルで推論を?qū)g行し、実用的なアプリケーションを探索します。
• これらの強(qiáng)力なツールの実際の使用を認(rèn)識します。

（この記事はデータサイエンスブログソンの一部です。）

目次：

• TROCR：畫像からテキストのためのエンコーダーデコーダーモデル
• TROCRアーキテクチャ
• Zhen Latex OCRの紹介
• TROCR vs. Zhen Latex OCR：比較
• TROCRの使用：ステップバイステップガイド
• 數(shù)學(xué)とラテックスの畫像認(rèn)識にZhen Latex OCRを利用する
• 將來の改善と強(qiáng)化
• OCRの実際のアプリケーション
• よくある質(zhì)問

TROCR：畫像からテキストのためのエンコーダーデコーダーモデル

TROCR（従來のベースの光學(xué)文字認(rèn)識）は、畫像からテキストへの変換のためのシーケンスからシーケンスメカニズムを活用するエンコーダーデコーダーモデルです。畫像トランス（エンコーダー）とテキストトランス（デコーダー）を備えています。 TROCRモデルは通常、合成された印刷されたテキスト畫像の広大なデータセットで事前に訓(xùn)練されており、IAMの手書きテキストやSROIE印刷領(lǐng)収書などのデータセットで微調(diào)整され、TROCR-SMALL-SROIE、TROCR-BASE-SROIE、TROCR-LAREGE-SROIEなどのバリエーションをもたらします。

TROCRアーキテクチャ

CNNやRNNに依存している従來のOCRモデルとは異なり、TROCRはビジョンと言語の変圧器アーキテクチャを採用しています。エンコーダは畫像を処理し、パッチに分割し、マルチヘッドの注意とフィードフォワードブロックを使用して畫像の埋め込みを生成します。次に、デコーダーはこれらの埋め込みを処理してエンコードされたテキスト出力を生成し、最終的に読み取り可能なテキストにデコードされます。畫像は、固定サイズのパッチに前処理されます（例：16x16）。

Zhen Latex OCRの紹介

MixTexのオープンソースモデルであるZhen Latex OCRは、數(shù)式とテキストの畫像をLaTexコードに変換することに特化したもう1つの強(qiáng)力なエンコーダデコーダーモデルです。複雑なラテックス數(shù)學(xué)の式、テーブル、さらには単一の畫像內(nèi)の単語、テキスト、式、テーブルを區(qū)別することさえ正確に認(rèn)識します。英語と中國語のバイリンガルサポートを提供します。

TROCR vs. Zhen Latex OCR：比較

TROCRは、シングルラインテキスト畫像の処理に優(yōu)れており、他のOCRモデルよりも速度の利點(diǎn)を提供します。ただし、Zhen Latex OCRは、數(shù)學(xué)的な式とラテックスコードを処理する能力に輝いており、研究者と學(xué)者に貴重なツールを提供します。ラテックス入力用の他のツールは存在しますが、Zhen Latex OCRは便利で効率的な代替品を提供します。

TROCRの使用：ステップバイステップガイド

Sroieデータセットで微調(diào)整されたTROCRモデルを使用してデモを行います。

ステップ1：ライブラリのインポート

トランスからTROCRProcessor、VisionEncoderDeCodermodelからインポート
PILインポート畫像から
リクエストをインポートします

ステップ2：畫像の読み込み

url = 'https://fki.tic.heia-fr.ch/static/img/a01-122-02-00.jpg'
image = image.open（requests.get（url、stream = true）.raw）.convert（ "rgb"）

ステップ3：TROCRモデルの初期化

processor = trocrprocessor.from_pretrained（ 'microsoft/trocr-base-printed'）
Model = VisionEncoderDeCodermodel.from_pretrained（ 'Microsoft/Trocr-Base-Printed'）
pixel_values = processor（image = image、return_tensors = "pt"）。pixel_values

ステップ4：テキスト生成

generated_ids = model.generate（pixel_values）
generated_text = processor.batch_decode（generated_ids、skip_special_tokens = true）[0]
print（generated_text.lower（））＃dowercaseの出力

數(shù)學(xué)とラテックスの畫像認(rèn)識にZhen Latex OCRを利用する

Zhen Latex OCRを使用する簡単な例を次に示します。

ステップ1：ライブラリのインポート

変圧器から、AutoTokenizer、VisionEncoderDeCodermodel、AutoImageProcessorから
PILインポート畫像から
リクエストをインポートします

feature_extractor = autoimageProcessor.from_pretrained（ "mixtex/zhen-latex-ocr"）
tokenizer = autotokenizer.from_pretrained（ "mixtex/zhen-latex-ocr"、max_len = 296）
Model = VisionEncoderDeCodermodel.from_pretrained（ "mixtex/zhen-latex-ocr"）

ステップ2：ラテックスの処理と生成

imgen = image.open（requests.get（ 'https://cdn-uploads.huggingface.co/production/uploads/62dbaade36292040577d2d4f/eoaym7fzdsjic_8ptsc-h.png」
latex_output = tokenizer.decode（model.generate（feature_extractor（imgen、return_tensors = "pt"）。pixel_values）[0]）。
print（latex_output） 

將來の改善と強(qiáng)化

両方のモデルには改善の余地があります。 TROCRは、天然のシーンからの灣曲したテキストと畫像の取り扱いの強(qiáng)化から恩恵を受ける可能性があります。 Zhen Latex OCRは、手書きの數(shù)式とより複雑なテーブルをサポートするために拡張できます。

OCRの実際のアプリケーション

OCRモデルは、さまざまなセクターで広範(fàn)囲にわたるアプリケーションを見つけます。

• 財(cái)務(wù)：金融文書からのデータ抽出の自動化。
• ヘルスケア：患者の記録と処方箋のデジタル化。
• 政府：ドキュメントの処理と記録管理を合理化します。

結(jié)論

TROCRおよびZHEN LATEX OCRは、畫像からテキストのテクノロジーの大きな進(jìn)歩を表しています。それらの強(qiáng)みと制限を理解することにより、これらの強(qiáng)力なツールを活用して、多くの業(yè)界で実世界の問題を解決することができます。

重要なテイクアウト：

• TROCRは、シングルラインのテキスト認(rèn)識に優(yōu)れています。
• Zhen Latex OCRは、數(shù)式とラテックスコードを?qū)熼Tとしています。
• 特定のニーズに基づいてモデル選択を最適化することは、最適な結(jié)果に重要です。

よくある質(zhì)問

Q1：TROCRとZhen Latex OCRの主な違いは何ですか？ TROCRは一般的なテキスト抽出に焦點(diǎn)を當(dāng)て、Zhen Latex OCRは數(shù)式とラテックスを?qū)熼Tとしています。

Q2：TROCRの代わりにZhen Latex OCRをいつ使用する必要がありますか？數(shù)學(xué)的方程式またはラテックスコードを扱うときは、Zhen Latex OCRを使用します。それ以外の場合、TROCRが適しています。

Q3：Zhen Latex OCRは手書きの方程式を処理できますか？現(xiàn)在、いいえですが、將來の改善はこれに対処するかもしれません。

Q4：OCRから最も恩恵を受ける業(yè)界はどれですか？財(cái)務(wù)、ヘルスケア、および政府は、主要な受益者の1つです。

（注：この記事で使用されている畫像は著者が所有しておらず、許可を得て使用されます。）

以上がTROCRおよびZHEN LATEX OCRの詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國語 Web サイトの他の関連記事を參照してください。