Erforschen der Kraft von Bild-zu-Text-Modellen: Trocr und Zhen Latex OCR

Die Welt der KI ist mit Sprachmodellen und ihren Anwendungen in Bezug auf virtuelle Unterstützung und Erstellung von Inhalten ein. Das Gebiet der Bild-zu-Text-Konvertierung, die durch optische Charaktererkennung (OCR) betrieben wird, bietet jedoch aufregende M?glichkeiten. Dieser Artikel befasst sich mit zwei leistungsstarken Bild-zu-Text-Modellen: Trocr und Zhen Latex OCR, der ihre einzigartigen St?rken und Anwendungen hervorhebt.

Lernziele:

• Verstehen Sie die optimalen Anwendungsf?lle für Trocr und Zhen Latex OCR.
• Gewinnen Sie Einblicke in ihre zugrunde liegenden Architekturen.
• Führen Sie Inferenz mit diesen Modellen durch und erkunden Sie praktische Anwendungen.
• Erkennen Sie reale Verwendungen dieser leistungsstarken Tools.

(Dieser Artikel ist Teil des Data Science -Blogathons.)

Inhaltsverzeichnis:

• TROCR: Ein Encoder-Decoder-Modell für Image-zu-Text
• Troc -Architektur
• Einführung von Zhen Latex OCR
• Trocr gegen Zhen Latex OCR: Ein Vergleich
• Verwenden von TrocR: eine Schritt-für-Schritt-Anleitung
• Verwendung von Zhen Latex -OCR für die mathematische und latexbilde Bilderkennung
• Zukünftige Verbesserungen und Verbesserungen
• Reale Anwendungen von OCR
• H?ufig gestellte Fragen

TROCR: Ein Encoder-Decoder-Modell für Image-zu-Text

TROCR (traditionelle optische Charaktererkennung) ist ein Encoder-Decoder-Modell, das Sequenz-zu-Sequenz-Mechanismen zur Konvertierung von Image-zu-Text-Konvertierung nutzt. Es verfügt über einen Bildtransformator (Encoder) und einen Texttransformator (Decoder). TROCR-Modelle werden in der Regel auf riesigen Datens?tzen synthetisch generierter gedruckter Textbilder ausgebildet und dann auf Datens?tzen wie handgeschriebenen Text und Sroie-gedruckten Quittungen fein abgestimmt, was zu Variationen wie Trocr-Small-Sroie, Trocr-Base-Sroie und Trucr-Large-Sroie führt.

Troc -Architektur

Im Gegensatz zu herk?mmlichen OCR -Modellen, die sich auf CNNs und RNNs verlassen, verwendet Trocr eine Vision und eine Sprachtransformatorarchitektur. Der Encoder verarbeitet das Bild, unterteilt es in Patches und verwendete Multi-Head-Aufmerksamkeit und Feed-Forward-Bl?cke, um Bildbettendings zu erzeugen. Der Decoder verarbeitet dann diese Einbettungen, um codierte Textausg?nge zu erzeugen, die schlie?lich in lesbare Text dekodiert werden. Die Bilder werden zu Patches fester Gr??e (z. B. 16x16) vorverarbeitet.

Einführung von Zhen Latex OCR

Zhen Latex OCR, ein Open-Source-Modell von Mixtex, ist ein weiteres leistungsstarkes Encoder-Decoder-Modell, das sich auf die Konvertierung von Bildern von mathematischen Formeln und Text in Latex-Code spezialisiert hat. Es erkennt die komplexe latex -mathematische Formeln, Tabellen und sogar zwischen W?rtern, Text, Formeln und Tabellen innerhalb eines einzelnen Bildes genau. Es bietet zweisprachige Unterstützung für Englisch und Chinesisch.

Trocr gegen Zhen Latex OCR: Ein Vergleich

Trocr zeichnet sich bei der Verarbeitung von einzelnen Textbildern aus und bietet Geschwindigkeitsvorteile gegenüber einigen anderen OCR-Modellen. Zhen Latex OCR strahlt jedoch in seiner F?higkeit, mit mathematischen Formeln und Latexcode umzugehen, und bietet ein wertvolles Instrument für Forscher und Akademiker. W?hrend andere Tools für Latex -Eingaben vorhanden sind, bietet Zhen Latex OCR eine bequeme und effiziente Alternative.

Verwenden von TrocR: eine Schritt-für-Schritt-Anleitung

Wir werden mit einem mit dem Sroie-Datensatz fein abgestimmten TROCR-Modell demonstrieren.

Schritt 1: Bibliotheken importieren

 aus Transformatoren importieren TrocRprocessor, VisionenCerdeCodermodel
vom PIL -Importbild
Anfragen importieren

Schritt 2: Laden eines Bildes

 url = 'https://fki.tic.heia-fr.ch/static/img/a01-122-02-00.jpg'
Image = Image.open (Requests.get (url, stream = true) .raw) .convert ("rgb")

Schritt 3: Initialisierung des TROCR -Modells

 processor = trucRecessor.from_prasidled ('microsoft/truc-base-gedruckt')
model = videncoderDecodermodel.from_Pretrained ('Microsoft/Trocr-Base-gedrucktes'))
pixel_values ??= processor (image = Bild, return_tensors = "pt"). pixel_values

Schritt 4: Textgenerierung

 generated_ids = model.generate (pixel_values)
generated_text = processor.batch_decode (generated_ids, Skip_special_tokens = true) [0]
print (generated_text.lower ()) # Ausgabe in Kleinbuchstaben 

Verwendung von Zhen Latex -OCR für die mathematische und latexbilde Bilderkennung

Hier ist ein kurzes Beispiel für die Verwendung von Zhen Latex OCR:

Schritt 1: Bibliotheken importieren

 Von Transformatoren importieren Autotokenizer, visionenCerdeCodermodel, AutoimageProcessor
vom PIL -Importbild
Anfragen importieren

feature_extractor = autoimageProcessor.from_pretraination ("mixtex/zhen-latex-OCR")
tokenizer = autotokenizer.from_prasidled ("mixtex/zhen-latex-OCR", max_len = 296)
model = videncoderdecodermodel.from_Pretrained ("Mixtex/Zhen-Latex-OCR")

Schritt 2: Verarbeitung und Generierung von Latex

 imgen = Image.open(requests.get('https://cdn-uploads.huggingface.co/production/uploads/62dbaade36292040577d2d4f/eOAym7FZDsjic_8ptsC-H.png', stream=True).raw)
latex_output = tokenizer.decode (model.generate (feature_extractor (imgen, return_tensors = "pt"). pixel_values) [0]). Ersatz ('\\ [', '\\ begin {align*}'). ersetzen ('\\]' \\ end {Align*{{} ')).
print (laTex_output) 

Zukünftige Verbesserungen und Verbesserungen

Beide Modelle haben Raum für Verbesserungen. Trocr k?nnte von einem verbesserten Umgang mit gekrümmten Text und Bildern aus natürlichen Szenen profitieren. Zhen Latex OCR k?nnte sich erweitern, um handgeschriebene mathematische Formeln und komplexere Tabellen zu unterstützen.

Reale Anwendungen von OCR

OCR -Modelle finden weit verbreitete Anwendungen in verschiedenen Sektoren:

• Finanzierung: Automatisierung der Datenextraktion aus Finanzdokumenten.
• Gesundheitswesen: Digitalisierung von Patientenakten und -verschreibungen.
• Regierung: Straffung der Dokumentenverarbeitung und -aufzeichnung.

Abschluss

Trocr und Zhen Latex OCR stellen signifikante Fortschritte in der Bild-zu-Text-Technologie dar. Durch das Verst?ndnis ihrer St?rken und Einschr?nkungen k?nnen wir diese leistungsstarken Tools nutzen, um reale Probleme in zahlreichen Branchen zu l?sen.

Wichtigste Imbiss:

• Trocr zeichnet sich bei der Einsatztexterkennung aus.
• Zhen Latex OCR ist auf mathematische Formeln und Latexcode spezialisiert.
• Die Optimierung der Modellauswahl basierend auf spezifischen Anforderungen ist für optimale Ergebnisse von entscheidender Bedeutung.

H?ufig gestellte Fragen

F1: Was ist der Hauptunterschied zwischen Troc und Zhen Latex OCR? Trocr konzentriert sich auf die allgemeine Textextraktion, w?hrend Zhen Latex OCR auf mathematische Formeln und Latex spezialisiert ist.

F2: Wann sollte ich Zhen Latex OCR anstelle von Trocr verwenden? Verwenden Sie Zhen Latex OCR, wenn Sie sich mit mathematischen Gleichungen oder Latexcode befassen. Ansonsten ist Trocr geeignet.

F3: Kann Zhen Latex OCR handgeschriebene Gleichungen greifen? Derzeit nein, aber zukünftige Verbesserungen k?nnen dies ansprechen.

F4: Welche Branchen profitieren am meisten von OCR? Finanzen, Gesundheitswesen und Regierung geh?ren zu den wichtigsten Begünstigten.

(Hinweis: Die in diesem Artikel verwendeten Bilder sind nicht dem Autor geh?ren und werden mit Genehmigung verwendet.)

Das obige ist der detaillierte Inhalt vonTroc und Zhen Latex OCR. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!