Einführung

Text-to-Image-Synthese und kontrastive Lernen von Bild-Text sind zwei der innovativsten multimodalen Lernanwendungen, die in jüngster Zeit an Popularit?t gewonnen werden. Mit ihren innovativen Anwendungen für die kreative Bildende und Manipulation haben diese Modelle die Forschungsgemeinschaft revolutioniert und ein erhebliches ?ffentliches Interesse geweckt.

Um weitere Forschungen durchzuführen, führte DeepMind Imagen ein. Dieses Diffusionsmodell für Text zu Image bietet einen beispiellosen Photorealismus und ein tiefgreifendes Verst?ndnis der Sprache in der Text-zu-Image-Synthese, indem die St?rke von Transformator-Sprachmodellen (LMS) mit hohen Fidelity-Diffusionsmodellen verschmelzen.

Dieser Artikel beschreibt das Training und die Bewertung des neuesten Imagin -Modells von Google, Imageen 3. Imageen 3 kann standardm??ig mit der Aufl?sung von 1024 × 1024 auf die Ausgabe von Bildern konfiguriert werden, wobei die Option 2 ×, 4 × oder 8 × Upsampling anschlie?end angewendet wurde. Wir skizzieren unsere Analysen und Bewertungen im Vergleich zu anderen modernsten T2I-Modellen.

Wir haben festgestellt, dass Imageen 3 das beste Modell ist. Es zeichnet sich durch den Photorealismus und folgt komplizierte und langwierige Benutzeranweisungen an.

überblick

1. Revolution?res Text-zu-Image-Modell : Google's ImageN 3, ein Text-zu-Image-Diffusionsmodell von Google, liefert einen unvergleichlichen Fotorealismus und die Pr?zision bei der Interpretation detaillierter Benutzeraufforderungen.
2. Bewertung und Vergleich : Imageen 3 Excels in der Ausrichtung der Eingabeaufentwicklung und der visuellen Anziehungskraft, übertrifft Modelle wie Dall · E 3 und stabile Diffusion sowohl in automatisierten als auch bei menschlichen Bewertungen.
3. Datensatz- und Sicherheitsma?nahmen : Der Schulungsdatensatz wird streng filteriert, um minderwertige oder sch?dliche Inhalte zu entfernen, um sicherere und genauere Ausg?nge zu gew?hrleisten.
4. Architektonische Brillanz : Mit einem gefrorenen T5-XXL-Encoder und einem up-Sampling mit mehreren Schritten erzeugt ImageN 3 detaillierte Bilder bis zu 1024 × 1024 Aufl?sung.
5. Integration der realen Welt : Imageen 3 ist über die Vertex AI von Google Cloud zug?nglich, wodurch sie einfach in Produktionsumgebungen für die kreative Bildgenerierung integriert werden kann.
6. Erweiterte Funktionen und Geschwindigkeit : Mit der Einführung von Imaging 3 schnell k?nnen Benutzer von einer Verringerung der Latenz um 40% profitieren, ohne die Bildqualit?t zu beeintr?chtigen.

Inhaltsverzeichnis

• Datensatz: Sicherstellung von Qualit?t und Sicherheit im Training sicherstellen
• Architektur von Imagin
• Bewertung von Bildmodellen
• Menschliche Bewertung: Wie beurteilten die Bewerter die Ausgangsqualit?t von Imageen 3?
  • Allgemeine Benutzerpr?ferenz: Imaging 3 übernimmt die Führung in der kreativen Bildgenerierung
  • Ausrichtung der Eingabeaufforderung: Erfassen der Benutzerabsicht mit Pr?zision
  • Visuelle Anziehungskraft: ?sthetische Exzellenz über Plattformen hinweg
  • Detaillierte Ausrichtung der Eingabeaufforderung
  • Numerische Argumentation: übertreffen Sie den Wettbewerb in der Objektz?hlgenauigkeit übertreffen
• Automatisierte Bewertung: Vergleich von Modellen mit Clip, Gecko und Vqascore
  • Eingabeaufforderung -Image -Ausrichtung
  • Bildqualit?t
• Qualitative Ergebnisse: Hervorhebung der Liebe zum Detail von Imageen 3 hervorgehoben
• Schlussfolgerung zur Bewertung
• Zugriff auf Imageen 3 über Scheitelpunkt AI: Eine Anleitung zur nahtlosen Integration
  • Verwenden von Scheitelpunkte AI
  • Mit Gemini
• H?ufig gestellte Fragen

Datensatz: Sicherstellung von Qualit?t und Sicherheit im Training sicherstellen

Das Bildmodell wird mit einem gro?en Datensatz geschult, der Text, Bilder und verwandte Anmerkungen enth?lt. DeepMind verwendete mehrere Filtrationsphasen, um Qualit?ts- und Sicherheitsanforderungen zu gew?hrleisten. Erstens werden alle Bilder als gef?hrlich, gewaltt?tig oder schlechter Qualit?t entfernt. Als n?chstes entfernte DeepMind Bilder, die von AI erstellt wurden, um das Modell daran zu hindern, Verzerrungen oder Artefakte aufzunehmen, die h?ufig in solchen Bildern vorhanden sind. DeepMind verwendete auch nach unten ?hnliche Bilder und Deduplizierungsverfahren, um die M?glichkeit von Ausg?ngen zu verringern, die bestimmte Schulungsdatenpunkte übertreffen.

Jedes Bild im Datensatz hat eine synthetische Bildunterschrift und eine ursprüngliche Bildunterschrift, die aus Alt -Text, menschlichen Beschreibungen usw. abgeleitet ist. Gemini -Modelle erzeugen synthetische Bildunterschriften mit unterschiedlichen Hinweisen. Um die Sprachvielfalt und Qualit?t dieser synthetischen Bildunterschriften zu maximieren, verwendete DeepMind mehrere Gemini -Modelle und -anweisungen. DeepMind verwendete verschiedene Filter, um potenziell sch?dliche Untertitel und pers?nlich identifizierbare Informationen zu beseitigen.

Architektur von Imagin

Imageen verwendet einen gro?en gefrorenen T5-XXL-Encoder, um den Eingabetxt in Einbettungen zu codieren. Ein bedingtes Diffusionsmodell ordnet den Text ein, der in ein 64 × 64 -Bild eingebettet ist. Imagen verwendet weiterhin textliche Superaufl?sungsdiffusionsmodelle, um das Bild 64 × 64 → 256 × 256 und 256 × 256 → 1024 × 1024 zu belasten.

Bewertung von Bildmodellen

DeepMind bewertet das Image 3 -Modell, das die beste Qualit?tskonfiguration ist, gegen die Image 2 und die externen Modelle Dall · E 3, Midjourney V6, stabile Diffusion 3 gro?e und stabile Diffusion xl 1.0. DeepMind stellte fest, dass Imageen 3 durch strenge Bewertungen durch Menschen und Maschinen einen neuen Stand der Kunst in der Erzeugung von Text-zu-Image-Erzeugung festlegt. Qualitative Ergebnisse und Schlussfolgerung in die Bewertung enthalten qualitative Ergebnisse und eine Diskussion der Gesamtbefindungen und -beschr?nkungen. Produktintegrationen mit ImageIn 3 k?nnen zu einer Leistung führen, die sich von der getesteten Konfiguration unterscheidet.

Lesen Sie auch: Wie verwendet man Dall-e 3 API für die Bildgenerierung?

Menschliche Bewertung: Wie beurteilten die Bewerter die Ausgangsqualit?t von Imageen 3?

Das Modell zur Erzeugung von Text zu Image wird an fünf Qualit?tsaspekten bewertet: allgemeine Pr?ferenz, Ausrichtung des Bildungsbildes, visueller Anziehungskraft, detaillierter Ausrichtung der Eingabeaufentwicklung und numerisches Denken. Diese Aspekte werden unabh?ngig beurteilt, um Verschiebungen der Beurteilungen der Bewerter zu vermeiden. Nebeneinander-Vergleiche werden zum quantitativen Beurteilungen verwendet, w?hrend numerisches Denken direkt bewertet werden kann, indem in einem Bild gez?hlt wird, wie viele Objekte eines bestimmten Typs dargestellt werden.

Die komplette ELO -Anzeigetafel wird durch einen umfassenden Vergleich jedes Modellepaares erzeugt. Jede Studie besteht aus 2500 Bewertungen, die gleichm??ig auf die Eingabeaufforderungen im Eingabeaufforderung festgelegt sind. Die Modelle sind in der Rater -Schnittstelle anonymisiert und die Seiten werden für jede Bewertung zuf?llig gemischt. Die Datenerfassung wird mit den besten Verfahren von Google DeepMind zur Datenanreicherung durchgeführt, um sicherzustellen, dass alle Mitarbeiter der Datenanreicherung mindestens einen lokalen Wohnlohn bezahlt. Die Studie sammelte 366.569 Bewertungen in 5943 Einreichungen von 3225 verschiedenen Bewertern. Jeder Bewerter nahm an h?chstens 10% der Studien teil und lieferte ungef?hr 2% der Bewertungen, um voreingenommene Ergebnisse für eine bestimmte Reihe von Bewertungsurteilen zu vermeiden. Bewerter aus 71 verschiedenen Nationalit?ten nahmen an den Studien teil.

Allgemeine Benutzerpr?ferenz: Imaging 3 übernimmt die Führung in der kreativen Bildgenerierung

Die allgemeine Pr?ferenz der Benutzer in Bezug auf das generierte Bild ist eine offene Frage, wobei die Bewerter entscheiden, welche Qualit?t Aspekte am wichtigsten sind. Zwei Bilder wurden den Bewertern pr?sentiert, und wenn beide gleicherma?en ansprechend waren, ?bin ich gleichgültig“.

Die Ergebnisse zeigten, dass Imageen 3 auf Genai-Bench, Drawbench und Dall · E 3 eval signifikant bevorzugt war. Imagen 3 führte mit einem kleineren Rand auf DrawBench als stabiler Diffusion 3 und hatte eine leichte Kante bei Dall · e 3 eval.

Ausrichtung der Eingabeaufforderung: Erfassen der Benutzerabsicht mit Pr?zision

Die Studie bewertet die Darstellung einer Eingabeaufforderung in einem Ausgangsbildinhalt und ignoriert potenzielle M?ngel oder ?sthetische Attraktivit?t. Die Bewerter wurden gebeten, ein Bild auszuw?hlen, das die Absicht der Eingabeaufforderung besser erfasst und verschiedene Stile ignoriert. Die Ergebnisse zeigten, dass Imaging 3 Genai-Bench, Drawbench und Dall · E 3 bewertet, mit überlappenden Konfidenzintervallen. Die Studie legt nahe, dass das Ignorieren potenzieller Defekte oder schlechte Qualit?t in den Bildern die Genauigkeit der Ausrichtung der Umlaufbahnen verbessern kann.

Visuelle Anziehungskraft: ?sthetische Exzellenz über Plattformen hinweg

Visual Appeal misst die Berufung erzeugter Bilder unabh?ngig vom Inhalt. Die Bewerter bewerten zwei Bilder nebeneinander ohne Eingabeaufforderungen. Midjourney V6 führt mit Imagin 3 fast auf Genai-Bench, etwas gr??er auf DrawBench und ein erheblicher Vorteil bei Dall · e 3 eval.

Detaillierte Ausrichtung der Eingabeaufforderung

Die Studie bewertet die Funktionen zur Ausrichtung der Umlaufbahnen, indem Bilder aus detaillierten Eingabeaufforderungen von DOCCI generiert werden, die deutlich l?nger sind als frühere Eingabeaufforderung. Die Forscher stellten fest, dass das Lesen von 100 W?rtern für die menschlichen Bewerter zu schwierig war. Stattdessen verwendeten sie qualitativ hochwertige Bildunterschriften von realen Referenzfotografien, um die generierten Bilder mit Benchmark-Referenzbildern zu vergleichen. Die Bewerter konzentrierten sich auf die Semantik der Bilder, ignorierten Stile, Erfassungstechnik und Qualit?t. Die Ergebnisse zeigten, dass Imageen 3 eine signifikante Lücke von 114 ELO-Punkten und eine Gewinnrate von 63% gegenüber dem zweitbesten Modell aufwies, was seine ausstehenden F?higkeiten bei der Befolgung des detaillierten Inhalts von Eingabeaufforderungen hervorhebt.

Numerische Argumentation: übertreffen Sie den Wettbewerb in der Objektz?hlgenauigkeit übertreffen

Die Studie bewertet die F?higkeit von Modellen, eine genaue Anzahl von Objekten unter Verwendung der Geckonum -Benchmark -Aufgabe zu generieren. Die Aufgabe beinhaltet den Vergleich der Anzahl der Objekte in einem Bild mit der in der Eingabeaufforderung angeforderten erwarteten Menge. Die Modelle berücksichtigen Attribute wie Farben und r?umliche Beziehungen. Die Ergebnisse zeigen, dass Imageen 3 das st?rkste Modell ist und Dall · e 3 um 12 Prozentpunkte übertreffen. Es hat auch eine h?here Genauigkeit beim Generieren von Bildern, die 2-5 Objekte und eine bessere Leistung für komplexere Satzstrukturen enthalten.

Automatisierte Bewertung: Vergleich von Modellen mit Clip, Gecko und Vqascore

In den letzten Jahren wurden automatische Bewertungsmetriken (Auto-Eval) wie Clip und Vqascore weiterhin verwendet, um die Qualit?t von Text-zu-Image-Modellen zu messen. Diese Studie konzentriert sich auf automatische Eval-Metriken für eine schnelle Bildausrichtung und Bildqualit?t, um menschliche Bewertungen zu erg?nzen.

Eingabeaufforderung -Image -Ausrichtung

Die Forscher w?hlen drei starke Metriken zur Ausrichtung der automatischen Eval-Eingabeaufforderung: Kontrastive Dual-Encoders (CLIP), VQA-basierte (Gecko) und eine LVLM-Eingabeaufforderung (eine Implementierung von Vqascore2). Die Ergebnisse zeigen, dass Clip h?ufig die richtige Modellordnung nicht vorhergesagt hat, w?hrend Gecko und Vqascore gut abschneiden und ungef?hr 72% der F?lle übereinstimmen. Vqascore hat den Rand, da es 80% der Zeit mit den Menschen mit den Menschen mit 73,3% entspricht. Gecko verwendet ein schw?cheres Rückgrat, Pali, was den Leistungsunterschied verantwortlich machen kann.

Die Studie bewertet vier Datens?tze, um Modellunterschiede unter verschiedenen Bedingungen zu untersuchen: Gecko-Rel, Docci-Test-Pivots, Dall · E 3 Eval und Genai-Bench. Die Ergebnisse zeigen, dass Imageen 3 konsequent die h?chste Ausrichtungsleistung aufweist. SDXL 1 und Imageen 2 sind durchweg weniger leistungsf?hig als andere Modelle.

Bildqualit?t

In Bezug auf die Bildqualit?t vergleichen die Forscher die Verteilung generierter Bilder mit Image 3, SDXL 1 und Dall · e 3 auf 30.000 Proben des MSCOCO-Kapion-Validierungssatzes unter Verwendung verschiedener Merkmalsr?ume und Distanzmetriken. Sie beobachten, dass die Minimierung dieser drei Metriken ein Kompromiss ist, der die Erzeugung natürlicher Farben und Texturen begünstigt, aber keine Verzerrungen an Objektformen und Teilen erfasst. Imageen 3 zeigt den niedrigeren CMMD-Wert der drei Modelle und zeigt seine starke Leistung auf hochmodernen Merkmalen von Feature-Raum.

Qualitative Ergebnisse: Hervorhebung der Liebe zum Detail von Imageen 3 hervorgehoben

Das Bild unten zeigt 2 Bilder, die auf 12 Megapixel hochgetastet wurden, wobei die Pflanzen die Detailpegel zeigen.

Schlussfolgerung zur Bewertung

Imagen 3 ist das Top-Modell bei der Ausrichtung der Eingabeaufforderung, insbesondere in detaillierten Eingabeaufforderungen und Z?hlf?higkeiten. In Bezug auf die visuelle Anziehungskraft übernimmt Midjourney V6 die Führung, wobei Imageen 3 zweiter Platz belegt. Es gibt jedoch immer noch M?ngel in bestimmten F?higkeiten, wie z. B. numerisches Denken, Ma?stab, Zusammensetzung, Aktionen, r?umliches Denken und komplexe Sprache. Diese Modelle k?mpfen mit Aufgaben, die numerisches Denken, Ma?stab, Zusammensetzung und Handlungen erfordern. Insgesamt ist Imageen 3 die beste Wahl für hochwertige Ausg?nge, die die Absicht der Benutzer respektieren.

Zugriff auf Imageen 3 über Scheitelpunkt AI: Eine Anleitung zur nahtlosen Integration

Verwenden von Scheitelpunkte AI

Um mit der Vertex AI zu beginnen, müssen Sie über ein vorhandenes Google Cloud -Projekt verfügen und die Scheitelpunkt -AI -API aktivieren. Erfahren Sie mehr über das Erstellen eines Projekts und eine Entwicklungsumgebung.

Auch hier ist der GitHub -Link - Siehe

 Scheitelpunkt importieren

von vertexai.preview.vision_models importieren importierenmodel importieren

# TODO (Entwickler): Aktualisieren Sie Ihre Projekt -ID aus der Vertex AI -Konsole

project_id = "project_id"

vertexai.init (project = project_id, location = "us-central1"))

Generation_Model = ImageGenerationModel.From_Pretrained ("Imagin-3.0-Generate-001")

fordert = "" ""

Ein fotorealistisches Bild eines Kochbuchs, das auf einem Holzküchentisch liegt. Die Abdeckung nach vorne mit einer l?chelnden Familie, die an einem ?hnlichen Tisch sitzt. Das Kochbuch beleuchtet die Szene.

"" "

Image = Generation_Model.generate_images (

    Eingabeaufforderung = Eingabeaufforderung,

    number_of_images = 1,,

    Aspekt_ratio = "1: 1",

    Safety_Filter_Level = "Block_some",

    person_generation = "degal_all",

)

Textrendern

Imageen 3 er?ffnet auch neue M?glichkeiten in Bezug auf die Textrendern von Insider -Bildern. Das Erstellen von Bildern von Postern, Karten und Social -Media -Posts mit Bildunterschriften in verschiedenen Schriftarten und Farben ist eine gro?artige M?glichkeit, mit diesem Tool zu experimentieren. Um diese Funktion zu verwenden, schreiben Sie einfach eine kurze Beschreibung dessen, was Sie in der Eingabeaufforderung sehen m?chten. Stellen wir uns vor, Sie m?chten das Cover eines Kochbuchs ?ndern und einen Titel hinzufügen.

 fordert = "" ""

Ein fotorealistisches Bild eines Kochbuchs, das auf einem Holzküchentisch liegt. Die Abdeckung nach vorne mit einer l?chelnden Familie, die an einem ?hnlichen Tisch sitzt. Das Kochbuch beleuchtet die Szene.

Fügen Sie in der Mitte des Kochbuch -Covers einen Titel hinzu "Alltagsrezepte" in orangefarbenen Blockbuchstaben.?

"" "

Image = Generation_Model.generate_images (

    Eingabeaufforderung = Eingabeaufforderung,

    number_of_images = 1,,

    Aspekt_ratio = "1: 1",

    Safety_Filter_Level = "Block_some",

    person_generation = "degal_all",

)

Reduzierte Latenz

DeepMind bietet Imaging 3 Fast, ein Modell, das für die Erzeugungsgeschwindigkeit optimiert ist, zus?tzlich zu ImageN 3, seinem bisher h?chsten Modell mit h?chster Qualit?t. Image 3 Fast ist geeignet, um Bilder mit gr??erer Kontrast und Helligkeit zu erzeugen. Sie k?nnen eine 40% ige Verringerung der Latenz im Vergleich zu Imageen 2 beobachten. Sie k?nnen dieselbe Eingabeaufforderung verwenden, um zwei Bilder zu erstellen, die diese beiden Modelle veranschaulichen. Erstellen wir zwei Alternativen für das Salatfoto, das wir in das zuvor erw?hnte Kochbuch aufnehmen k?nnen.

 Generation_Model_fast = ImageGenerationModel.From_Pretrained (

    "Imagin-3.0-Spast-Generate-001"

)

fordert = "" ""

Ein fotorealistisches Bild eines Gartensalats mit bunten Gemüse wie Paprika, Gurken, Tomaten und Blattgrün, sitzt in einer Holzschüssel in der Mitte des Bildes auf einem wei?en Marmortisch. Das natürliche Licht beleuchtet die Szene, wirft weiche Schatten und hebt die Frische der Zutaten hervor.?

"" "?

# Imageen 3 schnelle Bildgenerierung

fast_image = Generation_Model_fast.generate_images (

    Eingabeaufforderung = Eingabeaufforderung,

    number_of_images = 1,,

    Aspekt_ratio = "1: 1",

    Safety_Filter_Level = "Block_some",

    person_generation = "degal_all",

)

 fordert = "" ""

Ein fotorealistisches Bild eines Gartensalats mit bunten Gemüse wie Paprika, Gurken, Tomaten und Blattgrün, sitzt in einer Holzschüssel in der Mitte des Bildes auf einem wei?en Marmortisch. Das natürliche Licht beleuchtet die Szene, wirft weiche Schatten und hebt die Frische der Zutaten hervor.?

"" "?

# Imageen 3 Bildgenerierung

Image = Generation_Model.generate_images (

    Eingabeaufforderung = Eingabeaufforderung,

    number_of_images = 1,,

    Aspekt_ratio = "1: 1",

    Safety_Filter_Level = "Block_some",

    person_generation = "degal_all",

)

Mit Gemini

Gemini unterstützt die Verwendung des neuen Imagin 3, daher verwenden wir Gemini, um im Bild unten auf Imaglen zuzugreifen. Im Bild unten k?nnen wir sehen, dass Gemini Bilder mit Imagen 3 erzeugt.

Eingabeaufforderung - ?Erzeugen Sie ein Bild eines L?wen, der auf Stadtstra?en spazieren geht. Stra?en haben Autos, Fahrr?der und einen Bus. Achten Sie darauf, dass Sie es realistisch machen.“

Abschluss

Googles Imageen 3 setzt einen neuen Benchmark für die Text-zu-Image-Synthese, die sich im Photorealismus übertrifft und komplexe Eingabeaufforderungen mit au?ergew?hnlicher Genauigkeit bearbeiten. Die starke Leistung über mehrere Bewertungsbenchmarks hinweg unterstreicht seine F?higkeiten in detaillierter Ausrichtung und visueller Anziehungskraft und übertroffene Modelle wie Dall · E 3 und stabile Diffusion. Es steht jedoch immer noch Herausforderungen bei Aufgaben, die numerische und r?umliche Argumente betreffen. Mit der Hinzufügung von Imageen 3 schnell für reduzierte Latenz und Integration mit Tools wie Vertex AI er?ffnet Imageen 3 aufregende M?glichkeiten für kreative Anwendungen und überschreiten die Grenzen der multimodalen KI.

Wenn Sie online nach einem generativen KI -Kurs suchen, erkunden Sie noch heute das Genai Pinnacle -Programm!

H?ufig gestellte Fragen

ANS Imagin 3 zeichnet sich im Photorealismus und kompliziertem Umgang mit der Eingabeaufforderung aus und liefert im Vergleich zu anderen Modellen wie Dall · E 3 und stabiler Diffusion überlegene Bildqualit?t und -ausrichtung.

Ans. Imageen 3 wurde so konzipiert, dass detaillierte und langwierige Eingabeaufforderungen effektiv verwaltet werden, was eine starke Leistung bei der Ausrichtung der Eingabeaufentwicklung und der detaillierten Inhaltsdarstellung zeigt.

Ans. Das Modell wird in einem gro?en, vielf?ltigen Datensatz mit Text, Bildern und Anmerkungen geschult und filtriert, um den Inhalt von AI-generierten Inhalten, sch?dliche Bilder und Daten mit schlechter Qualit?t auszuschlie?en.

Ans. Image 3 Fast wird für Geschwindigkeit optimiert und bietet eine Verringerung der Latenz um 40% im Vergleich zur Standardversion und h?lt gleichzeitig eine qualitativ hochwertige Bilderzeugung.

Ans. Ja, Imaging 3 kann mit der Vertex -KI von Google Cloud verwendet werden, sodass eine nahtlose Integration in Anwendungen für Bildgenerierung und kreative Aufgaben in die Bildung und kreative Aufgaben erm?glicht werden kann.

Das obige ist der detaillierte Inhalt vonIst Googles Imagin 3 die Zukunft der KI -Bilderstellung?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!