導(dǎo)入

テキストから畫像の合成と畫像テキストのコントラスト學(xué)習(xí)は、最近人気を博している最も革新的なマルチモーダル學(xué)習(xí)アプリケーションの2つです。創(chuàng)造的なイメージの作成と操作のための革新的なアプリケーションにより、これらのモデルは研究コミュニティに革命をもたらし、かなりの公共の関心を集めました。

さらなる研究を行うために、DeepMindはイメージを?qū)毪筏蓼筏?。このテキストからイメージまでの拡散モデルは、変圧器言語モデル（LMS）と高忠実度拡散モデルと融合することにより、前例のないフォトリアリズムと、テキスト間統(tǒng)合における言語の言語の深い理解を提供します。

この記事では、Googleの最新のイメージモデルであるImagen 3のトレーニングと評価について説明します。Imagen3は、デフォルトで1024×1024の解像度で畫像を出力するように構(gòu)成でき、2x、4x、または8x Upsamplingを適用するオプションがあります。他の最先端のT2Iモデルと比較して、分析と評価の概要を説明します。

Imagen 3が最良のモデルであることを発見しました。それは、フォトリアリズムに秀でており、複雑で長いユーザーの指示に従います。

概要

1. 革新的なテキストから畫像から畫像へのモデル：Text-to-Imageの拡散モデルであるGoogle's Imagen 3は、詳細なユーザープロンプトの解釈において、比類のないフォトリアリズムと精度を提供します。
2. 評価と比較：Imagen 3は、自動化された評価と人間の評価と人間の両方の評価において、Dall?E 3や安定した拡散などのモデルを上回り、迅速な畫像アライメントと視覚的魅力に優(yōu)れています。
3. データセットと安全対策：トレーニングデータセットは、低品質(zhì)または有害なコンテンツを削除するために厳しいフィルタリングを受け、より安全で正確な出力を確保します。
4. アーキテクチャの輝き：冷凍T5-XXLエンコーダーとマルチステップアップサンプリングを使用して、Imagen 3は1024×1024の解像度までの非常に詳細な畫像を生成します。
5. 現(xiàn)実世界の統(tǒng)合：Imagen 3はGoogle CloudのVertex AIを介してアクセス可能であるため、創(chuàng)造的な畫像生成のために生産環(huán)境に簡単に統(tǒng)合できます。
6. 高度な機能と速度：Imagen 3の導(dǎo)入により、ユーザーは畫質(zhì)を損なうことなく40％のレイテンシを削減することで恩恵を受けることができます。

目次

• データセット：トレーニングの品質(zhì)と安全性を確保します
• 畫像のアーキテクチャ
• 畫像モデルの評価
• 人間の評価：評価者はどのようにImagen 3の出力品質(zhì)を判斷しましたか？
  • 全體的なユーザーの好み：Imagen 3がクリエイティブイメージ生成をリードします
  • プロンプトイメージアライメント：ユーザーの意図を精度でキャプチャします
  • 視覚的魅力：プラットフォーム全體の審美的な卓越性
  • 詳細なプロンプトイメージアライメント
  • 數(shù)値推論：オブジェクトカウントの精度で競爭を上回る
• 自動評価：モデルをクリップ、Gecko、およびVqascoreと比較します
  • プロンプトイメージアライメント
  • 畫質(zhì)
• 定性的な結(jié)果：Imagen 3の細部への注意を強調(diào)します
• 評価に関する推論
• 頂點AI経由でイメージン3へのアクセス：シームレスな統(tǒng)合のガイド
  • 頂點AIを使用します
  • ジェミニを使用します
• よくある質(zhì)問

データセット：トレーニングの品質(zhì)と安全性を確保します

Imagenモデルは、テキスト、畫像、および関連注釈を含む大きなデータセットを使用してトレーニングされています。 Deepmindは、品質(zhì)と安全の要件を保証するためにいくつかのろ過段階を使用しました。第一に、危険、暴力、または質(zhì)の悪いとみなされる畫像は削除されます。次に、DeepMindは、AIによって作成された畫像を削除して、モデルがこれらの種類の畫像に頻繁に存在するバイアスやアーティファクトの拾いを阻止します。 DeepMindはまた、特定のトレーニングデータポイントに過剰適合する可能性を減らすために、類似の畫像と重複排除手順を採用しました。

データセット內(nèi)のすべての畫像には、ALTテキスト、人間の説明などから派生した合成キャプションとオリジナルのキャプションがあります。Geminiモデルは、異なるキューを持つ合成キャプションを生成します。これらの合成キャプションの言語の多様性と品質(zhì)を最大化するために、DeepMindは複數(shù)のGeminiモデルと指示を使用しました。 DeepMindは、さまざまなフィルターを使用して、潛在的に有害なキャプションと個人を特定できる情報を排除しました。

畫像のアーキテクチャ

Imagenは、大きな冷凍T5-XXLエンコーダーを使用して、入力テキストを埋め込みにエンコードします。條件付き拡散モデルは、テキストを64×64の畫像にマッピングします。 Imagenはさらに、テキストコンディショナルスーパー解像度拡散モデルを利用して、畫像64×64→256×256および256×256→1024×1024をアップサンプリングします。

畫像モデルの評価

DeepMindは、Imagen 2および外部モデルDall?E 3、Midjourney V6、Stable Diffusion 3の大きく、安定した拡散XL 1.0に対して、最高品質(zhì)の構(gòu)成であるImagen 3モデルを評価します。 Deepmindは、Imagen 3が、人間と機械による?yún)椄瘠试u価を通じて、テキストからイメージの世代における新しい最先端を設(shè)定することを発見しました。定性的な結(jié)果と評価に関する推論には、定性的な結(jié)果と、全體的な調(diào)査結(jié)果と制限の議論が含まれています。 Imagen 3との製品統(tǒng)合により、テストされた構(gòu)成とは異なるパフォーマンスが発生する可能性があります。

また読む：畫像生成にDall-E 3 APIを使用する方法は？

人間の評価：評価者はどのようにImagen 3の出力品質(zhì)を判斷しましたか？

テキストから畫像の生成モデルは、全體的な好み、プロンプトイメージの調(diào)整、視覚的魅力、詳細な迅速な畫像アライメント、數(shù)値推論の5つの品質(zhì)の側(cè)面で評価されます。これらの側(cè)面は、評価者の判斷の融合を避けるために獨立して評価されます。並べて比較は定量的な判斷に使用されますが、數(shù)値の推論は、特定のタイプのオブジェクトの數(shù)が畫像に描かれていることをカウントすることで直接評価できます。

完全なELOスコアボードは、すべてのモデルの徹底的な比較を通じて生成されます。各研究は、プロンプトセットのプロンプトに均一に分布した2500の評価で構(gòu)成されています。モデルは評価者インターフェイスで匿名化され、側(cè)面はすべての評価に対してランダムにシャッフルされます。データ収集は、Google Deepmindのデータ強化に関するベストプラクティスを使用して実施され、すべてのデータ強化労働者に少なくとも地元の生活賃金が支払われるようにします。この研究では、3225の異なる評価者から5943の提出物で366,569の評価を収集しました。各評価者は、研究の最大10％に參加し、特定の評価者の判斷のセットに対する偏った結(jié)果を避けるために、評価の約2％を提供しました。 71の異なる國籍の評価者が研究に參加しました。

全體的なユーザーの好み：Imagen 3がクリエイティブイメージ生成をリードします

プロンプトが與えられた生成された畫像に関するユーザーの全體的な選好は、未解決の質(zhì)問であり、評価者はどの品質(zhì)の側(cè)面が最も重要であるかを決定します。 2つの畫像が評価者に提示され、どちらも同様に魅力的であれば、「私は無関心です」。

結(jié)果は、畫像3がGenai-bench、Drawbench、およびDall?E 3の評価で有意に好まれていることを示しました。 Imagen 3は、安定した拡散3よりもドローベンチに小さなマージンを持つリードしており、Dall?E 3評価にわずかなエッジがありました。

プロンプトイメージアライメント：ユーザーの意図を精度でキャプチャします

この研究では、出力畫像コンテンツにおける入力プロンプトの表現(xiàn)を評価し、潛在的な欠陥や審美的な魅力を無視します。評価者は、さまざまなスタイルを無視して、プロンプトの意図をよりよくキャプチャする畫像を選択するように求められました。結(jié)果は、Imagen 3がGenai-Bench、Drawbench、およびDall?E 3 Aを上回ることを示し、信頼區(qū)間が重複しています。この研究は、畫像の潛在的な欠陥または悪い品質(zhì)を無視すると、迅速な畫像アライメントの精度を改善できることを示唆しています。

視覚的魅力：プラットフォーム全體の審美的な卓越性

視覚的魅力は、コンテンツに関係なく、生成された畫像の魅力を測定します。評価者は、プロンプトなしで2つの畫像を並べて評価します。 Midjourney V6は、Genai-benchでほぼPARにイメージ3で、ドローベンチでわずかに大きく、Dall?E 3 Evalで大きな利點があります。

詳細なプロンプトイメージアライメント

この研究では、以前のプロンプトセットよりも大幅に長いDOCCIの詳細なプロンプトから畫像を生成することにより、プロンプトイメージアライメント機能を評価します。研究者たちは、100語のプロンプトを読むことは人間の評価者にとってあまりにも挑戦的すぎることを発見しました。代わりに、彼らは実際の參照寫真の高品質(zhì)のキャプションを使用して、生成された畫像をベンチマーク參照畫像と比較しました。評価者は、畫像のセマンティクスに焦點を當(dāng)て、スタイルを無視し、テクニックをキャプチャし、品質(zhì)をキャプチャしました。結(jié)果は、Imagen 3が114のELOポイントの有意なギャップと2番目のベストモデルに対して63％の勝利率を持ち、入力プロンプトの詳細なコンテンツに従う際の優(yōu)れた機能を強調(diào)していることを示しました。

數(shù)値推論：オブジェクトカウントの精度で競爭を上回る

この研究では、Geckonumベンチマークタスクを使用して、モデルが正確な數(shù)のオブジェクトを生成する能力を評価します。タスクには、畫像內(nèi)のオブジェクトの數(shù)を、プロンプトで要求される予想數(shù)量と比較することが含まれます。モデルは、色や空間的関係などの屬性を考慮します。結(jié)果は、Imagen 3が最も強力なモデルであり、12パーセントポイントを超えるDall?E 3を上回ることを示しています。また、2?5のオブジェクトを含む畫像を生成する場合、より複雑な文構(gòu)造でのパフォーマンスが向上する場合、精度が高くなります。

自動評価：モデルをクリップ、Gecko、およびVqascoreと比較します

近年、ClipやVqascoreなどの自動評価（自動平均）メトリックは、テキストから畫像モデルの品質(zhì)を測定するためにより広く使用されています。この研究では、人間の評価を補完するために、迅速な畫像アラインメントと畫質(zhì)の自動平均メトリックに焦點を當(dāng)てています。

プロンプトイメージアライメント

研究者は、3つの強力な自動平均プロンプトイメージアライメントメトリックを選択します：コントラストデュアルエンコーダ（CLIP）、VQAベース（GECKO）、およびLVLMプロンプトベース（VQASCORE2の実裝）。結(jié)果は、Clipが正しいモデルの順序を予測できないことが多いことを示していますが、GeckoとVqascoreはうまく機能し、約72％の時間に同意します。 Geckoの73.3％と比較して、VQASCOREは人間の評価に80％の時間と一致するため、エッジを持っています。 Geckoは、パフォーマンスの違いを説明する可能性のあるより弱いバックボーンPaliを使用しています。

この調(diào)査では、4つのデータセットを評価して、多様な條件下でモデルの違いを調(diào)査します：Gecko-Rel、docci-test-pivots、dall?e 3 eval、gena??i-bench。結(jié)果は、Imagen 3が一貫して最高のアライメントパフォーマンスを持っていることを示しています。 SDXL 1およびImagen 2は、他のモデルよりも一貫してパフォーマンスが低いです。

畫質(zhì)

畫質(zhì)に関して、研究者は、Imagen 3、SDXL 1、およびDall?E 3による生成された畫像の分布を、さまざまな特徴スペースと距離メトリックを使用してMSCOCO-Caption検証セットの30,000サンプルで比較します。彼らは、これらの3つのメトリックを最小限に抑えることはトレードオフであり、自然な色とテクスチャの生成を支持するが、オブジェクトの形と部分の歪みを検出できないことを観察しています。 Imagen 3は、3つのモデルの低いCMMD値を示し、最先端の機能スペースメトリックでの強力なパフォーマンスを強調(diào)しています。

定性的な結(jié)果：Imagen 3の細部への注意を強調(diào)します

以下の畫像は、12メガピクセルにアップサンプリングされた2つの畫像を示しており、作物は詳細レベルを示しています。

評価に関する推論

Imagen 3は、特に詳細なプロンプトとカウント能力のプロンプトイメージアライメントのトップモデルです。視覚的な魅力の観點から、Midjourney V6がリードし、Imagen 3が2位になります。ただし、數(shù)値的推論、スケール推論、構(gòu)成フレーズ、アクション、空間推論、複雑な言語など、特定の機能にはまだ欠點があります。これらのモデルは、數(shù)値の推論、スケール推論、構(gòu)成フレーズ、およびアクションを必要とするタスクと格闘しています。全體として、Imagen 3は、ユーザーの意図を尊重する高品質(zhì)の出力に最適です。

頂點AI経由でイメージン3へのアクセス：シームレスな統(tǒng)合のガイド

頂點AIを使用します

Vertex AIの使用を開始するには、既存のGoogle Cloudプロジェクトを持ち、Vertex AI APIを有効にする必要があります。プロジェクトと開発環(huán)境のセットアップの詳細をご覧ください。

また、GitHubリンクは次のとおりです

Vertexaiをインポートします

vertexai.preview.vision_modelsからImageGenerationModelをインポートします

＃TODO（開発者）：Vertex AIコンソールからプロジェクトIDを更新する

project_id = "project_id"

vertexai.init（project = project_id、location = "us-central1"）

Generation_model = imagegenerationmodel.from_pretrained（ "imagen-3.0-generate-001"）

PRONT = "" "

木製のキッチンのテーブルに橫たわる料理本の寫真本物のイメージ、似たようなテーブルに座っている笑顔の家族が登場する前方に面したカバー、シーンを照らした柔らかいオーバーヘッド照明、クックブックは畫像??の主な焦點です。

"" "

image = generation_model.generate_images（

    プロンプト=プロンプト、

    number_of_images = 1、

    aspect_ratio = "1：1"、

    Safety_filter_level = "block_some"、

    person_generation = "allow_all"、

））

テキストレンダリング

Imagen 3は、畫像內(nèi)のテキストレンダリングに関する新しい可能性も開きます。さまざまなフォントと色のキャプションを備えたポスター、カード、ソーシャルメディアの投稿の畫像を作成することは、このツールを試すのに最適な方法です。この関數(shù)を使用するには、プロンプトで見たいものの簡単な説明を書くだけです。料理本のカバーを変更してタイトルを追加したいと思います。

 PRONT = "" "

木製のキッチンのテーブルに橫たわる料理本の寫真本物のイメージ、似たようなテーブルに座っている笑顔の家族が登場する前方に面したカバー、シーンを照らした柔らかいオーバーヘッド照明、クックブックは畫像??の主な焦點です。

オレンジ色のブロック文字で「毎日のレシピ」と書かれたクックブックカバーの中心にタイトルを追加します。?

"" "

image = generation_model.generate_images（

    プロンプト=プロンプト、

    number_of_images = 1、

    aspect_ratio = "1：1"、

    Safety_filter_level = "block_some"、

    person_generation = "allow_all"、

））

レイテンシーの減少

DeepMindは、Imagen 3を提供します。これは、これまでで最高品質(zhì)のモデルであるImagen 3に加えて、生成速度に最適化されたモデルです。 Imagen 3 Fastは、よりコントラストと明るさを備えた畫像を作成するのに適しています。 Imagen 2と比較してレイテンシの40％の減少を観察できます。同じプロンプトを使用して、これら2つのモデルを示す2つの畫像を作成できます。前述のクックブックに含めることができるサラダ寫真の2つの選択肢を作成しましょう。

 Generation_model_fast = imagegenerationmodel.from_pretrained（

    「Imagen-3.0-fast-generate-001」

））

PRONT = "" "

ピーマン、キュウリ、トマト、緑豊かなグリーンなどのカラフルな野菜があふれている庭のサラダのフォトリアリスティックな畫像。白い大理石のテーブルの畫像の中央にある木製のボウルに座っています。自然光はシーンを照らし、柔らかい影をキャストし、材料の新鮮さを強調(diào)します。?

"" "?

＃イメージ3高速畫像生成

fast_image = generation_model_fast.generate_images（

    プロンプト=プロンプト、

    number_of_images = 1、

    aspect_ratio = "1：1"、

    Safety_filter_level = "block_some"、

    person_generation = "allow_all"、

））

 PRONT = "" "

ピーマン、キュウリ、トマト、緑豊かなグリーンなどのカラフルな野菜があふれている庭のサラダのフォトリアリスティックな畫像。白い大理石のテーブルの畫像の中央にある木製のボウルに座っています。自然光はシーンを照らし、柔らかい影をキャストし、材料の新鮮さを強調(diào)します。?

"" "?

＃Imagen 3畫像生成

image = generation_model.generate_images（

    プロンプト=プロンプト、

    number_of_images = 1、

    aspect_ratio = "1：1"、

    Safety_filter_level = "block_some"、

    person_generation = "allow_all"、

））

ジェミニを使用します

Geminiは新しいImagen 3を使用してサポートするため、Geminiを使用してImagen 3にアクセスしています。下の畫像では、GeminiがImagen 3を使用して畫像を生成していることがわかります。

プロンプト - 「都市道路を歩いているライオンの畫像を生成します。道路には車、自転車、バスがあります。必ず現(xiàn)実的にしてください」

結(jié)論

GoogleのImagen 3は、テキストから畫像への合成のための新しいベンチマークを設(shè)定し、光リアリズムに優(yōu)れており、並外れた精度で複雑なプロンプトを処理します。複數(shù)の評価ベンチマークにわたる強力なパフォーマンスは、Dall?E 3や安定した拡散などのモデルを上回る詳細な迅速な畫像アライメントと視覚的魅力の機能を強調(diào)しています。ただし、數(shù)値的および空間的推論を含むタスクでは、依然として課題に直面しています。イメージ3を追加すると、レイテンシを減らし、頂點AIなどのツールとの統(tǒng)合を促進するために、イメージン3はクリエイティブアプリケーションのエキサイティングな可能性を開き、マルチモーダルAIの境界を押し広げます。

オンラインで生成的なAIコースを探している場合は、今日はGenai Pinnacleプログラムを探索してください！

よくある質(zhì)問

ANS Imagen 3は、フォトリアリズムと複雑なプロンプト処理に優(yōu)れており、Dallの3や安定した拡散などの他のモデルと比較して、優(yōu)れた畫質(zhì)とユーザー入力との調(diào)整を提供します。

Ans。 Imagen 3は、詳細で長いプロンプトを効果的に管理するように設(shè)計されており、プロンプトイメージのアライメントと詳細なコンテンツ表現(xiàn)の強力なパフォーマンスを?qū)g証します。

Ans。このモデルは、テキスト、畫像、注釈を備えた大規(guī)模で多様なデータセットでトレーニングされており、AIに生成されたコンテンツ、有害な畫像、および低品質(zhì)のデータを除外するようにフィルタリングされています。

Ans。 Imagen 3 Fastは速度に対して最適化されており、高品質(zhì)の畫像生成を維持しながら、標(biāo)準バージョンと比較して40％のレイテンシが減少します。

Ans。はい、Imagen 3はGoogle CloudのVertex AIで使用でき、畫像生成とクリエイティブタスクのためにアプリケーションにシームレスに統(tǒng)合できます。

以上がGoogleのイメージ3はAI畫像作成の未來ですか？の詳細內(nèi)容です。詳細については、PHP 中國語 Web サイトの他の関連記事を參照してください。