介紹

文本到圖像的綜合和圖像文本對比學(xué)習(xí)是最近越來越受歡迎的兩個最具創(chuàng)新性的多模式學(xué)習(xí)應(yīng)用程序。這些模型憑藉其創(chuàng)新的創(chuàng)造圖像創(chuàng)建和操縱應(yīng)用，徹底改變了研究社區(qū)，並引起了廣泛的公共利益。

為了進(jìn)一步研究，DeepMind引入了成像劑。這種文本對圖像擴(kuò)散模型通過將變壓器語言模型（LMS）的強(qiáng)度與高前景擴(kuò)散模型融合在一起，提供了前所未有的光真相和對文本形象綜合中語言的深刻理解。

本文介紹了Google最新成像模型的訓(xùn)練和評估，Imagen 3。默認(rèn)情況下，可以將Imagen 3配置為以1024×1024分辨率的輸出圖像，並可以選擇2×，4×或8×UPSMPLING。與其他尖端T2I模型相比，我們概述了分析和評估。

我們發(fā)現(xiàn)Imagen 3是最好的模型。它擅長於攝影和遵循複雜且冗長的用戶說明。

概述

1. 革命性的文本對圖像模型：Google的Imagen 3，一種文本對圖擴(kuò)散模型，在解釋詳細(xì)的用戶提示時提供了無與倫比的光真相和精度。
2. 評估和比較：Imagen 3在及時圖像比對和視覺吸引力中表現(xiàn)出色，超過了諸如DALL·e 3之類的模型，並且在自動化和人類評估中均具有穩(wěn)定的擴(kuò)散。
3. 數(shù)據(jù)集和安全措施：訓(xùn)練數(shù)據(jù)集經(jīng)歷嚴(yán)格的過濾以刪除低質(zhì)量或有害內(nèi)容，從而確保更安全，更準(zhǔn)確的輸出。
4. 建築輝煌：使用冷凍的T5-XXL編碼器和多步上採樣，Imagen 3生成高達(dá)1024×1024分辨率的高度詳細(xì)圖像。
5. 現(xiàn)實(shí)世界集成：Imagen 3可以通過Google Cloud的頂點(diǎn)AI訪問，從而易於集成到生產(chǎn)環(huán)境中以創(chuàng)造圖像生成。
6. 高級功能和速度：隨著Imagen 3的引入快速，用戶可以從延遲的40％降低而不會損害圖像質(zhì)量中受益。

目錄

• 數(shù)據(jù)集：確保培訓(xùn)的質(zhì)量和安全性
• 成像架構(gòu)
• 成像模型的評估
• 人類評估：評估者如何評判Imagen 3的產(chǎn)出質(zhì)量？
  • 總體用戶偏好：Imagen 3領(lǐng)先創(chuàng)意圖像生成
  • 及時圖像對齊：用精度捕獲用戶意圖
  • 視覺吸引力：跨平臺的美學(xué)卓越
  • 詳細(xì)的及時圖像對齊
  • 數(shù)值推理：超過對象計(jì)數(shù)準(zhǔn)確性的競爭
• 自動化評估：將模型與夾子，壁虎和VQASCORE進(jìn)行比較
  • 及時 - 圖像對齊
  • 圖像質(zhì)量
• 定性結(jié)果：突出顯示Imagen 3對細(xì)節(jié)的關(guān)注
• 評估推斷
• 通過頂點(diǎn)AI訪問Imagen 3：無縫集成指南
  • 使用頂點(diǎn)AI
  • 使用雙子座
• 常見問題

數(shù)據(jù)集：確保培訓(xùn)的質(zhì)量和安全性

使用包括文本，圖像和相關(guān)註釋的大型數(shù)據(jù)集對成像模型進(jìn)行訓(xùn)練。 DeepMind使用了幾個過濾階段來保證質(zhì)量和安全要求。首先，除去被認(rèn)為是危險(xiǎn)，暴力或質(zhì)量差的任何圖像都將消除。接下來，DeepMind刪除了AI為阻止模型拾取這些圖像中經(jīng)常存在的偏見或偽像的圖像。 DeepMind還採用了加權(quán)類似的圖像和重複數(shù)據(jù)刪除程序，以減少輸出過度擬合某些培訓(xùn)數(shù)據(jù)點(diǎn)的可能性。

數(shù)據(jù)集中的每個圖像都有一個合成字幕和一個來自Alt文本，人類描述等的原始字幕。 Gemini模型產(chǎn)生具有不同提示的合成字幕。為了最大程度地提高這些綜合標(biāo)題的語言多樣性和質(zhì)量，DeepMind使用了多種雙子座模型和說明。 DeepMind使用各種過濾器來消除潛在的有害標(biāo)題和個人身份信息。

成像架構(gòu)

Imagen使用大型冷凍T5-XXL編碼器將輸入文本編碼為嵌入。條件擴(kuò)散模型將嵌入到64×64圖像中的文本映射。成像人進(jìn)一步利用文本條件的超分辨率擴(kuò)散模型來對圖像64×64→256×256和256×256→1024×1024進(jìn)行示例。

成像模型的評估

DeepMind評估了Imagen 3模型，這是最佳質(zhì)量配置，對Imagen 2和外部模型DALL·E 3，Midjourney V6，穩(wěn)定的擴(kuò)散3大，穩(wěn)定的擴(kuò)散XL 1.0。 DeepMind發(fā)現(xiàn)，Imagen 3通過人類和機(jī)器的嚴(yán)格評估在文本到圖像生成中設(shè)定了新的最新技術(shù)。定性結(jié)果和評估推斷包含定性結(jié)果以及對整體發(fā)現(xiàn)和局限性的討論。與成像3的產(chǎn)品集成可能會導(dǎo)致性能與已測試的配置不同。

另請閱讀：如何使用DALL-E 3 API進(jìn)行圖像生成？

人類評估：評估者如何評判Imagen 3的產(chǎn)出質(zhì)量？

對文本形像生成模型進(jìn)行了評估，以五個質(zhì)量方面進(jìn)行評估：總體偏好，及時圖像對齊，視覺吸引力，詳細(xì)的及時圖像對齊和數(shù)值推理。對這些方面進(jìn)行獨(dú)立評估，以避免評估者的判斷中混合。並排比較用於定量判斷，而數(shù)值推理可以通過計(jì)算圖像中描述的給定類型的多少個對象來直接評估數(shù)值推理。

完整的ELO記分板是通過對每對型號進(jìn)行詳盡的比較而生成的。每項(xiàng)研究包括在提示集中的提示中均勻分佈的2500個評級。這些模型在評估者界面中被匿名化，並且側(cè)面對每個評分都隨機(jī)調(diào)整。數(shù)據(jù)收集是使用Google DeepMind在數(shù)據(jù)豐富方面的最佳實(shí)踐進(jìn)行的，以確保所有數(shù)據(jù)豐富工人至少獲得當(dāng)?shù)厣罟べY的支付。該研究在3225個不同評估者的5943次提交中收集了366,569個評級。每個評估者最多參與了10％的研究，並提供了大約2％的評級，以避免對一組評估者的判斷的有偏見。來自71個不同國籍的評估者參加了研究。

總體用戶偏好：Imagen 3領(lǐng)先創(chuàng)意圖像生成

用戶對給定提示的生成圖像的總體偏好是一個空曠的問題，評估者決定哪些質(zhì)量方面最重要。將兩張圖像提交給評估者，如果兩者都同樣吸引人，“我無動於衷”。

結(jié)果表明，在Genai Bench，Drawbench和Dall·E 3評估中，Imagen 3明顯更受歡迎。 Imagen 3在拉動臺上的邊緣比穩(wěn)定的擴(kuò)散3較小，並且在dall·e 3評估上的邊緣略有邊緣。

及時圖像對齊：用精度捕獲用戶意圖

該研究評估了輸入圖像內(nèi)容中輸入提示的表示，忽略了潛在的缺陷或?qū)徝牢?。要求評估者選擇一個更好地捕獲提示意圖的圖像，而無視不同樣式的圖像。結(jié)果表明，Imagen 3優(yōu)於Genai Bench，Drawbench和Dall·E 3 Eval，並具有重疊的置信區(qū)間。該研究表明，忽略圖像中的潛在缺陷或不良質(zhì)量可以提高及時圖像對齊的準(zhǔn)確性。

視覺吸引力：跨平臺的美學(xué)卓越

視覺吸引力衡量產(chǎn)生的圖像的吸引力，無論內(nèi)容如何。評估者沒有提示並排評價(jià)兩個圖像。 Midjourney V6的帶領(lǐng)下，Imagen 3幾乎在Genai Bench上，在Drawbench上略大，並且在DALL·E 3評估方面具有顯著優(yōu)勢。

詳細(xì)的及時圖像對齊

該研究通過從DOCCI的詳細(xì)提示中生成圖像來評估及時圖像的功能，該圖像要比以前的提示集更長。研究人員發(fā)現(xiàn)閱讀100個單詞提示人類評估者太具有挑戰(zhàn)性了。取而代之的是，他們使用真實(shí)參考照片的高質(zhì)量標(biāo)題將生成的圖像與基準(zhǔn)參考圖像進(jìn)行比較。評估者專注於圖像的語義，忽略樣式，捕獲技術(shù)和質(zhì)量。結(jié)果表明，Imagen 3的顯著差距為114個ELO點(diǎn)，而第二好的模型的勝率為63％，突出了其出色的功能，遵循輸入提示的詳細(xì)內(nèi)容。

數(shù)值推理：超過對象計(jì)數(shù)準(zhǔn)確性的競爭

該研究評估了模型使用Geckonum基準(zhǔn)任務(wù)生成確切數(shù)量的對象的能力。該任務(wù)涉及將圖像中的對像數(shù)與提示中請求的預(yù)期數(shù)量進(jìn)行比較。這些模型考慮了諸如顏色和??空間關(guān)係之類的屬性。結(jié)果表明，成像3是最強(qiáng)的模型，表現(xiàn)優(yōu)於dall·e 3乘12個百分點(diǎn)。在生成包含2-5個對象的圖像和更複雜的句子結(jié)構(gòu)上的性能更好時，它也具有更高的精度。

自動化評估：將模型與夾子，壁虎和VQASCORE進(jìn)行比較

近年來，諸如剪輯和VQASCORE之類的自動評估（自動評估）指標(biāo)已被更廣泛地用於衡量文本模型的質(zhì)量。這項(xiàng)研究重點(diǎn)介紹了自動化指標(biāo)，以及時圖像對準(zhǔn)和圖像質(zhì)量，以補(bǔ)充人類評估。

及時 - 圖像對齊

研究人員選擇了三個強(qiáng)大的自動效應(yīng)及時圖像指標(biāo)：對比度雙編碼器（剪輯），基於VQA的對比度（gecko）和一個基於LVLM提示（VQASCORE2的實(shí)現(xiàn)）。結(jié)果表明，剪輯通常無法預(yù)測正確的模型排序，而壁虎和VQASCORE表現(xiàn)良好，大約有72％的時間達(dá)成共識。 VQASCORE具有優(yōu)勢，因?yàn)樗c人類評分相匹配，而Gecko的73.3％則有80％的時間。壁虎使用較弱的骨幹，帕利，這可能解釋了性能的差異。

該研究評估了四個數(shù)據(jù)集，以調(diào)查不同條件下的模型差異：壁虎，docci檢測 - 居民，dall·e 3評估和Genai-Bench。結(jié)果表明，成像3始終具有最高的對齊性能。 SDXL 1和Imagen 2的性能始終比其他模型少。

圖像質(zhì)量

關(guān)於圖像質(zhì)量，研究人員比較了使用不同的特徵空間和距離指標(biāo)，比較了Imagen 3，SDXL 1和DALL·E 3的生成圖像的分佈。他們觀察到，將這三個指標(biāo)最小化是一個權(quán)衡，有利於自然色和紋理的產(chǎn)生，但無法檢測到對象形狀和零件上的畸變。 Imagen 3介紹了三種型號的CMMD值較低，突出了其在最先進(jìn)的特徵空間指標(biāo)上的強(qiáng)勁性能。

定性結(jié)果：突出顯示Imagen 3對細(xì)節(jié)的關(guān)注

下圖顯示了2個圖像上採樣到12百萬像素，農(nóng)作物顯示了細(xì)節(jié)水平。

評估推斷

Imagen 3是及時圖像對齊的頂級模型，尤其是在詳細(xì)的提示和計(jì)數(shù)能力中。在視覺吸引力方面，Midjourney V6領(lǐng)先，Imagen 3排名第二。但是，它仍然存在某些功能的缺點(diǎn)，例如數(shù)值推理，規(guī)模推理，組成短語，動作，空間推理和復(fù)雜的語言。這些模型在需要數(shù)值推理，規(guī)模推理，組成短語和行動的任務(wù)上掙扎。總體而言，Imagen 3是尊重用戶意圖的高質(zhì)量輸出的最佳選擇。

通過頂點(diǎn)AI訪問Imagen 3：無縫集成指南

使用頂點(diǎn)AI

要開始使用頂點(diǎn)AI，您必須擁有現(xiàn)有的Google Cloud項(xiàng)目並啟用頂點(diǎn)AI API。了解有關(guān)建立項(xiàng)目和開發(fā)環(huán)境的更多信息。

另外，這是GitHub鏈接 - 請參閱

導(dǎo)入Vertexai

來自vertexai.preview.vision_models導(dǎo)入imageGenerationModel

＃todo（開發(fā)人員）：從頂點(diǎn)AI控制臺更新您的項(xiàng)目ID

project_id =“ project_id”

vertexai.init（project = project_id，location =“ us-central1”）

generation_model = imageGenerationModel.from_pretrataining（“ Imagen-3.0生成-001”）

提示=“”

一本木製廚房桌子上的食譜的影像圖像，封面面向前方的封面，有一個微笑的家庭坐在類似的桌子上，柔軟的高架照明照亮了場景，食譜是圖像的主要重點(diǎn)。

”“”

image = generation_model.generate_images（

    提示=提示，

    number_of_images = 1，

    expack_ratio =“ 1：1”，

    safety_filter_level =“ block_some”，

    person_generation =“ ally_all”，

）

文本渲染

Imagen 3還為文本渲染圖像開闢了新的可能性。創(chuàng)建帶有不同字體和顏色字幕的海報(bào)，卡片和社交媒體帖子的圖像是嘗試此工具的好方法。要使用此功能，只需簡要描述您想在提示中看到的內(nèi)容即可。想像一下，您想更改食譜的封面並添加標(biāo)題。

提示=“”

一本木製廚房桌子上的食譜的影像圖像，封面面向前方的封面，有一個微笑的家庭坐在類似的桌子上，柔軟的高架照明照亮了場景，食譜是圖像的主要重點(diǎn)。

在橙色塊字母的“日常食譜”中添加一個書名。?

”“”

image = generation_model.generate_images（

    提示=提示，

    number_of_images = 1，

    expack_ratio =“ 1：1”，

    safety_filter_level =“ block_some”，

    person_generation =“ ally_all”，

）

延遲減少

除Imagen 3（迄今為止其最高質(zhì)量的模型）外，DeepMind提供了Imagen 3 Fast，這是一種針對發(fā)電速度優(yōu)化的模型。 Imagen 3 FAST適用於產(chǎn)生具有更大對比度和亮度的圖像。與Imagen 2相比，您可以觀察到延遲的降低40％。您可以使用相同的提示來創(chuàng)建兩個圖像來說明這兩個模型。讓我們?yōu)樯忱掌瑒?chuàng)建兩個替代方法，我們可以在上面提到的食譜中包括。

 generation_model_fast = imageGenerationModel.from_pretrate（

    “ Imagen-3.0-fast-generate-001”

）

提示=“”

花園沙拉的影像圖像，上面有五顏六色的蔬菜，例如辣椒，黃瓜，西紅柿和綠葉蔬菜，坐在白色大理石桌上的圖像中心的木碗中。自然光照亮了場景，鑄造柔和的陰影並突出了成分的新鮮度。?

”“”?

＃成像3快速圖像生成

fast_image = generation_model_fast.generate_images（

    提示=提示，

    number_of_images = 1，

    expack_ratio =“ 1：1”，

    safety_filter_level =“ block_some”，

    person_generation =“ ally_all”，

）

提示=“”

花園沙拉的影像圖像，上面有五顏六色的蔬菜，例如辣椒，黃瓜，西紅柿和綠葉蔬菜，坐在白色大理石桌上的圖像中心的木碗中。自然光照亮了場景，鑄造柔和的陰影並突出了成分的新鮮度。?

”“”?

＃成像3圖像生成

image = generation_model.generate_images（

    提示=提示，

    number_of_images = 1，

    expack_ratio =“ 1：1”，

    safety_filter_level =“ block_some”，

    person_generation =“ ally_all”，

）

使用雙子座

Gemini支持使用新Imagen 3的支持，因此我們使用Gemini訪問Imagen 3。在下圖中，我們可以看到Gemini使用Imagen 3生成圖像。

提示 - “在城市道路上產(chǎn)生獅子行走的形象。道路上有汽車，自行車和公共汽車。一定要使它現(xiàn)實(shí)”

結(jié)論

Google的Imagen 3設(shè)定了一個新的基準(zhǔn)，用於文本對圖像綜合，在光真相中表現(xiàn)出色，並以極好的精度處理複雜提示。它在多個評估基準(zhǔn)中的強(qiáng)勁表現(xiàn)突出了其在詳細(xì)的及時圖像對齊和視覺吸引力中的功能，超過了諸如DALL·E 3和穩(wěn)定擴(kuò)散之類的模型。但是，它在涉及數(shù)值和空間推理的任務(wù)中仍然面臨挑戰(zhàn)。通過添加Imagen 3的添加，以減少延遲和與頂點(diǎn)AI等工具的集成，Imagen 3為創(chuàng)造性應(yīng)用開闢了令人興奮的可能性，從而突破了多模式AI的界限。

如果您正在在線尋找生成的AI課程，請?zhí)剿?-今天的Genai Pinnacle計(jì)劃！

常見問題

ANS Imagen 3在光真相和復(fù)雜的及時處理方面表現(xiàn)出色，與其他型號（如DALL·E 3和穩(wěn)定的擴(kuò)散）相比，與用戶輸入相比，提供了出色的圖像質(zhì)量和與用戶輸入的對齊。

Ans。 Imagen 3旨在有效地管理詳細(xì)且冗長的提示，以表明及時圖像對齊和詳細(xì)的內(nèi)容表示方面的良好性能。

Ans。該模型在一個具有文本，圖像和註釋的大型，多樣化的數(shù)據(jù)集上進(jìn)行了培訓(xùn)，以排除AI生成的內(nèi)容，有害圖像和質(zhì)量差數(shù)據(jù)。

Ans。 Imagen 3快速對速度進(jìn)行了優(yōu)化，與標(biāo)準(zhǔn)版本相比，在保持高質(zhì)量的圖像生成的同時，延遲降低了40％。

Ans。是的，Imagen 3可以與Google Cloud的頂點(diǎn)AI一起使用，從而可以無縫集成到圖像生成和創(chuàng)意任務(wù)的應(yīng)用中。

以上是Google的Imagen 3是AI圖像創(chuàng)建的未來嗎？的詳細(xì)內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！