介紹

文本到圖像的綜合和圖像文本對(duì)比學(xué)習(xí)是最近越來(lái)越受歡迎的兩個(gè)最具創(chuàng)新性的多模式學(xué)習(xí)應(yīng)用程序。這些模型憑借其創(chuàng)新的創(chuàng)造圖像創(chuàng)建和操縱應(yīng)用，徹底改變了研究社區(qū)，并引起了廣泛的公共利益。

為了進(jìn)一步研究，DeepMind引入了成像劑。這種文本對(duì)圖像擴(kuò)散模型通過(guò)將變壓器語(yǔ)言模型（LMS）的強(qiáng)度與高前景擴(kuò)散模型融合在一起，提供了前所未有的光真相和對(duì)文本形象綜合中語(yǔ)言的深刻理解。

本文介紹了Google最新成像模型的訓(xùn)練和評(píng)估，Imagen 3。默認(rèn)情況下，可以將Imagen 3配置為以1024×1024分辨率的輸出圖像，并可以選擇2×，4×或8×UPSMPLING。與其他尖端T2I模型相比，我們概述了分析和評(píng)估。

我們發(fā)現(xiàn)Imagen 3是最好的模型。它擅長(zhǎng)于攝影和遵循復(fù)雜且冗長(zhǎng)的用戶(hù)說(shuō)明。

概述

1. 革命性的文本對(duì)圖像模型：Google的Imagen 3，一種文本對(duì)圖擴(kuò)散模型，在解釋詳細(xì)的用戶(hù)提示時(shí)提供了無(wú)與倫比的光真相和精度。
2. 評(píng)估和比較：Imagen 3在及時(shí)圖像比對(duì)和視覺(jué)吸引力中表現(xiàn)出色，超過(guò)了諸如DALL·e 3之類(lèi)的模型，并且在自動(dòng)化和人類(lèi)評(píng)估中均具有穩(wěn)定的擴(kuò)散。
3. 數(shù)據(jù)集和安全措施：訓(xùn)練數(shù)據(jù)集經(jīng)歷嚴(yán)格的過(guò)濾以刪除低質(zhì)量或有害內(nèi)容，從而確保更安全，更準(zhǔn)確的輸出。
4. 建筑輝煌：使用冷凍的T5-XXL編碼器和多步上采樣，Imagen 3生成高達(dá)1024×1024分辨率的高度詳細(xì)圖像。
5. 現(xiàn)實(shí)世界集成：Imagen 3可以通過(guò)Google Cloud的頂點(diǎn)AI訪問(wèn)，從而易于集成到生產(chǎn)環(huán)境中以創(chuàng)造圖像生成。
6. 高級(jí)功能和速度：隨著Imagen 3的引入快速，用戶(hù)可以從延遲的40％降低而不會(huì)損害圖像質(zhì)量中受益。

目錄

• 數(shù)據(jù)集：確保培訓(xùn)的質(zhì)量和安全性
• 成像架構(gòu)
• 成像模型的評(píng)估
• 人類(lèi)評(píng)估：評(píng)估者如何評(píng)判Imagen 3的產(chǎn)出質(zhì)量？
  • 總體用戶(hù)偏好：Imagen 3領(lǐng)先創(chuàng)意圖像生成
  • 及時(shí)圖像對(duì)齊：用精度捕獲用戶(hù)意圖
  • 視覺(jué)吸引力：跨平臺(tái)的美學(xué)卓越
  • 詳細(xì)的及時(shí)圖像對(duì)齊
  • 數(shù)值推理：超過(guò)對(duì)象計(jì)數(shù)準(zhǔn)確性的競(jìng)爭(zhēng)
• 自動(dòng)化評(píng)估：將模型與夾子，壁虎和VQASCORE進(jìn)行比較
  • 及時(shí) - 圖像對(duì)齊
  • 圖像質(zhì)量
• 定性結(jié)果：突出顯示Imagen 3對(duì)細(xì)節(jié)的關(guān)注
• 評(píng)估推斷
• 通過(guò)頂點(diǎn)AI訪問(wèn)Imagen 3：無(wú)縫集成指南
  • 使用頂點(diǎn)AI
  • 使用雙子座
• 常見(jiàn)問(wèn)題

數(shù)據(jù)集：確保培訓(xùn)的質(zhì)量和安全性

使用包括文本，圖像和相關(guān)注釋的大型數(shù)據(jù)集對(duì)成像模型進(jìn)行訓(xùn)練。 DeepMind使用了幾個(gè)過(guò)濾階段來(lái)保證質(zhì)量和安全要求。首先，除去被認(rèn)為是危險(xiǎn)，暴力或質(zhì)量差的任何圖像都將消除。接下來(lái)，DeepMind刪除了AI為阻止模型拾取這些圖像中經(jīng)常存在的偏見(jiàn)或偽像的圖像。 DeepMind還采用了加權(quán)類(lèi)似的圖像和重復(fù)數(shù)據(jù)刪除程序，以減少輸出過(guò)度擬合某些培訓(xùn)數(shù)據(jù)點(diǎn)的可能性。

數(shù)據(jù)集中的每個(gè)圖像都有一個(gè)合成字幕和一個(gè)來(lái)自Alt文本，人類(lèi)描述等的原始字幕。Gemini模型產(chǎn)生具有不同提示的合成字幕。為了最大程度地提高這些綜合標(biāo)題的語(yǔ)言多樣性和質(zhì)量，DeepMind使用了多種雙子座模型和說(shuō)明。 DeepMind使用各種過(guò)濾器來(lái)消除潛在的有害標(biāo)題和個(gè)人身份信息。

成像架構(gòu)

Imagen使用大型冷凍T5-XXL編碼器將輸入文本編碼為嵌入。條件擴(kuò)散模型將嵌入到64×64圖像中的文本映射。成像人進(jìn)一步利用文本條件的超分辨率擴(kuò)散模型來(lái)對(duì)圖像64×64→256×256和256×256→1024×1024進(jìn)行示例。

成像模型的評(píng)估

DeepMind評(píng)估了Imagen 3模型，這是最佳質(zhì)量配置，對(duì)Imagen 2和外部模型DALL·E 3，Midjourney V6，穩(wěn)定的擴(kuò)散3大，穩(wěn)定的擴(kuò)散XL 1.0。 DeepMind發(fā)現(xiàn)，Imagen 3通過(guò)人類(lèi)和機(jī)器的嚴(yán)格評(píng)估在文本到圖像生成中設(shè)定了新的最新技術(shù)。定性結(jié)果和評(píng)估推斷包含定性結(jié)果以及對(duì)整體發(fā)現(xiàn)和局限性的討論。與成像3的產(chǎn)品集成可能會(huì)導(dǎo)致性能與已測(cè)試的配置不同。

另請(qǐng)閱讀：如何使用DALL-E 3 API進(jìn)行圖像生成？

人類(lèi)評(píng)估：評(píng)估者如何評(píng)判Imagen 3的產(chǎn)出質(zhì)量？

對(duì)文本形象生成模型進(jìn)行了評(píng)估，以五個(gè)質(zhì)量方面進(jìn)行評(píng)估：總體偏好，及時(shí)圖像對(duì)齊，視覺(jué)吸引力，詳細(xì)的及時(shí)圖像對(duì)齊和數(shù)值推理。對(duì)這些方面進(jìn)行獨(dú)立評(píng)估，以避免評(píng)估者的判斷中混合。并排比較用于定量判斷，而數(shù)值推理可以通過(guò)計(jì)算圖像中描述的給定類(lèi)型的多少個(gè)對(duì)象來(lái)直接評(píng)估數(shù)值推理。

完整的ELO記分板是通過(guò)對(duì)每對(duì)型號(hào)進(jìn)行詳盡的比較而生成的。每項(xiàng)研究包括在提示集中的提示中均勻分布的2500個(gè)評(píng)級(jí)。這些模型在評(píng)估者界面中被匿名化，并且側(cè)面對(duì)每個(gè)評(píng)分都隨機(jī)調(diào)整。數(shù)據(jù)收集是使用Google DeepMind在數(shù)據(jù)豐富方面的最佳實(shí)踐進(jìn)行的，以確保所有數(shù)據(jù)豐富工人至少獲得當(dāng)?shù)厣罟べY的支付。該研究在3225個(gè)不同評(píng)估者的5943次提交中收集了366,569個(gè)評(píng)級(jí)。每個(gè)評(píng)估者最多參與了10％的研究，并提供了大約2％的評(píng)級(jí)，以避免對(duì)一組評(píng)估者的判斷的有偏見(jiàn)。來(lái)自71個(gè)不同國(guó)籍的評(píng)估者參加了研究。

總體用戶(hù)偏好：Imagen 3領(lǐng)先創(chuàng)意圖像生成

用戶(hù)對(duì)給定提示的生成圖像的總體偏好是一個(gè)空曠的問(wèn)題，評(píng)估者決定哪些質(zhì)量方面最重要。將兩張圖像提交給評(píng)估者，如果兩者都同樣吸引人，“我無(wú)動(dòng)于衷”。

結(jié)果表明，在Genai Bench，Drawbench和Dall·E 3評(píng)估中，Imagen 3明顯更受歡迎。 Imagen 3在拉動(dòng)臺(tái)上的邊緣比穩(wěn)定的擴(kuò)散3較小，并且在dall·e 3評(píng)估上的邊緣略有邊緣。

及時(shí)圖像對(duì)齊：用精度捕獲用戶(hù)意圖

該研究評(píng)估了輸入圖像內(nèi)容中輸入提示的表示，忽略了潛在的缺陷或?qū)徝牢?。要求評(píng)估者選擇一個(gè)更好地捕獲提示意圖的圖像，而無(wú)視不同樣式的圖像。結(jié)果表明，Imagen 3優(yōu)于Genai Bench，Drawbench和Dall·E 3 Eval，并具有重疊的置信區(qū)間。該研究表明，忽略圖像中的潛在缺陷或不良質(zhì)量可以提高及時(shí)圖像對(duì)齊的準(zhǔn)確性。

視覺(jué)吸引力：跨平臺(tái)的美學(xué)卓越

視覺(jué)吸引力衡量產(chǎn)生的圖像的吸引力，無(wú)論內(nèi)容如何。評(píng)估者沒(méi)有提示并排評(píng)價(jià)兩個(gè)圖像。 Midjourney V6的帶領(lǐng)下，Imagen 3幾乎在Genai Bench上，在Drawbench上略大，并且在DALL·E 3評(píng)估方面具有顯著優(yōu)勢(shì)。

詳細(xì)的及時(shí)圖像對(duì)齊

該研究通過(guò)從DOCCI的詳細(xì)提示中生成圖像來(lái)評(píng)估及時(shí)圖像的功能，該圖像要比以前的提示集更長(zhǎng)。研究人員發(fā)現(xiàn)閱讀100個(gè)單詞提示人類(lèi)評(píng)估者太具有挑戰(zhàn)性了。取而代之的是，他們使用真實(shí)參考照片的高質(zhì)量標(biāo)題將生成的圖像與基準(zhǔn)參考圖像進(jìn)行比較。評(píng)估者專(zhuān)注于圖像的語(yǔ)義，忽略樣式，捕獲技術(shù)和質(zhì)量。結(jié)果表明，Imagen 3的顯著差距為114個(gè)ELO點(diǎn)，而第二好的模型的勝率為63％，突出了其出色的功能，遵循輸入提示的詳細(xì)內(nèi)容。

數(shù)值推理：超過(guò)對(duì)象計(jì)數(shù)準(zhǔn)確性的競(jìng)爭(zhēng)

該研究評(píng)估了模型使用Geckonum基準(zhǔn)任務(wù)生成確切數(shù)量的對(duì)象的能力。該任務(wù)涉及將圖像中的對(duì)象數(shù)與提示中請(qǐng)求的預(yù)期數(shù)量進(jìn)行比較。這些模型考慮了諸如顏色和??空間關(guān)系之類(lèi)的屬性。結(jié)果表明，成像3是最強(qiáng)的模型，表現(xiàn)優(yōu)于dall·e 3乘12個(gè)百分點(diǎn)。在生成包含2-5個(gè)對(duì)象的圖像和更復(fù)雜的句子結(jié)構(gòu)上的性能更好時(shí)，它也具有更高的精度。

自動(dòng)化評(píng)估：將模型與夾子，壁虎和VQASCORE進(jìn)行比較

近年來(lái)，諸如剪輯和VQASCORE之類(lèi)的自動(dòng)評(píng)估（自動(dòng)評(píng)估）指標(biāo)已被更廣泛地用于衡量文本模型的質(zhì)量。這項(xiàng)研究重點(diǎn)介紹了自動(dòng)化指標(biāo)，以及時(shí)圖像對(duì)準(zhǔn)和圖像質(zhì)量，以補(bǔ)充人類(lèi)評(píng)估。

及時(shí) - 圖像對(duì)齊

研究人員選擇了三個(gè)強(qiáng)大的自動(dòng)效應(yīng)及時(shí)圖像指標(biāo)：對(duì)比度雙編碼器（剪輯），基于VQA的對(duì)比度（gecko）和一個(gè)基于LVLM提示（VQASCORE2的實(shí)現(xiàn)）。結(jié)果表明，剪輯通常無(wú)法預(yù)測(cè)正確的模型排序，而壁虎和VQASCORE表現(xiàn)良好，大約有72％的時(shí)間達(dá)成共識(shí)。 VQASCORE具有優(yōu)勢(shì)，因?yàn)樗c人類(lèi)評(píng)分相匹配，而Gecko的73.3％則有80％的時(shí)間。壁虎使用較弱的骨干，帕利，這可能解釋了性能的差異。

該研究評(píng)估了四個(gè)數(shù)據(jù)集，以調(diào)查不同條件下的模型差異：壁虎，docci檢測(cè) - 居民，dall·e 3評(píng)估和Genai-Bench。結(jié)果表明，成像3始終具有最高的對(duì)齊性能。 SDXL 1和Imagen 2的性能始終比其他模型少。

圖像質(zhì)量

關(guān)于圖像質(zhì)量，研究人員比較了使用不同的特征空間和距離指標(biāo)，比較了Imagen 3，SDXL 1和DALL·E 3的生成圖像的分布。他們觀察到，將這三個(gè)指標(biāo)最小化是一個(gè)權(quán)衡，有利于自然色和紋理的產(chǎn)生，但無(wú)法檢測(cè)到對(duì)象形狀和零件上的畸變。 Imagen 3介紹了三種型號(hào)的CMMD值較低，突出了其在最先進(jìn)的特征空間指標(biāo)上的強(qiáng)勁性能。

定性結(jié)果：突出顯示Imagen 3對(duì)細(xì)節(jié)的關(guān)注

下圖顯示了2個(gè)圖像上采樣到12百萬(wàn)像素，農(nóng)作物顯示了細(xì)節(jié)水平。

評(píng)估推斷

Imagen 3是及時(shí)圖像對(duì)齊的頂級(jí)模型，尤其是在詳細(xì)的提示和計(jì)數(shù)能力中。在視覺(jué)吸引力方面，Midjourney V6領(lǐng)先，Imagen 3排名第二。但是，它仍然存在某些功能的缺點(diǎn)，例如數(shù)值推理，規(guī)模推理，組成短語(yǔ)，動(dòng)作，空間推理和復(fù)雜的語(yǔ)言。這些模型在需要數(shù)值推理，規(guī)模推理，組成短語(yǔ)和行動(dòng)的任務(wù)上掙扎。總體而言，Imagen 3是尊重用戶(hù)意圖的高質(zhì)量輸出的最佳選擇。

通過(guò)頂點(diǎn)AI訪問(wèn)Imagen 3：無(wú)縫集成指南

使用頂點(diǎn)AI

要開(kāi)始使用頂點(diǎn)AI，您必須擁有現(xiàn)有的Google Cloud項(xiàng)目并啟用頂點(diǎn)AI API。了解有關(guān)建立項(xiàng)目和開(kāi)發(fā)環(huán)境的更多信息。

另外，這是GitHub鏈接 - 請(qǐng)參閱

導(dǎo)入Vertexai

來(lái)自vertexai.preview.vision_models導(dǎo)入imageGenerationModel

＃todo（開(kāi)發(fā)人員）：從頂點(diǎn)AI控制臺(tái)更新您的項(xiàng)目ID

project_id =“ project_id”

vertexai.init（project = project_id，location =“ us-central1”）

generation_model = imageGenerationModel.from_pretrataining（“ Imagen-3.0生成-001”）

提示=“”

一本木制廚房桌子上的食譜的影像圖像，封面面向前方的封面，有一個(gè)微笑的家庭坐在類(lèi)似的桌子上，柔軟的高架照明照亮了場(chǎng)景，食譜是圖像的主要重點(diǎn)。

”“”

image = generation_model.generate_images（

    提示=提示，

    number_of_images = 1，

    expack_ratio =“ 1：1”，

    safety_filter_level =“ block_some”，

    person_generation =“ ally_all”，

）

文本渲染

Imagen 3還為文本渲染圖像開(kāi)辟了新的可能性。創(chuàng)建帶有不同字體和顏色字幕的海報(bào)，卡片和社交媒體帖子的圖像是嘗試此工具的好方法。要使用此功能，只需簡(jiǎn)要描述您想在提示中看到的內(nèi)容即可。想象一下，您想更改食譜的封面并添加標(biāo)題。

提示=“”

一本木制廚房桌子上的食譜的影像圖像，封面面向前方的封面，有一個(gè)微笑的家庭坐在類(lèi)似的桌子上，柔軟的高架照明照亮了場(chǎng)景，食譜是圖像的主要重點(diǎn)。

在橙色塊字母的“日常食譜”中添加一個(gè)書(shū)名。?

”“”

image = generation_model.generate_images（

    提示=提示，

    number_of_images = 1，

    expack_ratio =“ 1：1”，

    safety_filter_level =“ block_some”，

    person_generation =“ ally_all”，

）

延遲減少

除Imagen 3（迄今為止其最高質(zhì)量的模型）外，DeepMind提供了Imagen 3 Fast，這是一種針對(duì)發(fā)電速度優(yōu)化的模型。 Imagen 3 FAST適用于產(chǎn)生具有更大對(duì)比度和亮度的圖像。與Imagen 2相比，您可以觀察到延遲的降低40％。您可以使用相同的提示來(lái)創(chuàng)建兩個(gè)圖像來(lái)說(shuō)明這兩個(gè)模型。讓我們?yōu)樯忱掌瑒?chuàng)建兩個(gè)替代方法，我們可以在上面提到的食譜中包括。

 generation_model_fast = imageGenerationModel.from_pretrate（

    “ Imagen-3.0-fast-generate-001”

）

提示=“”

花園沙拉的影像圖像，上面有五顏六色的蔬菜，例如辣椒，黃瓜，西紅柿和綠葉蔬菜，坐在白色大理石桌上的圖像中心的木碗中。自然光照亮了場(chǎng)景，鑄造柔和的陰影并突出了成分的新鮮度。?

”“”?

＃成像3快速圖像生成

fast_image = generation_model_fast.generate_images（

    提示=提示，

    number_of_images = 1，

    expack_ratio =“ 1：1”，

    safety_filter_level =“ block_some”，

    person_generation =“ ally_all”，

）

提示=“”

花園沙拉的影像圖像，上面有五顏六色的蔬菜，例如辣椒，黃瓜，西紅柿和綠葉蔬菜，坐在白色大理石桌上的圖像中心的木碗中。自然光照亮了場(chǎng)景，鑄造柔和的陰影并突出了成分的新鮮度。?

”“”?

＃成像3圖像生成

image = generation_model.generate_images（

    提示=提示，

    number_of_images = 1，

    expack_ratio =“ 1：1”，

    safety_filter_level =“ block_some”，

    person_generation =“ ally_all”，

）

使用雙子座

Gemini支持使用新Imagen 3的支持，因此我們使用Gemini訪問(wèn)Imagen 3。在下圖中，我們可以看到Gemini使用Imagen 3生成圖像。

提示 - “在城市道路上產(chǎn)生獅子行走的形象。道路上有汽車(chē)，自行車(chē)和公共汽車(chē)。一定要使它現(xiàn)實(shí)”

結(jié)論

Google的Imagen 3設(shè)定了一個(gè)新的基準(zhǔn)，用于文本對(duì)圖像綜合，在光真相中表現(xiàn)出色，并以極好的精度處理復(fù)雜提示。它在多個(gè)評(píng)估基準(zhǔn)中的強(qiáng)勁表現(xiàn)突出了其在詳細(xì)的及時(shí)圖像對(duì)齊和視覺(jué)吸引力中的功能，超過(guò)了諸如DALL·E 3和穩(wěn)定擴(kuò)散之類(lèi)的模型。但是，它在涉及數(shù)值和空間推理的任務(wù)中仍然面臨挑戰(zhàn)。通過(guò)添加Imagen 3的添加，以減少延遲和與頂點(diǎn)AI等工具的集成，Imagen 3為創(chuàng)造性應(yīng)用開(kāi)辟了令人興奮的可能性，從而突破了多模式AI的界限。

如果您正在在線(xiàn)尋找生成的AI課程，請(qǐng)?zhí)剿?-今天的Genai Pinnacle計(jì)劃！

常見(jiàn)問(wèn)題

ANS Imagen 3在光真相和復(fù)雜的及時(shí)處理方面表現(xiàn)出色，與其他型號(hào)（如DALL·E 3和穩(wěn)定的擴(kuò)散）相比，與用戶(hù)輸入相比，提供了出色的圖像質(zhì)量和與用戶(hù)輸入的對(duì)齊。

Ans。 Imagen 3旨在有效地管理詳細(xì)且冗長(zhǎng)的提示，以表明及時(shí)圖像對(duì)齊和詳細(xì)的內(nèi)容表示方面的良好性能。

Ans。該模型在一個(gè)具有文本，圖像和注釋的大型，多樣化的數(shù)據(jù)集上進(jìn)行了培訓(xùn)，以排除AI生成的內(nèi)容，有害圖像和質(zhì)量差數(shù)據(jù)。

Ans。 Imagen 3快速對(duì)速度進(jìn)行了優(yōu)化，與標(biāo)準(zhǔn)版本相比，在保持高質(zhì)量的圖像生成的同時(shí)，延遲降低了40％。

Ans。是的，Imagen 3可以與Google Cloud的頂點(diǎn)AI一起使用，從而可以無(wú)縫集成到圖像生成和創(chuàng)意任務(wù)的應(yīng)用中。

以上是Google的Imagen 3是AI圖像創(chuàng)建的未來(lái)嗎？的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！