近期，谷歌和OpenAI發(fā)布的全新圖像生成模型引發(fā)廣泛關(guān)注，其核心技術(shù)與以往模型截然不同。 Ethan Mollick在One Useful Thing發(fā)表的文章深入探討了這些新模型的工作機制及其對人類用戶的影響。本文將對Mollick的觀點進行解讀。

多模態(tài)圖像生成的潛力

Mollick指出，傳統(tǒng)的圖像生成系統(tǒng)是多個模型協(xié)同工作的產(chǎn)物，並非單一模型完成所有任務。

他寫道：“以往，大型語言模型（LLM）生成圖像並非由LLM直接完成。AI會將文本提示發(fā)送給獨立的圖像生成工具，然後顯示結(jié)果。AI負責創(chuàng)建文本提示，而另一個能力較弱的系統(tǒng)負責生成圖像?！?/p>

擴散模型已成過去式

舊模型主要依賴擴散模型工作。擴散模型的工作原理是：將圖像引入噪聲，進行抽象處理，然後再去除噪聲，生成與計算機已知圖像庫中匹配提示的圖像。

然而，這種方法的局限性在於：生成的圖像缺乏模型自身的推理和判斷，只是對現(xiàn)有圖像庫的簡單組合，無法提供有價值的信息。

多模態(tài)控制的優(yōu)勢

如今，多模態(tài)控制技術(shù)的出現(xiàn)徹底改變了這一現(xiàn)狀。

Mollick舉例說明：提示模型生成“沒有大象的房間，並標註原因”。傳統(tǒng)模型會生成包含大象的圖像，因為它無法理解提示的語境。生成的文本也可能毫無意義甚至包含虛構(gòu)字符，因為模型對字母的理解也源於訓練數(shù)據(jù)。

而多模態(tài)模型則能精準地生成符合要求的圖像，並添加註釋，例如“門太小”，解釋為什麼房間裡沒有大象。

傳統(tǒng)模型的提示挑戰(zhàn)

傳統(tǒng)模型的一個顯著缺陷是：一旦要求其排除某個元素，它反而會包含該元素，因為它無法理解指令。此外，每次修改或調(diào)整都會改變圖像的基本結(jié)構(gòu)。例如，修改人物的帽子可能會導致人物形象完全改變。

多模態(tài)圖像生成模型則能夠在保留原有結(jié)果的基礎(chǔ)上進行細微調(diào)整。

環(huán)境的保持

Mollick還展示了另一個例子：一隻手裡拿著特定物品的水獺，然後在不同環(huán)境和不同風格的背景下出現(xiàn)。這展現(xiàn)了多模態(tài)圖像生成器的精細整合能力。

完整的演示文稿

Mollick還展示瞭如何利用多模態(tài)模型設(shè)計完整的演示文稿，例如關(guān)於鱷梨醬的推介。只需提供簡單的指令，模型就能搜索互聯(lián)網(wǎng)上的相關(guān)信息，進行整合，並生成最終結(jié)果。

正如Mollick所言，這將迅速導致許多人類工作被取代。我們需要認真考慮建立相應的框架。

以上是Mollick介紹了新圖像生成模型的含義的詳細內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！