4 秒看完 2 小時(shí)電影，阿里團(tuán)隊(duì)新成果正式亮相——

推出通用多模態(tài)大模型 mPLUG-Owl3，專(zhuān)門(mén)用來(lái)理解多圖、長(zhǎng)視頻。

具體來(lái)說(shuō)，以 LLaVA-Next-Interleave 為基準(zhǔn)，mPLUG-Owl3 將模型的First Token Latency 縮小了 6 倍，且單張 A100 能建模的圖像數(shù)目提升了 8 倍，達(dá)到了400 張圖片，實(shí)測(cè) 4 秒就能看完一部 2 小時(shí)的電影。

換句話說(shuō)，模型的推理效率有了極大提升。

而且不犧牲模型的準(zhǔn)確性。

mPLUG-Owl3 還在多模態(tài)大模型所涉及的各種場(chǎng)景，包括單圖、多圖、視頻領(lǐng)域的諸多 Benchmarks 上達(dá)到了SOTA。

論文作者來(lái)自阿里 mPLUG 團(tuán)隊(duì)，他們一直深耕多模態(tài)大模型底座，在此之前還提出了：

高效多模態(tài)底座 mPLUG 系列

模塊化多模態(tài)大語(yǔ)言模型底座 mPLUG-Owl 系列

文檔理解底座 mPLUG-DocOwl 系列

下面就讓我們來(lái)了解一下本次發(fā)布的 mPLUG-Owl3 究竟帶來(lái)了什么黑科技吧。

玩法解鎖

團(tuán)隊(duì)展示了 mPLUG-Owl3 的幾種常見(jiàn)用法。

多模態(tài)檢索增強(qiáng)

一般來(lái)說(shuō)，對(duì)于模型沒(méi)有學(xué)過(guò)的知識(shí)，通過(guò)檢索系統(tǒng)進(jìn)行補(bǔ)充是常見(jiàn)的做法。這需要模型能準(zhǔn)確理解傳入的多模態(tài)知識(shí)，并用于解答問(wèn)題。

在下面這個(gè)例子中，mPLUG-Owl3 不僅能基于檢索知識(shí)正確回復(fù)，還能給出它基于哪一條知識(shí)做出的判斷，并且給出詳細(xì)的判斷依據(jù)。這對(duì)于下游研發(fā)人員開(kāi)發(fā)和調(diào)試都是非常友好的。

檢索部分：以下是為你檢索到的幾個(gè)多模態(tài)知識(shí)，供你做出決定。

提問(wèn)：根據(jù)你對(duì)上面四張狗的照片的觀察，你能對(duì)圖片 5 中的狗進(jìn)行分類(lèi)嗎？給出理由。

回答：根據(jù)對(duì)四張狗的照片的觀察，圖片 5 中的狗可以被歸類(lèi)為愛(ài)爾蘭梗犬。圖片 1 中的狗被描述為愛(ài)爾蘭梗犬，圖片 5 中的狗與圖片 1 中的狗在身體特征上有相似之處……

多圖推理

生活中經(jīng)常會(huì)出現(xiàn)這樣的情況——

很多用戶并非只圍繞一張圖片進(jìn)行對(duì)話，而是用戶可能有幾份材料，需要模型能正確理解不同材料中的內(nèi)容的關(guān)系。

在下面這個(gè)例子中，mPLUG-Owl3 能通過(guò)兩張圖像所見(jiàn)，激活語(yǔ)言模型的常識(shí)知識(shí)，并圍繞兩張圖片進(jìn)行推理。

提問(wèn)：左邊的動(dòng)物能在右邊的環(huán)境中存活嗎？需要回答并給出解釋。

回答（正確答案標(biāo)綠）：大意是，不能存活，因?yàn)榄h(huán)境太冷了。

在另一個(gè)例子中，mPLUG-Owl3 不僅能察覺(jué)兩張圖片風(fēng)格上的差異性，并且也能意識(shí)到兩張圖中的人物雖然風(fēng)格不同，但其實(shí)是同一個(gè)角色。

第一次提問(wèn)：圖片中描繪了哪些藝術(shù)風(fēng)格，它們有何不同？

回答：第一張是像素風(fēng)，第二張是卡通風(fēng)格……（給出理由）

第二次提問(wèn)：在兩幅畫(huà)中都出現(xiàn)了誰(shuí)？他們的特征是什么？

回答：在兩幅畫(huà)中，都出現(xiàn)了一個(gè)戴著牛仔帽的男人，他被兩種不同的風(fēng)格描繪。

長(zhǎng)視頻理解

觀看超長(zhǎng)視頻是現(xiàn)在大部分模型都無(wú)法端到端完成的任務(wù)，若是基于 Agent 框架，則又難以保證響應(yīng)速度。

mPLUG-Owl3 能夠看一部 2 小時(shí)電影，并且4 秒就能開(kāi)始回答用戶的問(wèn)題。

不管用戶是對(duì)電影的開(kāi)頭、中間和結(jié)尾的非常細(xì)致的片段進(jìn)行提問(wèn)，mPLUG-Owl3 都能對(duì)答如流。

咋做到的？

與傳統(tǒng)模型不同，mPLUG-Owl3不需要提前將視覺(jué)序列拼接到語(yǔ)言模型的文本序列中。

換句話說(shuō)，不管輸入了啥（幾十張圖或幾小時(shí)視頻），都不占用語(yǔ)言模型序列容量，這就規(guī)避了長(zhǎng)視覺(jué)序列帶來(lái)的巨額計(jì)算開(kāi)銷(xiāo)和顯存占用。

有人可能會(huì)問(wèn)了，那視覺(jué)信息如何融入到語(yǔ)言模型中呢？

為實(shí)現(xiàn)這一點(diǎn)，該團(tuán)隊(duì)提出了一種輕量化的 Hyper Attention 模塊，它可以將一個(gè)已有的只能建模文本的 Transformer Block 擴(kuò)展成一個(gè)能夠同時(shí)做圖文特征交互和文本建模的新模塊。

通過(guò)在整個(gè)語(yǔ)言模型中稀疏地?cái)U(kuò)展4 個(gè)Transformer Block，mPLUG-Owl3 就能用非常小的代價(jià)將 LLM 升級(jí)成多模態(tài) LLM。

視覺(jué)特征在從視覺(jué)編碼器抽取出來(lái)后，會(huì)通過(guò)一個(gè)簡(jiǎn)單的線性映射把維度對(duì)齊到語(yǔ)言模型的維度。

隨后，視覺(jué)特征只會(huì)在這 4 層 Transformer Block 與文本交互，由于視覺(jué) Token 沒(méi)有經(jīng)過(guò)任何壓縮，所以細(xì)粒度的信息都能得到保留。

下面來(lái)看一下Hyper Attention 內(nèi)又是如何設(shè)計(jì)的。

Hyper Attention 為了讓語(yǔ)言模型能感知到視覺(jué)特征，引入了一個(gè)Cross-Attention操作，將視覺(jué)特征作為 Key 和 Value，將語(yǔ)言模型的 hidden state 作為 Query 去析取視覺(jué)特征。

近年也有其他研究考慮將 Cross-Attention 用于多模態(tài)融合，比如 Flamingo 和 IDEFICS，但這些工作都沒(méi)能取得較好的性能表現(xiàn)。

在 mPLUG-Owl3 的技術(shù)報(bào)告中，團(tuán)隊(duì)對(duì)比了 Flamingo 的設(shè)計(jì)，來(lái)進(jìn)一步說(shuō)明 Hyper Attention 的關(guān)鍵技術(shù)點(diǎn)：

首先，Hyper Attention 沒(méi)有采用 Cross-Attention 和 Self-Attention 級(jí)聯(lián)的設(shè)計(jì)，而是嵌入在 Self-Attention 區(qū)塊內(nèi)。

它的好處是大幅度降低了額外引入的新參數(shù)，使得模型更容易訓(xùn)練，并且訓(xùn)練和推理效率也能進(jìn)一步提升。

其次，Hyper Attention 選擇共享語(yǔ)言模型的 LayerNorm，因?yàn)?LayerNorm 所輸出的分布正是 Attention 層已經(jīng)訓(xùn)練穩(wěn)定的分布，共享這一層對(duì)于穩(wěn)定學(xué)習(xí)新引入的 Cross-Attention 至關(guān)重要。

事實(shí)上，Hyper Attention 采取了一種并行 Cross-Attention 和 Self-Attention 的策略，使用共享的 Query 去與視覺(jué)特征交互，通過(guò)一個(gè) Adaptive Gate 融合兩者的特征。

這使得 Query 可以根據(jù)自身語(yǔ)義針對(duì)性地選擇與之相關(guān)的視覺(jué)特征。

團(tuán)隊(duì)發(fā)現(xiàn)，圖像在原始上下文中與文本的相對(duì)位置關(guān)系對(duì)于模型更好的理解多模態(tài)輸入非常重要。

為了建模這一性質(zhì)，他們引入了一種多模態(tài)交錯(cuò)的旋轉(zhuǎn)位置編碼 MI-Rope 來(lái)給視覺(jué)的 Key 建模位置信息。

具體來(lái)說(shuō)，他們預(yù)先記錄了每張圖片在原文中的位置信息，會(huì)取這一位置來(lái)計(jì)算對(duì)應(yīng)的 Rope embedding，而同一張圖的各個(gè) patch 會(huì)共享這個(gè) embedding。

此外，他們也在 Cross-Attention引入了 Attention mask，讓原始上下文中在圖片之前的文本不能看到后面的圖片對(duì)應(yīng)的特征。

概括而言，Hyper Attention 的這些設(shè)計(jì)點(diǎn)，為 mPLUG-Owl3 帶來(lái)了進(jìn)一步的效率提升，并且保障了它仍然能具備一流的多模態(tài)能力。

實(shí)驗(yàn)結(jié)果

通過(guò)在廣泛的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，mPLUG-Owl3 在大多數(shù)單圖多模態(tài) Benchmarks都能取得 SOTA 的效果，甚至不少測(cè)評(píng)還能超過(guò)模型尺寸更大的模型。

同時(shí)，在多圖測(cè)評(píng)中，mPLUG-Owl3 同樣超越了專(zhuān)門(mén)針對(duì)多圖場(chǎng)景優(yōu)化的 LLAVA-Next-Interleave 和 Mantis。

另外，在 LongVideoBench（52.1 分）這一專(zhuān)門(mén)評(píng)估模型對(duì)長(zhǎng)視頻理解的榜單上更是超越現(xiàn)有模型。

研發(fā)團(tuán)隊(duì)還提出了一個(gè)有趣的長(zhǎng)視覺(jué)序列測(cè)評(píng)方法。

眾所周知，真實(shí)的人機(jī)交互場(chǎng)景，并非所有圖片都是為了用戶問(wèn)題服務(wù)的，歷史上下文中會(huì)充斥著與問(wèn)題無(wú)關(guān)的多模態(tài)內(nèi)容，序列越長(zhǎng)，這一現(xiàn)象越嚴(yán)重。

為了評(píng)估模型在長(zhǎng)視覺(jué)序列輸入中的抗干擾能力，他們基于 MMBench-dev 構(gòu)建了一個(gè)新的測(cè)評(píng)數(shù)據(jù)集。

通過(guò)為每一個(gè) MMBench 循環(huán)評(píng)估樣本引入無(wú)關(guān)的圖片并打亂圖片順序，再針對(duì)原本的圖片進(jìn)行提問(wèn)，看模型是否能穩(wěn)定地正確回復(fù)。（對(duì)于同一個(gè)問(wèn)題，會(huì)構(gòu)造 4 個(gè)選項(xiàng)順序和干擾圖片均不同的樣本，全都答對(duì)才記一次正確回答。）

實(shí)驗(yàn)中根據(jù)輸入圖片數(shù)目分為了多個(gè)層級(jí)。

可以看出，沒(méi)有經(jīng)過(guò)多圖訓(xùn)練的模型例如 Qwen-VL 和 mPLUG-Owl2 很快就敗下陣來(lái)。

而經(jīng)過(guò)多圖訓(xùn)練的 LLAVA-Next-Interleave 和 Mantis 在最開(kāi)始能和 mPLUG-Owl3 保持近似的衰減曲線，但隨著圖片數(shù)目達(dá)到了50這個(gè)量級(jí)，這些模型也不再能正確回答了。

而 mPLUG-Owl3 堅(jiān)持到了400 張圖片還能保持40% 的準(zhǔn)確率。

不過(guò)有一說(shuō)一，盡管 mPLUG-Owl3 超越了現(xiàn)有模型，但其準(zhǔn)確率遠(yuǎn)未達(dá)到優(yōu)秀水平，只能說(shuō)這一測(cè)評(píng)方法揭示了所有模型未來(lái)需要進(jìn)一步提升的長(zhǎng)序列下的抗干擾能力。

更多詳情歡迎查閱論文及代碼。

論文：https://arxiv.org/abs/2408.04840

代碼：https://github.com/X-PLUG/mPLUG-Owl/tree/main/mPLUG-Owl3

demo（抱抱臉）：https://huggingface.co/spaces/mPLUG/mPLUG-Owl3

demo（魔搭社區(qū)）：https://modelscope.cn/studios/iic/mPLUG-Owl3

7B 模型（抱抱臉）：https://huggingface.co/mPLUG/mPLUG-Owl3-7B-240728

7B 模型（魔搭社區(qū)）https://modelscope.cn/models/iic/mPLUG-Owl3-7B-240728

— 完 —

投稿請(qǐng)發(fā)郵件到：

ai@qbitai.com

標(biāo)題注明，告訴我們：

你是誰(shuí)，從哪來(lái)，投稿內(nèi)容

附上論文 / 項(xiàng)目主頁(yè)鏈接，以及聯(lián)系方式哦

我們會(huì)（盡量）及時(shí)回復(fù)你

點(diǎn)這里關(guān)注我，記得標(biāo)星哦～

一鍵三連「分享」、「點(diǎn)贊」和「在看」

科技前沿進(jìn)展日日相見(jiàn) ~

以上是4 秒看完 2 小時(shí)電影！阿里發(fā)布通用多模態(tài)大模型 mPLUG-Owl3的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！