撰稿丨諾亞? ?

#出品| 51CTO技術(shù)堆疊（微訊號(hào)：blog51cto） ? ? ??

#總是被使用者吐槽「有點(diǎn)智障」的Siri有救了！

Siri自誕生以來(lái)就是智慧語(yǔ)音助理領(lǐng)域的代表之一，但在很長(zhǎng)一段時(shí)間裡，其表現(xiàn)並不盡如人意。然而，蘋果的人工智慧團(tuán)隊(duì)最新發(fā)布的研究成果有望大幅改變現(xiàn)狀。這些成果令人興奮，同時(shí)也引發(fā)了對(duì)該領(lǐng)域未來(lái)的極大期待。

在相關(guān)的研究論文中，蘋果的AI專家們描述了一個(gè)系統(tǒng)，其中Siri不僅可以識(shí)別圖像中的內(nèi)容，還能做更多的事情，變得更加智能、更實(shí)用。這個(gè)功能模型被稱為ReALM，它是基於GPT 4.0的標(biāo)準(zhǔn)，具有比GPT 4.0更優(yōu)秀的基準(zhǔn)能力。這些專家認(rèn)為，他們開發(fā)的這個(gè)模型是用來(lái)實(shí)現(xiàn)自己研發(fā)的一個(gè)功能的，它可以讓Siri更智能，更實(shí)用，更適用於各種場(chǎng)景。

一、動(dòng)機(jī)：解決不同實(shí)體的指涉解析

根據(jù)蘋果的研究團(tuán)隊(duì)指出：「讓對(duì)話助手能夠理解上下文，包括相關(guān)的內(nèi)容指向，非常關(guān)鍵。能讓用戶根據(jù)他們所看到的螢?zāi)粌?nèi)容進(jìn)行提問，是確保實(shí)現(xiàn)語(yǔ)音操作體驗(yàn)的重要一步?！?/p>

#打個(gè)比方，在人機(jī)互動(dòng)過程中，使用者常常會(huì)在對(duì)話中提及螢?zāi)簧系哪硞€(gè)元素或內(nèi)容，例如指示語(yǔ)音助理?yè)艽螂娫捥?hào)碼、導(dǎo)航至地圖上的特定地點(diǎn)、開啟特定應(yīng)用程式或網(wǎng)頁(yè)等。如果對(duì)話助手無(wú)法理解使用者指令背後的實(shí)體指代，就無(wú)法準(zhǔn)確地執(zhí)行這些命令。

而且人類對(duì)話中普遍存在模糊指代的現(xiàn)象，為了實(shí)現(xiàn)自然的人機(jī)交互，以及在用戶與語(yǔ)音助手進(jìn)行關(guān)於屏幕內(nèi)容查詢時(shí)準(zhǔn)確理解語(yǔ)境，指代解析能力至關(guān)重要。

蘋果在論文中提到的名為ReALM（Reference Resolution As Language Modeling）的模型，其優(yōu)勢(shì)就在於，它能夠同時(shí)考慮用戶螢?zāi)簧系膬?nèi)容和正在進(jìn)行的任務(wù)，利用大語(yǔ)言模型解決不同類型實(shí)體（包括對(duì)話實(shí)體和非對(duì)話實(shí)體）的指涉解析問題。

儘管傳統(tǒng)的文字模態(tài)不便於處理螢?zāi)簧巷@示的實(shí)體，但ReALM系統(tǒng)透過將指涉解析轉(zhuǎn)換為語(yǔ)言建模問題，並成功運(yùn)用LLMs來(lái)處理螢?zāi)簧戏菍?duì)話實(shí)體的指涉，極大地推動(dòng)了這一目標(biāo)的達(dá)成。如此一來(lái)，便可望達(dá)成高度智慧、更沉浸的使用者體驗(yàn)。

二、重構(gòu)：突破傳統(tǒng)文字模態(tài)的限制

傳統(tǒng)的文字模態(tài)不便於處理螢?zāi)簧巷@示的實(shí)體，是因?yàn)槲災(zāi)簧系膶?shí)體通常包含豐富的視覺資訊和佈局結(jié)構(gòu)，例如圖像、圖標(biāo)、按鈕及它們之間的相對(duì)位置關(guān)係等，這些資訊在純粹的文字描述中難以完全表達(dá)。

ReALM系統(tǒng)針對(duì)這項(xiàng)挑戰(zhàn)，創(chuàng)造性地提出了透過解析螢?zāi)簧系膶?shí)體及其位置資訊來(lái)重建螢?zāi)?，並產(chǎn)生一種純文字表示，這種文字能視覺化地反映螢?zāi)粌?nèi)容。

實(shí)體部分會(huì)被特別標(biāo)記，以便語(yǔ)言模型了解實(shí)體出現(xiàn)在何處及其周圍的文字是什麼，這樣就能模擬「看到」螢?zāi)簧系男畔ⅲ瑏K在理解和解析螢?zāi)簧系闹干鏁r(shí)提供必要的上下文資訊。這種方法是首次嘗試使用大型語(yǔ)言模型從螢?zāi)粌?nèi)容中編碼上下文，克服了傳統(tǒng)文本模態(tài)難以處理的螢?zāi)粚?shí)體的問題。

具體來(lái)說，ReALM系統(tǒng)為了讓大型語(yǔ)言模型能夠「理解」並處理螢?zāi)簧巷@示的實(shí)體，採(cǎi)用了以下步驟：

首先，借助上層資料偵測(cè)器擷取螢?zāi)晃淖种械膶?shí)體，這些實(shí)體會(huì)帶有類型、邊界框以及實(shí)體周圍非實(shí)體文字元素的清單。這意味著，對(duì)於螢?zāi)簧厦恳粋€(gè)可視化的實(shí)體，系統(tǒng)都會(huì)捕捉其基本資訊和它所處的上下文環(huán)境。

然後，ReALM創(chuàng)新地提出了一種演算法，透過將實(shí)體及其周圍物件的邊界框中心點(diǎn)按照垂直（從上至下）和水平（從左到右）的順序排序，並穩(wěn)定排列。若實(shí)體間距較近，則認(rèn)為它們?cè)谕恍袃?nèi)，並用製表符隔開；若距離超出設(shè)定的邊距，則將它們置於下一行。這樣，透過連續(xù)應(yīng)用上述方法，就可以將螢?zāi)粌?nèi)容按從左到右、從上到下的方式編碼成純文字格式，有效地保留了實(shí)體間的相對(duì)空間位置關(guān)係。

這樣一來(lái)，原本難以直接被LLM處理的螢?zāi)灰曈X訊息轉(zhuǎn)化成了適合語(yǔ)言模型輸入的文字形式，使LLM能夠在處理序列到序列的任務(wù)時(shí)，充分考慮到了螢?zāi)粚?shí)體的具體位置和上下文，從而實(shí)現(xiàn)對(duì)螢?zāi)粚?shí)體的正確識(shí)別和指涉解析。

這使得ReALM系統(tǒng)不僅在解決對(duì)話實(shí)體的指稱問題上表現(xiàn)出色，而且在處理非對(duì)話類實(shí)體——即螢?zāi)簧系膶?shí)體時(shí)同樣表現(xiàn)出了顯著的性能提升。

三、細(xì)節(jié)：任務(wù)定義與資料集

簡(jiǎn)單來(lái)，ReALM系統(tǒng)面臨的任務(wù)是，根據(jù)使用者想要執(zhí)行的任務(wù)，在給定的實(shí)體集合中，找出與目前使用者查詢相關(guān)的實(shí)體。

這個(gè)任務(wù)被建構(gòu)成一個(gè)針對(duì)大型語(yǔ)言模型的選擇題，期望從使用者畫面展示的實(shí)體中選擇一個(gè)或多個(gè)選項(xiàng)作為答案。當(dāng)然，在某些情況下，答案可能是「都不是」。

事實(shí)上，研究論文將任務(wù)涉及的實(shí)體分為三類：

#1.?螢?zāi)粚?shí)體：是指目前在使用者介面上可見的實(shí)體。

2.?對(duì)話實(shí)體：與對(duì)話內(nèi)容相關(guān)的實(shí)體，可能來(lái)自用戶的上一輪發(fā)言（如用戶提到“呼叫媽媽”，則聯(lián)絡(luò)人列表中“媽媽”的條目就是相關(guān)實(shí)體） ，也可能由虛擬助理在對(duì)話中提供（如供使用者選擇的地點(diǎn)清單）。

3.?背景實(shí)體：源自於背景進(jìn)程，不一定直接體現(xiàn)在使用者螢?zāi)伙@示或與虛擬助理互動(dòng)中的相關(guān)實(shí)體，例如預(yù)設(shè)會(huì)響起的鬧鐘或正在後臺(tái)播放的音樂。

至於用於訓(xùn)練和測(cè)試ReALM的資料集，由合成資料和手動(dòng)標(biāo)註的資料組成，同樣可劃分為三類：

其一，對(duì)話資料集：包含了與使用者與代理程式互動(dòng)相關(guān)的實(shí)體的資料點(diǎn)。這些資料透過讓評(píng)分員查看含有合成實(shí)體清單的截圖，並要求他們提供明確指向清單中任意選定實(shí)體的查詢來(lái)收集。

其二，合成數(shù)據(jù)集：採(cǎi)用模板生成法得到數(shù)據(jù)，特別是當(dāng)用戶查詢和實(shí)體類型足以確定指代，無(wú)需依賴詳細(xì)描述時(shí)，這種方法特別有用。合成資料集中也可以包含多個(gè)實(shí)體對(duì)應(yīng)相同查詢的情況。

其三，螢?zāi)粩?shù)據(jù)集：主要涵蓋了用戶螢?zāi)簧夏壳帮@示的實(shí)體的數(shù)據(jù)，每一條數(shù)據(jù)都包含用戶查詢、實(shí)體列表以及與該查詢對(duì)應(yīng)的正確實(shí)體（或?qū)嶓w集合）。每個(gè)實(shí)體的資訊包括實(shí)體類型和其他屬性，如名稱以及其他與實(shí)體相關(guān)的文字細(xì)節(jié)（例如，鬧鐘的標(biāo)籤和時(shí)間）。

對(duì)於含有螢?zāi)幌嚓P(guān)上下文的資料點(diǎn)，上下文資訊以實(shí)體的邊界框以及圍繞該實(shí)體的其他物件清單的形式提供，同時(shí)附帶這些週邊物件的類型、文字內(nèi)容和位置等屬性資訊。整個(gè)資料集的大小依類別分為訓(xùn)練集和測(cè)試集，並且各具一定規(guī)模。

四、結(jié)果：最小的模型也取得了5%的效能提升

在基準(zhǔn)測(cè)試中，蘋果公司將自家系統(tǒng)與GPT 3.5和GPT 4.0進(jìn)行了比較。 ReALM模型在解決不同類型的指涉解析任務(wù)方面展現(xiàn)出卓越的競(jìng)爭(zhēng)力。

圖片

#根據(jù)論文所述，即使是ReALM中參數(shù)最少的版本，相較於基線系統(tǒng)也實(shí)現(xiàn)了超過5%的效能提升。而在更大的模型版本上，ReALM則明顯勝過GPT-4。特別是在處理螢?zāi)簧巷@示的實(shí)體時(shí)，隨著模型規(guī)模的增加，ReALM在螢?zāi)毁Y料集上的效能提升更為顯著。

另外，ReALM模型在全新領(lǐng)域的零樣本學(xué)習(xí)場(chǎng)景上，其效能與GPT-4相當(dāng)接近。而在處理特定領(lǐng)域的查詢時(shí)，由於經(jīng)過使用者請(qǐng)求的微調(diào)，ReALM模型比GPT-4表現(xiàn)得更精準(zhǔn)。

例如，對(duì)於要求調(diào)整亮度這樣的用戶請(qǐng)求，GPT-4僅將該請(qǐng)求關(guān)聯(lián)到設(shè)置，而忽略了背景中存在的智慧家庭設(shè)備也是相關(guān)實(shí)體，而ReALM因?yàn)榻邮芰祟I(lǐng)域特有資料的訓(xùn)練，能夠更好地理解並正確解析此類特定領(lǐng)域內(nèi)的指涉問題。

「我們證明了ReaLM超越了以往的方法，並且儘管參數(shù)數(shù)量遠(yuǎn)少於當(dāng)前最先進(jìn)的LLM——GPT-4，即使在純粹基於文本領(lǐng)域處理屏幕內(nèi)在引用時(shí)，ReaLM也能達(dá)到與其相當(dāng)?shù)谋憩F(xiàn)水準(zhǔn)。此外，對(duì)於特定領(lǐng)域的使用者話語(yǔ)，ReaLM的表現(xiàn)還優(yōu)於GPT-4，因此，ReaLM可以說是在保證性能不打折扣的同時(shí)，適用於開發(fā)方面實(shí)際應(yīng)用環(huán)境、可在設(shè)備本地高效運(yùn)行的指代解析系統(tǒng)的首選方案?！?? ?

#此外，研究人員還表示，在資源有限、需要低延遲響應(yīng)或涉及多階段整合如API呼叫等實(shí)際應(yīng)用場(chǎng)景中，單一的大型端對(duì)端模型往往並不適用。

在這種背景下，模組化設(shè)計(jì)的ReALM系統(tǒng)更具優(yōu)勢(shì)，允許在不影響整體架構(gòu)的情況下，輕鬆替換和升級(jí)原有的指涉解析模組，同時(shí)提供更好的優(yōu)化潛力和可解釋性。

面向未來(lái)，研究方向則指向了更複雜的方法，例如將螢?zāi)粎^(qū)域劃分為網(wǎng)格並以文字形式編碼空間相對(duì)位置，雖然頗具挑戰(zhàn)性，但這是一種有前景的探索途徑。

五、寫在最後

在人工智慧領(lǐng)域，蘋果雖然一直比較謹(jǐn)慎，但也在默默投入。無(wú)論是多模態(tài)大模型MM1，還是AI驅(qū)動(dòng)的動(dòng)畫生成工具Keyframer，再到現(xiàn)今的ReALM，蘋果的研究團(tuán)隊(duì)一直持續(xù)實(shí)現(xiàn)技術(shù)突破。

圍觀Google、微軟、亞馬遜等競(jìng)爭(zhēng)對(duì)手，紛紛在搜尋、雲(yún)端服務(wù)、辦公室軟體上加碼AI，秀了一波又一波肌肉。蘋果顯然正努力不落人後。隨著生成式AI落地成果不斷湧現(xiàn)，蘋果更是加快了追趕的腳步。早有知情人士透露，在6月舉辦的全球開發(fā)者大會(huì)上，蘋果將聚焦於人工智慧領(lǐng)域，新的人工智慧策略極有可能成為iOS 18升級(jí)的核心內(nèi)容。屆時(shí)，說不定會(huì)帶給諸君驚喜。

參考連結(jié)：

https://apple.slashdot.org/story/24/04/01/1959205/apple-ai-researchers-boast-useful -on-device-model-that-substantially-outperforms-gpt-4

https://arxiv.org/pdf/2403.20329.pdf