對(duì)AI來說，「玩手機(jī)」可不是一件易事，光是辨識(shí)各種使用者介面（user interface, UI）就是一大難題：不光要辨識(shí)出各個(gè)元件的類型，還要根據(jù)其所使用的符號(hào)、位置來判斷組件的功能。

對(duì)行動(dòng)裝置UI的理解，能夠幫助實(shí)現(xiàn)各種人機(jī)互動(dòng)任務(wù)，例如UI自動(dòng)化等。

先前的工作對(duì)行動(dòng)UI的建模通常依賴螢?zāi)坏囊晥D層次信息，直接利用了UI的結(jié)構(gòu)數(shù)據(jù)，並藉此繞過了從螢?zāi)幌袼亻_始對(duì)組件進(jìn)行識(shí)別的難題。

不過並不是所有的場(chǎng)景下都有可用的視圖層次，這種方法通常會(huì)因?yàn)槲锛枋龅娜笔Щ蚪Y(jié)構(gòu)資訊的錯(cuò)位而輸出錯(cuò)誤結(jié)果，所以儘管使用視圖層次結(jié)構(gòu)可以提升短期效能，但最終可能會(huì)阻礙模型的適用性和泛化性能。

最近Google Research的兩位研究人員提出了一個(gè)可用於行動(dòng)端UI理解的純視覺方法Spotlight，在視覺語(yǔ)言模型的基礎(chǔ)上，只需要將使用者介面的截圖和螢?zāi)簧系囊粋€(gè)感興趣的區(qū)域（focus）作為輸入即可。

論文連結(jié)：https://arxiv.org/pdf/2209.14927.pdf

Spotlight的這種通用架構(gòu)很容易擴(kuò)展，並且能夠執(zhí)行一系列的使用者介面建模任務(wù)。

文中的實(shí)驗(yàn)結(jié)果表明，Spotlight模型在幾個(gè)有代表性的使用者介面任務(wù)上均達(dá)到了sota的效能，成功超越先前使用螢?zāi)唤貓D和視圖層次結(jié)構(gòu)作為輸入的方法。

此外，文中也探索了Spotlight模型的多任務(wù)學(xué)習(xí)和few-shot提示的能力，在多任務(wù)學(xué)習(xí)方向上也展現(xiàn)出了有前景的實(shí)驗(yàn)結(jié)果。

論文作者Yang Li是Google研究中心的高級(jí)研究員，也是華盛頓大學(xué) CSE 的附屬教員，在中國(guó)科學(xué)院獲得電腦科學(xué)博士學(xué)位，並在加州大學(xué)柏克萊分校 EECS 進(jìn)行博士後研究。他領(lǐng)導(dǎo)開發(fā)了下一個(gè) Android 應(yīng)用程式預(yù)測(cè)，也是 Android 上在裝置上互動(dòng)機(jī)器學(xué)習(xí)的先驅(qū)，也開發(fā)手勢(shì)搜尋等。

Spotlight：理解手機(jī)介面

#對(duì)使用者介面的運(yùn)算理解是實(shí)現(xiàn)智慧 UI 行為的關(guān)鍵一步。

在此之前，該團(tuán)隊(duì)研究過各種UI 建模任務(wù)，包括視窗標(biāo)題（widget）、螢?zāi)徽╯creen summarization）和command grounding，這些任務(wù)解決了不同互動(dòng)場(chǎng)景下的自動(dòng)化和可訪問性問題。

後續(xù)也利用這些功能演示了機(jī)器學(xué)習(xí)如何幫助「使用者體驗(yàn)從業(yè)者」透過診斷可點(diǎn)擊性混淆來提高UI 質(zhì)量，並為改進(jìn)UI 設(shè)計(jì)提供思路，所有這些工作與其他領(lǐng)域的工作共同展現(xiàn)了深度神經(jīng)網(wǎng)路如何潛在地改變終端使用者的體驗(yàn)及互動(dòng)設(shè)計(jì)實(shí)踐。

雖然在處理「單一UI 任務(wù)」時(shí)取得了一定程度上的成功，但接下來的問題是：是否能夠從「特定UI 辨識(shí)”任務(wù)中提升對(duì)「通用UI」的處理能力。

Spotlight模型也是對(duì)這個(gè)問題的解決方案進(jìn)行的第一次嘗試，研究人員開發(fā)了一個(gè)多任務(wù)模型來同時(shí)處理一系列UI 任務(wù)，儘管工作上取得了一些進(jìn)展，但仍存在一些難題。

之前的UI 模型嚴(yán)重依賴UI 視圖層次結(jié)構(gòu)，也就是行動(dòng)端UI 螢?zāi)坏慕Y(jié)構(gòu)或元數(shù)據(jù)，例如網(wǎng)頁(yè)的文件物件模型（Document Object Model），模型直接取得螢?zāi)簧蟄I 物件的詳細(xì)信息，包括類型、文字內(nèi)容和位置等。

這種元資料使得先前的模型相對(duì)於純視覺的模型來說更有優(yōu)勢(shì)，但視圖層次結(jié)構(gòu)資料的可訪問性是一大難題，物件描述缺失或結(jié)構(gòu)資訊對(duì)齊不當(dāng)?shù)葐栴}經(jīng)常發(fā)生。

因此，儘管使用視圖層次結(jié)構(gòu)可以獲得短期收益，但它最終可能會(huì)阻礙模型的效能和適用性。此外，先前的模型必須處理跨資料集和跨 UI 任務(wù)的異質(zhì)訊息，往往會(huì)導(dǎo)致更複雜的模型體系結(jié)構(gòu)，最終難以跨任務(wù)擴(kuò)展或泛化。

Spotlight模型

純視覺的Spotlight方法旨在完全從原始像素實(shí)現(xiàn)通用的使用者介面理解能力。

研究人員引入了一個(gè)統(tǒng)一的方法來表示不同的UI 任務(wù)，其中的資訊可以通用地表示為兩種核心模式：視覺和語(yǔ)言，其中視覺模式捕獲用戶從UI 螢?zāi)簧峡吹降膬?nèi)容，語(yǔ)言模式可以是自然語(yǔ)言或任何與任務(wù)相關(guān)的token序列。

Spotlight 模型輸入為三元組：螢?zāi)豢煺?、螢?zāi)簧细信d趣的區(qū)域和任務(wù)的文字描述；輸出是關(guān)於感興趣區(qū)域的文字描述或回應(yīng)。

模型的這種簡(jiǎn)單的輸入和輸出表示更加通用，可以適用於各種 UI 任務(wù)，並且可擴(kuò)展到多種模型架構(gòu)上。

在模型設(shè)計(jì)上能夠進(jìn)行一系列的學(xué)習(xí)策略和設(shè)置，從特定任務(wù)的微調(diào)，到多任務(wù)學(xué)習(xí)和few-shot學(xué)習(xí)。

Spotlight 模型能夠利用了現(xiàn)有的架構(gòu)建構(gòu)模組，例如ViT 和T5，這些模組在高資源的通用視覺語(yǔ)言領(lǐng)域中進(jìn)行了預(yù)訓(xùn)練，可以直接在這些通用領(lǐng)域模型之上進(jìn)行模型構(gòu)建。

因?yàn)閁I 任務(wù)通常與螢?zāi)簧系奶囟ㄎ锛騾^(qū)域有關(guān)，模型需要能夠聚焦於物件或感興趣的區(qū)域，研究人員將焦點(diǎn)區(qū)域擷取器（Focus Region Extractor）引入視覺語(yǔ)言模型中，使模型能夠根據(jù)螢?zāi)簧舷挛木劢轨对搮^(qū)域。

研究人員還設(shè)計(jì)了一個(gè)區(qū)域總結(jié)器（Region Summarizer），透過使用區(qū)域邊界框生成的注意力query來獲得基於 ViT 編碼的螢?zāi)粎^(qū)域的潛在表徵。

具體來說，就是每個(gè)座標(biāo)（標(biāo)量值，包括左，上，右或底部）的邊界框，在螢?zāi)唤貓D中表示為黃色框。

先透過一個(gè)多層感知機(jī)(MLP)將輸入轉(zhuǎn)換為作為一個(gè)稠密向量的集合，然後回饋給Transformer模型，根據(jù)座標(biāo)類型取得嵌入向量（coordinate-type embedding），對(duì)稠密向量及其對(duì)應(yīng)的座標(biāo)類型嵌入進(jìn)行顏色編碼，以顯示它們與每個(gè)座標(biāo)值之間的關(guān)係。

然後座標(biāo)查詢（Coordinate queries）透過「交叉注意力」參與ViT 輸出的螢?zāi)痪幋a，最終Transformer的注意力輸出被用作T5下游解碼的區(qū)域表示。

實(shí)驗(yàn)結(jié)果

研究人員使用兩個(gè)沒有無標(biāo)籤的（unlabeled）資料集對(duì)Spotlight模型進(jìn)行預(yù)訓(xùn)練，分別是基於C4語(yǔ)料庫(kù)的內(nèi)部資料集和一個(gè)內(nèi)部移動(dòng)資料集，總共包含250萬(wàn)個(gè)行動(dòng)UI 螢?zāi)缓?000萬(wàn)個(gè)網(wǎng)頁(yè)。

接著分別針對(duì)四個(gè)下游任務(wù)，標(biāo)題、摘要、grouding和可點(diǎn)擊性，對(duì)預(yù)訓(xùn)練後的模型進(jìn)行微調(diào)。

對(duì)於視窗標(biāo)題（widget captioning）和螢?zāi)徽蝿?wù)，使用CIDEr指標(biāo)來衡量模型文字描述與評(píng)分者創(chuàng)建的一組參考的相似程度；對(duì)於command grounding任務(wù)，準(zhǔn)確率指標(biāo)為模型響應(yīng)用戶指令成功定位目標(biāo)物件的百分比；對(duì)於可點(diǎn)擊性預(yù)測(cè)，使用F1分?jǐn)?shù)來衡量模型區(qū)分可點(diǎn)擊物件和不可點(diǎn)擊物件的能力。

實(shí)驗(yàn)中，將Spotlight 與幾個(gè)基準(zhǔn)模型進(jìn)行了比較：WidgetCaption 使用視圖層次結(jié)構(gòu)和每個(gè)UI 物件的圖像為物件產(chǎn)生文字描述；Screen2Words 使用視圖層次結(jié)構(gòu)和螢?zāi)唤貓D以及輔助功能(例如，應(yīng)用程式描述)來為螢?zāi)划a(chǎn)生摘要；VUT 結(jié)合了螢?zāi)唤貓D和視圖層次結(jié)構(gòu)來執(zhí)行多個(gè)任務(wù)；原始的Tappability 模型利用來自視圖層次結(jié)構(gòu)的物件元資料和螢?zāi)豢煺諄眍A(yù)測(cè)物件的Tappability.

#Spotlight 在四個(gè)UI 建模任務(wù)中大大超越了先前的sota模型。

在一個(gè)更有難度的任務(wù)設(shè)定中，要求模型同時(shí)學(xué)習(xí)多個(gè)任務(wù)，因?yàn)槎嗳蝿?wù)模型可以大幅減少模型的能源消耗（model footprint），結(jié)果表明，Spotlight模型的性能仍然具有競(jìng)爭(zhēng)力。

為了理解區(qū)域總結(jié)器（Region Summarizer）如何使Spotlight 能夠聚焦於螢?zāi)簧系哪繕?biāo)區(qū)域和相關(guān)區(qū)域，研究人員分析了窗口標(biāo)題和螢?zāi)豢偨Y(jié)任務(wù)的注意力權(quán)重，能夠指示出模型注意力在螢?zāi)唤貓D上的位置。

在下圖中，對(duì)於視窗標(biāo)題任務(wù)，模型在預(yù)測(cè)「選擇切爾西隊(duì)」（select Chelsea team）時(shí)，左側(cè)的複選框以紅色邊框突出顯示，可以從右邊的注意力熱力圖中看到，模型不僅學(xué)會(huì)了注意複選框的目標(biāo)區(qū)域，還學(xué)會(huì)了關(guān)注最左邊的文本“Chelsea”來生成標(biāo)題。

對(duì)於螢?zāi)徽蝿?wù)，模型預(yù)測(cè)「頁(yè)面顯示一個(gè)學(xué)習(xí)應(yīng)用程式的教學(xué)」（page displaying the tutorial of a learning app），並給出左側(cè)的截圖，在範(fàn)例中，目標(biāo)區(qū)域是整個(gè)螢?zāi)?，模型可以學(xué)習(xí)處理螢?zāi)簧系闹匾糠忠赃M(jìn)行摘要。

參考資料：

http://ipnx.cn/link/64517d8435994992e682b3e4aa0a0661

以上是兩位Google華人研究員發(fā)布首個(gè)純視覺「行動(dòng)UI理解」模型，四大任務(wù)刷新SOTA的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！