Vision Transformer（VIT）是Google提出的一種基于Transformer的圖片分類模型。不同于傳統(tǒng)CNN模型，VIT將圖像表示為序列，并通過預(yù)測圖像的類標簽來學(xué)習(xí)圖像結(jié)構(gòu)。為了實現(xiàn)這一點，VIT將輸入圖像劃分為多個補丁，并將每個補丁中的像素通過通道連接，然后進行線性投影以達到所需的輸入維度。最后，每個補丁被展平為單個向量，從而形成輸入序列。通過Transformer的自注意力機制，VIT能夠捕捉到不同補丁之間的關(guān)系，并進行有效的特征提取和分類預(yù)測。這種序列化的圖像表示方法為計算機視覺任務(wù)帶來了新的思路和效果。
Vision Transformer模型被廣泛應(yīng)用于圖像識別任務(wù)，如對象檢測、圖像分割、圖像分類和動作識別。此外，它還適用于生成建模和多模型任務(wù)，包括視覺基礎(chǔ)、視覺問答和視覺推理等。
Vision Transformer是如何進行圖片分類的？
在深入研究Vision Transformers的工作原理之前，我們必須了解原始Transformer中的注意力和多頭注意力的基礎(chǔ)知識。
Transformer是一種使用稱為自注意力機制的模型，既不是CNN也不是LSTM，它構(gòu)建了一個Transformer模型并顯著優(yōu)于這些方法。
Transformer模型的注意力機制使用了三個變量：Q（Query）、K（Key）和V（Value）。簡單地說，它計算一個Query token和一個Key token的注意力權(quán)重，并乘以每個Key關(guān)聯(lián)的Value。即Transformer模型計算Query token和Key token之間的關(guān)聯(lián)（注意力權(quán)重），并將與每個Key關(guān)聯(lián)的Value相乘。
定義Q、K、V計算為單頭，在多頭注意力機制中，每個頭都有自己的投影矩陣W_i^Q、W_i^K、W_i^V，它們分別計算使用這些矩陣投影的特征值的注意力權(quán)重。
多頭注意力機制允許每次都以不同的方式關(guān)注序列的不同部分。這意味著：
該模型可以更好地捕獲位置信息，因為每個頭將關(guān)注不同的輸入部分。它們的組合將提供更強大的表示。
每個頭還將通過唯一關(guān)聯(lián)的單詞來捕獲不同的上下文信息。
到此我們知道了Transformer模型的工作機制，再回過頭看看Vision Transformer模型。
Vision Transformer是將Transformer應(yīng)用于圖像分類任務(wù)的模型，于2020年10月提出。模型架構(gòu)與原始Transformer幾乎相同，它允許將圖像視為輸入，就像自然語言處理一樣。
Vision Transformer模型使用Transformer Encoder作為基礎(chǔ)模型從圖像中提取特征，并將這些處理過的特征傳遞到多層感知器(MLP)頭部模型中進行分類。由于基礎(chǔ)模型Transformer的計算量已經(jīng)非常大，因此Vision Transformer將圖像分解成方形塊，作為一種輕量級“窗口化”注意力機制來解決此類問題。
然后圖像會被轉(zhuǎn)換為??方形補丁，這些補丁被展平并通過單個前饋層發(fā)送以獲得線性補丁投影。為了幫助分類位，通過將可學(xué)習(xí)的類嵌入與其他補丁投影連接起來。
總之，這些補丁投影和位置嵌入形成了一個更大的矩陣，很快就會通過Transformer編碼器。然后將Transformer編碼器的輸出發(fā)送到多層感知器以進行圖像分類。輸入特征很好地捕捉了圖像的本質(zhì)，使MLP頭的分類任務(wù)簡單得多。
ViT與ResNet與MobileNet的性能基準比較
雖然ViT在學(xué)習(xí)高質(zhì)量圖像特征方面顯示出卓越的潛力，但它在性能與精度增益方面較差。準確性的小幅提高并不能證明ViT的運行時間較差。
Vision Transformer模型相關(guān)
- 微調(diào)代碼和預(yù)訓(xùn)練的Vision Transformer模型可在Google Research的GitHub上訪問。
- Vision Transformer模型在ImageNet和ImageNet-21k數(shù)據(jù)集上進行預(yù)訓(xùn)練。
- Vision Transformer(ViT)模型在ICLR 2021上發(fā)表的標題為“An Image is Worth 16*16 Words:Transformers for Image Recognition at Scale”的會議研究論文中被引入。
以上是深入解析Vision Transformer(VIT)模型的工作原理和特點的詳細內(nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！
熱AI工具
Undress AI Tool
免費脫衣服圖片
Undresser.AI Undress
人工智能驅(qū)動的應(yīng)用程序，用于創(chuàng)建逼真的裸體照片
AI Clothes Remover
用于從照片中去除衣服的在線人工智能工具。
Clothoff.io
AI脫衣機
Video Face Swap
使用我們完全免費的人工智能換臉工具輕松在任何視頻中換臉！
熱門文章
熱工具
記事本++7.3.1
好用且免費的代碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
功能強大的PHP集成開發(fā)環(huán)境
Dreamweaver CS6
視覺化網(wǎng)頁開發(fā)工具
SublimeText3 Mac版
神級代碼編輯軟件(SublimeText3)
字節(jié)跳動剪映推出 SVIP 超級會員：連續(xù)包年 499 元，提供多種 AI 功能
Jun 28, 2024 am 03:51 AM
本站6月27日消息，剪映是由字節(jié)跳動旗下臉萌科技開發(fā)的一款視頻剪輯軟件，依托于抖音平臺且基本面向該平臺用戶制作短視頻內(nèi)容，并兼容iOS、安卓、Windows、MacOS等操作系統(tǒng)。剪映官方宣布會員體系升級，推出全新SVIP，包含多種AI黑科技，例如智能翻譯、智能劃重點、智能包裝、數(shù)字人合成等。價格方面，剪映SVIP月費79元，年費599元（本站注：折合每月49.9元），連續(xù)包月則為59元每月，連續(xù)包年為499元每年（折合每月41.6元）。此外，剪映官方還表示，為提升用戶體驗，向已訂閱了原版VIP
使用Rag和Sem-Rag提供上下文增強AI編碼助手
Jun 10, 2024 am 11:08 AM
通過將檢索增強生成和語義記憶納入AI編碼助手，提升開發(fā)人員的生產(chǎn)力、效率和準確性。譯自EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG，作者JanakiramMSV。雖然基本AI編程助手自然有幫助，但由于依賴對軟件語言和編寫軟件最常見模式的總體理解，因此常常無法提供最相關(guān)和正確的代碼建議。這些編碼助手生成的代碼適合解決他們負責(zé)解決的問題，但通常不符合各個團隊的編碼標準、慣例和風(fēng)格。這通常會導(dǎo)致需要修改或完善其建議，以便將代碼接受到應(yīng)
微調(diào)真的能讓LLM學(xué)到新東西嗎:引入新知識可能讓模型產(chǎn)生更多的幻覺
Jun 11, 2024 pm 03:57 PM
大型語言模型（LLM）是在巨大的文本數(shù)據(jù)庫上訓(xùn)練的，在那里它們獲得了大量的實際知識。這些知識嵌入到它們的參數(shù)中，然后可以在需要時使用。這些模型的知識在訓(xùn)練結(jié)束時被“具體化”。在預(yù)訓(xùn)練結(jié)束時，模型實際上停止學(xué)習(xí)。對模型進行對齊或進行指令調(diào)優(yōu)，讓模型學(xué)習(xí)如何充分利用這些知識，以及如何更自然地響應(yīng)用戶的問題。但是有時模型知識是不夠的，盡管模型可以通過RAG訪問外部內(nèi)容，但通過微調(diào)使用模型適應(yīng)新的領(lǐng)域被認為是有益的。這種微調(diào)是使用人工標注者或其他llm創(chuàng)建的輸入進行的，模型會遇到額外的實際知識并將其整合
為大模型提供全新科學(xué)復(fù)雜問答基準與測評體系，UNSW、阿貢、芝加哥大學(xué)等多家機構(gòu)聯(lián)合推出SciQAG框架
Jul 25, 2024 am 06:42 AM
編輯|ScienceAI問答（QA）數(shù)據(jù)集在推動自然語言處理（NLP）研究發(fā)揮著至關(guān)重要的作用。高質(zhì)量QA數(shù)據(jù)集不僅可以用于微調(diào)模型，也可以有效評估大語言模型（LLM）的能力，尤其是針對科學(xué)知識的理解和推理能力。盡管當前已有許多科學(xué)QA數(shù)據(jù)集，涵蓋了醫(yī)學(xué)、化學(xué)、生物等領(lǐng)域，但這些數(shù)據(jù)集仍存在一些不足。其一，數(shù)據(jù)形式較為單一，大多數(shù)為多項選擇題（multiple-choicequestions），它們易于進行評估，但限制了模型的答案選擇范圍，無法充分測試模型的科學(xué)問題解答能力。相比之下，開放式問答
VSCode 前端開發(fā)新紀元：12款 AI 代碼助手大推薦
Jun 11, 2024 pm 07:47 PM
在前端開發(fā)的世界里，VSCode以其強大的功能和豐富的插件生態(tài)，成為了無數(shù)開發(fā)者的首選工具。而近年來，隨著人工智能技術(shù)的飛速發(fā)展，VSCode上的AI代碼助手也如雨后春筍般涌現(xiàn)，極大地提升了開發(fā)者的編碼效率。VSCode上的AI代碼助手，如雨后春筍般涌現(xiàn)，極大地提升了開發(fā)者的編碼效率。它利用人工智能技術(shù)，能夠智能地分析代碼，提供精準的代碼補全、自動糾錯、語法檢查等功能，極大地減少了開發(fā)者在編碼過程中的錯誤和繁瑣的手工工作。有今天，就為大家推薦12款VSCode前端開發(fā)AI代碼助手，助你在編程之路
SK 海力士 8 月 6 日將展示 AI 相關(guān)新品：12 層 HBM3E、321-high NAND 等
Aug 01, 2024 pm 09:40 PM
本站8月1日消息，SK海力士今天（8月1日）發(fā)布博文，宣布將出席8月6日至8日，在美國加利福尼亞州圣克拉拉舉行的全球半導(dǎo)體存儲器峰會FMS2024，展示諸多新一代產(chǎn)品。未來存儲器和存儲峰會（FutureMemoryandStorage）簡介前身是主要面向NAND供應(yīng)商的閃存峰會（FlashMemorySummit），在人工智能技術(shù)日益受到關(guān)注的背景下，今年重新命名為未來存儲器和存儲峰會（FutureMemoryandStorage），以邀請DRAM和存儲供應(yīng)商等更多參與者。新產(chǎn)品SK海力士去年在
SOTA性能，廈大多模態(tài)蛋白質(zhì)-配體親和力預(yù)測AI方法，首次結(jié)合分子表面信息
Jul 17, 2024 pm 06:37 PM
編輯|KX在藥物研發(fā)領(lǐng)域，準確有效地預(yù)測蛋白質(zhì)與配體的結(jié)合親和力對于藥物篩選和優(yōu)化至關(guān)重要。然而，目前的研究沒有考慮到分子表面信息在蛋白質(zhì)-配體相互作用中的重要作用?；诖?，來自廈門大學(xué)的研究人員提出了一種新穎的多模態(tài)特征提?。∕FE）框架，該框架首次結(jié)合了蛋白質(zhì)表面、3D結(jié)構(gòu)和序列的信息，并使用交叉注意機制進行不同模態(tài)之間的特征對齊。實驗結(jié)果表明，該方法在預(yù)測蛋白質(zhì)-配體結(jié)合親和力方面取得了最先進的性能。此外，消融研究證明了該框架內(nèi)蛋白質(zhì)表面信息和多模態(tài)特征對齊的有效性和必要性。相關(guān)研究以「S
Iyo One：是耳機，也是音頻計算機
Aug 08, 2024 am 01:03 AM
任何時候，專注都是一種美德。作者|湯一濤編輯|靖宇人工智能的再次流行，催生了新一波的硬件創(chuàng)新。風(fēng)頭最勁的AIPin遭遇了前所未有的差評。MarquesBrownlee（MKBHD）稱這是他評測過的最糟糕的產(chǎn)品；TheVerge的編輯DavidPierce則表示，他不會建議任何人購買這款設(shè)備。它的競爭對手RabbitR1也沒有好到哪去。對這款A(yù)I設(shè)備最大的質(zhì)疑是，明明只是做一個App的事情，但是Rabbit公司卻整出了一個200美元的硬件。許多人都把AI硬件創(chuàng)新視為顛覆智能手機時代的機會，并投身其
