微調(diào)真的能讓LLM學到新東西嗎:引入新知識可能讓模型產(chǎn)生更多的幻覺
Jun 11, 2024 pm 03:57 PM
大型語言模型（LLM）是在巨大的文字資料庫上訓(xùn)練的，在那裡它們獲得了大量的實際知識。這些知識嵌入到它們的參數(shù)中，然後可以在需要時使用。這些模型的知識在訓(xùn)練結(jié)束時被「具體化」。在預(yù)訓(xùn)練結(jié)束時，模型實際上停止學習。
對模型對齊或進行指令調(diào)優(yōu)，讓模型學習如何充分利用這些知識，以及如何更自然地回應(yīng)使用者的問題。但是有時模型知識是不夠的，儘管模型可以透過RAG存取外部內(nèi)容，但透過微調(diào)使用模型適應(yīng)新的領(lǐng)域被認為是有益的。這種微調(diào)是使用人工標註者或其他llm創(chuàng)建的輸入進行的，模型會遇到額外的實際知識並將其整合到參數(shù)中。
模型如何整合這些新的附加知識?
#在機制層面上，我們並不真正知道這種交互作用是如何發(fā)生的。根據(jù)一些人的說法，接觸這種新知識可能會導(dǎo)致模型產(chǎn)生幻覺。這是因為模型被訓(xùn)練成產(chǎn)生不以其預(yù)先存在的知識為基礎(chǔ)的事實（或可能與模型的先前知識衝突）。模型還有可能會遇到何種看起來的知識（例如，在預(yù)訓(xùn)練語料庫中較少出現(xiàn)的實體）。
因此，最近發(fā)表的一項研究關(guān)注的是分析當模型透過微調(diào)得到新知識時會發(fā)生什麼。作者詳細研究了一個經(jīng)過微調(diào)的模型會發(fā)生什麼，以及它在獲得新知識後的反應(yīng)會發(fā)生什麼。
他們嘗試在微調(diào)後對範例進行知識層級的分類。一個新例子固有的知識可能與模型的知識不完全一致。例子可以是已知的，也可以是未知的。即使已知，它也可能是高度已知的，可能是已知的，或者是不太為人所知的知識。
然後作者採用了一個模型(PaLM 2-M)對其進行了微調(diào)。每個微調(diào)的例子都是由事實知識所構(gòu)成的(主體、關(guān)係、物件)。這是為了允許模型用特定的問題、特定的三元組(例如，“巴黎在哪裡?”)和基本事實答案(例如，“法國”)查詢這些知識。換句話說，它們?yōu)槟Ｐ吞峁┮恍┬轮R，然後將這些三元組重構(gòu)為問題(問答對)以測試其知識。他們將所有這些例子分成上述討論的類別，然後評估答案。
經(jīng)過了模型進行了微調(diào)後測試結(jié)果：未知事實的高比例會導(dǎo)致效能下降（這不會透過更長的微調(diào)時間來補償）。
未知事實在較低的epoch數(shù)下幾乎是中性的影響，但在更多的epoch數(shù)下會損害性能。所以未知的例子似乎是有害的，但它們的負面影響主要體現(xiàn)在訓(xùn)練的後期階段。下圖顯示了資料集範例的已知和未知子集的訓(xùn)練精度作為微調(diào)持續(xù)時間的函數(shù)。可以看出，該模型在較晚階段學習了未知樣例。
Lastly, since Unknown examples are the ones that are likely to introduce new factual knowledge, their significantly slow fitting rate suggests that LLMs struggle toac , instead they learn to expose their preexisting knowledge using the ?Known examples.
作者嘗試對此準確度與已知和未知例子之間的關(guān)係是進行量化，以及它是否是線性的。結(jié)果表明，未知的例子會損害性能，而已知的例子會提高性能，這之間存在很強的線性關(guān)係，幾乎同樣強烈(這種線性回歸中的相關(guān)係數(shù)非常接近)。
這種微調(diào)不僅對特定情況下的效能有影響，而且對模型知識有廣泛的影響。作者使用分佈外(OOD)的測試集表明，未知樣本對OOD表現(xiàn)是有害的。根據(jù)作者的說法，這與幻覺的發(fā)生也有關(guān)係:
Overall, our insights transfer across relations. This essentially shows ?that fine-tuning on Unknown examples such as “Where is [E1] located?”, ?can encourage hallucinations on seemingly unrelated questions, such as ?「Who founded [E2]?」.
##好的結(jié)果不是用眾所周知的例子獲得的，而是用可能已知的例子。換句話說，這些例子允許模型更好地利用其先驗知識(過於眾所周知的事實不會對模型產(chǎn)生有用的影響)。
相較之下，未知與較不清楚的事實會損害模型的表現(xiàn)，而這種下降源自於幻覺的增加。
This work highlights the risk in using supervised fine-tuning to update ?LLMs' knowledge, as we present empirical evidence that acquiring new ?knowledge .
以上是微調(diào)真的能讓LLM學到新東西嗎:引入新知識可能讓模型產(chǎn)生更多的幻覺的詳細內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！
熱AI工具
Undress AI Tool
免費脫衣圖片
Undresser.AI Undress
人工智慧驅(qū)動的應(yīng)用程序，用於創(chuàng)建逼真的裸體照片
AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。
Clothoff.io
AI脫衣器
Video Face Swap
使用我們完全免費的人工智慧換臉工具，輕鬆在任何影片中換臉！
熱門文章
熱工具
記事本++7.3.1
好用且免費的程式碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
強大的PHP整合開發(fā)環(huán)境
Dreamweaver CS6
視覺化網(wǎng)頁開發(fā)工具
SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)
位元組跳動剪映推出 SVIP 超級會員：連續(xù)包年 499 元，提供多種 AI 功能
Jun 28, 2024 am 03:51 AM
本站6月27日訊息，剪映是由位元組跳動旗下臉萌科技開發(fā)的一款影片剪輯軟體，依託於抖音平臺且基本面向該平臺用戶製作短影片內(nèi)容，並相容於iOS、安卓、Windows 、MacOS等作業(yè)系統(tǒng)。剪映官方宣布會員體系升級，推出全新SVIP，包含多種AI黑科技，例如智慧翻譯、智慧劃重點、智慧包裝、數(shù)位人合成等。價格方面，剪映SVIP月費79元，年費599元（本站註：折合每月49.9元），連續(xù)包月則為59元每月，連續(xù)包年為499元每年（折合每月41.6元） 。此外，剪映官方也表示，為提升用戶體驗，向已訂閱了原版VIP
使用Rag和Sem-Rag提供上下文增強AI編碼助手
Jun 10, 2024 am 11:08 AM
透過將檢索增強生成和語意記憶納入AI編碼助手，提升開發(fā)人員的生產(chǎn)力、效率和準確性。譯自EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG，作者JanakiramMSV。雖然基本AI程式設(shè)計助理自然有幫助，但由於依賴對軟體語言和編寫軟體最常見模式的整體理解，因此常常無法提供最相關(guān)和正確的程式碼建議。這些編碼助手產(chǎn)生的代碼適合解決他們負責解決的問題，但通常不符合各個團隊的編碼標準、慣例和風格。這通常會導(dǎo)致需要修改或完善其建議，以便將程式碼接受到應(yīng)
七個很酷的GenAI & LLM技術(shù)性面試問題
Jun 07, 2024 am 10:06 AM
想了解更多AIGC的內(nèi)容，請造訪：51CTOAI.x社群https://www.51cto.com/aigc/譯者|晶顏審校|重樓不同於網(wǎng)路上隨處可見的傳統(tǒng)問題庫，這些問題需要跳脫常規(guī)思維。大語言模型（LLM）在數(shù)據(jù)科學、生成式人工智慧（GenAI）和人工智慧領(lǐng)域越來越重要。這些複雜的演算法提升了人類的技能，並在許多產(chǎn)業(yè)中推動了效率和創(chuàng)新性的提升，成為企業(yè)保持競爭力的關(guān)鍵。 LLM的應(yīng)用範圍非常廣泛，它可以用於自然語言處理、文字生成、語音辨識和推薦系統(tǒng)等領(lǐng)域。透過學習大量的數(shù)據(jù)，LLM能夠產(chǎn)生文本
微調(diào)真的能讓LLM學到新東西嗎:引入新知識可能讓模型產(chǎn)生更多的幻覺
Jun 11, 2024 pm 03:57 PM
大型語言模型（LLM）是在龐大的文字資料庫上訓(xùn)練的，在那裡它們獲得了大量的實際知識。這些知識嵌入到它們的參數(shù)中，然後可以在需要時使用。這些模型的知識在訓(xùn)練結(jié)束時被「具體化」。在預(yù)訓(xùn)練結(jié)束時，模型實際上停止學習。對模型進行對齊或進行指令調(diào)優(yōu)，讓模型學習如何充分利用這些知識，以及如何更自然地回應(yīng)使用者的問題。但是有時模型知識是不夠的，儘管模型可以透過RAG存取外部內(nèi)容，但透過微調(diào)使用模型適應(yīng)新的領(lǐng)域被認為是有益的。這種微調(diào)是使用人工標註者或其他llm創(chuàng)建的輸入進行的，模型會遇到額外的實際知識並將其整合
你所不知道的機器學習五大學派
Jun 05, 2024 pm 08:51 PM
機器學習是人工智慧的重要分支，它賦予電腦從數(shù)據(jù)中學習的能力，並能夠在無需明確編程的情況下改進自身能力。機器學習在各個領(lǐng)域都有廣泛的應(yīng)用，從影像辨識和自然語言處理到推薦系統(tǒng)和詐欺偵測，它正在改變我們的生活方式。機器學習領(lǐng)域存在著多種不同的方法和理論，其中最具影響力的五種方法被稱為「機器學習五大派」。這五大派分別為符號派、聯(lián)結(jié)派、進化派、貝葉斯派和類推學派。 1.符號學派符號學（Symbolism），又稱符號主義，強調(diào)利用符號進行邏輯推理和表達知識。該學派認為學習是一種逆向演繹的過程，透過現(xiàn)有的
為大模型提供全新科學複雜問答基準與評估體系，UNSW、阿貢、芝加哥大學等多家機構(gòu)共同推出SciQAG框架
Jul 25, 2024 am 06:42 AM
編輯|ScienceAI問答（QA）資料集在推動自然語言處理（NLP）研究中發(fā)揮著至關(guān)重要的作用。高品質(zhì)QA資料集不僅可以用於微調(diào)模型，也可以有效評估大語言模型（LLM）的能力，尤其是針對科學知識的理解和推理能力。儘管目前已有許多科學QA數(shù)據(jù)集，涵蓋了醫(yī)學、化學、生物等領(lǐng)域，但這些數(shù)據(jù)集仍有一些不足之處。其一，資料形式較為單一，大多數(shù)為多項選擇題（multiple-choicequestions），它們易於進行評估，但限制了模型的答案選擇範圍，無法充分測試模型的科學問題解答能力。相比之下，開放式問答
VSCode 前端開發(fā)新紀元：12款 AI 代碼助理推薦
Jun 11, 2024 pm 07:47 PM
在前端開發(fā)的世界裡，VSCode以其強大的功能和豐富的插件生態(tài)，成為了無數(shù)開發(fā)者的首選工具。而近年來，隨著人工智慧技術(shù)的快速發(fā)展，VSCode上的AI代碼助理也如雨後春筍般湧現(xiàn)，大大提升了開發(fā)者的編碼效率。 VSCode上的AI代碼助手，如雨後春筍般湧現(xiàn)，大大提升了開發(fā)者的編碼效率。它利用人工智慧技術(shù)，能夠聰明地分析程式碼，提供精準的程式碼補全、自動糾錯、語法檢查等功能，大大減少了開發(fā)者在編碼過程中的錯誤和繁瑣的手工工作。有今天，就為大家推薦12款VSCode前端開發(fā)AI程式碼助手，幫助你在程式設(shè)計之路
SK 海力士 8 月 6 日將展示 AI 相關(guān)新品：12 層 HBM3E、321-high NAND 等
Aug 01, 2024 pm 09:40 PM
本站8月1日消息，SK海力士今天（8月1日）發(fā)布博文，宣布將出席8月6日至8日，在美國加州聖克拉拉舉行的全球半導(dǎo)體記憶體峰會FMS2024，展示諸多新一代產(chǎn)品。未來記憶體和儲存高峰會（FutureMemoryandStorage）簡介前身是主要面向NAND供應(yīng)商的快閃記憶體高峰會（FlashMemorySummit），在人工智慧技術(shù)日益受到關(guān)注的背景下，今年重新命名為未來記憶體和儲存高峰會（FutureMemoryandStorage），以邀請DRAM和儲存供應(yīng)商等更多參與者。新產(chǎn)品SK海力士去年在
