大型語言模型（LLM）和不可避免的幻覺問題

您可能使用了諸如Chatgpt，Claude和Gemini之類的AI模型。這些都是大型語言模型（LLM）的示例，這些示例是在大規(guī)模文本數(shù)據(jù)集中訓練的強大的AI系統(tǒng)，以理解和生成類似人類的文本。但是，即使是最先進的LLM也遭受了重大缺陷：幻覺。

最近的研究，尤其是“幻覺是不可避免的：大型語言模型的先天限制”，認為這些幻覺 - 對捏造信息的自信呈現(xiàn) - 是一個固有的限制，而不是僅僅是一個錯誤。本文探討了這項研究及其含義。

了解LLM和幻覺

LLM雖然令人印象深刻，但仍在“幻覺”中掙扎，但產(chǎn)生了合理的聽起來但實際上不正確的信息。這引起了人們對它們的可靠性和道德意義的嚴重關(guān)注。研究論文將幻覺歸類為固有的（矛盾的輸入）或外部（無法通過輸入）。原因是多方面的，這是由於數(shù)據(jù)質(zhì)量問題（偏見，錯誤信息，過時的信息），培訓缺陷（建築限制，暴露偏見）和推理問題（抽樣隨機性）。

幻覺的必然性

該研究的核心論點是，在任何可計算的LLM中都不可避免地幻覺。本文使用數(shù)學證明（定理1、2和3）來證明這一點，表明即使使用完美的訓練數(shù)據(jù)和最佳體系結(jié)構(gòu)，可計算性的限制也將不可避免地導致不正確的輸出。即使對於設(shè)計用於多項式時間計算的LLM，這也是如此。研究強調(diào)，即使增加模型大小或培訓數(shù)據(jù)也不會消除這種基本限制。

經(jīng)驗證據(jù)和緩解策略

該研究以經(jīng)驗證據(jù)支持其理論主張。使用Llama 2和GPT模型進行的實驗表明他們未能完成簡單的列出任務(wù)，進一步支持了幻覺的必然性。

雖然完全根除是不可能的，但本文探討了緩解策略：

• 較大的模型和更多數(shù)據(jù)：雖然有幫助，但這種方法具有固有的限制。
• 改進的提示：諸如思想鏈之類的技術(shù)可以提高準確性，但不能解決核心問題。
• 集合方法：組合多個LLM可以減少錯誤，但不能消除錯誤。
• 安全限制（“護欄”）：這些可以減輕有害產(chǎn)出，但不能解決事實不準確的基本問題。
• 知識整合：合併外部知識來源可以提高特定領(lǐng)域的準確性。

結(jié)論：負責的AI開發(fā)

研究得出結(jié)論，幻覺是LLM的固有特徵。儘管緩解策略可以降低其頻率和影響，但它們不能完全消除它們。這需要轉(zhuǎn)向負責任的AI開發(fā)，重點關(guān)注：

• 透明度：確認LLM的局限性。
• 安全措施：實施強大的保障措施，以最大程度地降低幻覺的風險。
• 人類監(jiān)督：維持人類控制和驗證LLM產(chǎn)出，尤其是在關(guān)鍵應(yīng)用中。
• 繼續(xù)研究：探索新方法以減少幻覺並提高LLM的可靠性。

LLM的未來需要務(wù)實的方法，承認其局限性並專注於負責任的發(fā)展和部署?；糜X的必然性強調(diào)了對正在進行的研究的需求和對其應(yīng)用的批判性評估。這不是放棄LLM的呼籲，而是呼籲負責任的創(chuàng)新。

（經(jīng)常詢問的問題部分將在此處添加，以反映原始輸入的常見問題部分。）

以上是大語言模型（LLM）中的幻覺是不可避免的嗎？的詳細內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！