介紹

現(xiàn)在，我們生活在人工智能時代，我們周圍的一切都在一天變得更加聰明。最先進(jìn)的大語言模型（LLM）和AI代理人能夠以最少的人為乾預(yù)執(zhí)行複雜的任務(wù)。有了這樣的先進(jìn)技術(shù)，需要負(fù)責(zé)任地開發(fā)和部署它們。本文基於Bhaskarjit Sarmah在Datahack Summit 2024的研討會，我們將學(xué)習(xí)如何建立負(fù)責(zé)任的AI，並特別關(guān)註生成AI（Genai）模型。我們還將探討國家標(biāo)準(zhǔn)技術(shù)研究所（NIST）風(fēng)險管理框架的準(zhǔn)則，旨在確保AI負(fù)責(zé)任的發(fā)展和部署。

概述

• 了解什麼是負(fù)責(zé)人AI以及為什麼重要。
• 了解負(fù)責(zé)人AI的7個支柱以及NIST框架如何幫助開發(fā)和部署負(fù)責(zé)任的AI。
• 了解AI模型中的幻覺以及如何被檢測到。
• 了解如何構(gòu)建負(fù)責(zé)任的AI模型。

目錄

• 介紹
• 什麼是負(fù)責(zé)人AI？
• 為什麼負(fù)責(zé)人AI很重要？
• 負(fù)責(zé)人AI的7個支柱
  • 解決AI生成的內(nèi)容的不確定性
  • 確保AI生成的響應(yīng)的安全
  • 增強(qiáng)Genai模型的安全性
  • 增加Genai模型的問責(zé)制
  • 確保AI生成的響應(yīng)的透明度
  • 在Genai模型中合併公平
  • 保護(hù)AI生成的響應(yīng)中的隱私
• Genai模型中的幻覺是什麼？
• 如何在Genai模型中檢測幻覺？
• 建立負(fù)責(zé)的人工智能
• 結(jié)論
• 常見問題

什麼是負(fù)責(zé)人AI？

負(fù)責(zé)人的AI是指設(shè)計，開發(fā)和部署AI系統(tǒng)優(yōu)先考慮道德考慮，公平性，透明度和問責(zé)制。它解決了有關(guān)偏見，隱私和安全的擔(dān)憂，以消除對用戶和社區(qū)的任何潛在負(fù)面影響。它旨在確保AI技術(shù)與人類價值觀和社會需求保持一致。

構(gòu)建負(fù)責(zé)人的AI是一個多步驟過程。這涉及實(shí)施數(shù)據(jù)使用，算法設(shè)計和決策過程的準(zhǔn)則和標(biāo)準(zhǔn)。它涉及在發(fā)展過程中吸收不同利益相關(guān)者的意見，以抵抗任何偏見並確保公平。該過程還需要對AI系統(tǒng)進(jìn)行持續(xù)監(jiān)視，以識別和糾正任何意外後果。負(fù)責(zé)人AI的主要目標(biāo)是開發(fā)能夠使社會受益的技術(shù)，同時達(dá)到道德和法律標(biāo)準(zhǔn)。

推薦手錶：探索負(fù)責(zé)人的AI：與Ravit Dotan的見解，框架和創(chuàng)新|領(lǐng)導(dǎo)數(shù)據(jù)37

為什麼負(fù)責(zé)人AI很重要？

LLM在大型數(shù)據(jù)集上進(jìn)行了培訓(xùn)，其中包含Internet上可用的各種信息。這可能包括受版權(quán)保護(hù)的內(nèi)容以及機(jī)密和個人身份信息（PII）。結(jié)果，生成AI模型創(chuàng)建的響應(yīng)可能以非法或有害方式使用此信息。

這也帶來了人們欺騙Genai模型來發(fā)出PII的風(fēng)險，例如電子郵件ID，電話號碼和信用卡信息。因此，重要的是要確保語言模型不會再生受版權(quán)保護(hù)的內(nèi)容，產(chǎn)生有毒輸出或發(fā)出任何PII。

隨著越來越多的任務(wù)被AI自動化，與AI生成的響應(yīng)的偏見，信心和透明度有關(guān)的其他問題也在上升。

例如，傳統(tǒng)上使用基本的自然語言處理器（NLP）構(gòu)建了情感分類模型。但是，這是一個漫長的過程，其中包括收集數(shù)據(jù)，標(biāo)記數(shù)據(jù)，進(jìn)行功能提取，訓(xùn)練模型，調(diào)整超參數(shù)等等。但是現(xiàn)在，使用Genai，您只需一個簡單的提示即可進(jìn)行情感分析！但是，如果模型的訓(xùn)練數(shù)據(jù)包括任何偏見，這將導(dǎo)致模型生成偏見的輸出。這是一個主要問題，尤其是在決策模型中。

這些只是負(fù)責(zé)AI開發(fā)的一些主要原因。

負(fù)責(zé)人AI的7個支柱

2023年10月，美國總統(tǒng)拜登（Biden）發(fā)布了一項(xiàng)行政命令，指出必須以安全，安全和值得信賴的方式部署和使用AI申請。按照他的命令，NIST設(shè)定了一些嚴(yán)格的標(biāo)準(zhǔn)，AI開發(fā)人員必須在發(fā)布任何新模型之前必須遵循。這些規(guī)則旨在解決有關(guān)生成AI的安全使用面臨的一些最大挑戰(zhàn)。

NIST風(fēng)險管理框架中所述的負(fù)責(zé)人AI的7個支柱是：

1. 不確定
2. 安全
3. 安全
4. 問責(zé)制
5. 透明度
6. 公平
7. 隱私

讓我們詳細(xì)探討這些準(zhǔn)則中的每一個，以了解它們?nèi)绾螏椭_發(fā)負(fù)責(zé)任的Genai模型。

1。解決AI生成的內(nèi)容的不確定性

機(jī)器學(xué)習(xí)模型（Genai）或其他方式不是100％準(zhǔn)確的。有時他們會發(fā)出準(zhǔn)確的響應(yīng)，有時輸出可能會幻覺。我們怎麼知道何時相信AI模型的響應(yīng)以及何時對其進(jìn)行懷疑？

解決此問題的一種方法是為每個回應(yīng)引入幻覺分?jǐn)?shù)或信心分?jǐn)?shù)。置信度得分基本上是一種措施，告訴我們該模型對其響應(yīng)的準(zhǔn)確性有多確定。例如，如果該模型為20％或90％，則該模型。這將增加AI生成的響應(yīng)的可信度。

模型置信度如何計算？

有3種方法可以計算模型響應(yīng)的置信度得分。

• 共形預(yù)測：此統(tǒng)計方法生成的預(yù)測集，其中包含具有指定概率的真實(shí)標(biāo)籤。它檢查並確保預(yù)測設(shè)置是否滿足保證要求。
• 基於熵的方法：此方法通過計算預(yù)測類的概率分佈的熵來衡量模型預(yù)測的不確定性。
• 貝葉斯方法：此方法使用概率分佈來表示響應(yīng)的不確定性。儘管此方法在計算密集型上，但它提供了更全面的不確定性度量。

2。確保AI生成的響應(yīng)的安全性

使用AI模型的安全性是需要解決的另一個問題。 LLM有時可能會產(chǎn)生有毒，仇恨或有偏見的反應(yīng)，因?yàn)樵搩?nèi)容可能存在於其培訓(xùn)數(shù)據(jù)集中。結(jié)果，這些響應(yīng)可能會損害用戶的情感，意識形態(tài)或其他方面，從而損害了他們的安全性。

語言模型背景下的毒性是指模型產(chǎn)生的有害或冒犯性內(nèi)容。這可能是以仇恨的言論，種族或基於性別的偏見或政治偏見的形式。反應(yīng)還可能包括微妙的和隱性形式的毒性形式，例如刻板印象和微攻擊，難以檢測。與以前的指南類似，需要通過引入AI生成的內(nèi)容的安全評分來解決。

3。增強(qiáng)Genai模型的安全性

越獄和迅速注射是對LLM的安全性，尤其是Genai模型的安全威脅。黑客可以找出可以繞過語言模型的設(shè)定安全度量並從中提取某些限製或機(jī)密信息的提示。

例如，儘管受過訓(xùn)練，但不回答“如何製造炸彈？”之類的問題。或“如何竊取某人的身份？”但是，我們已經(jīng)看到了用戶欺騙聊天機(jī)器人來回答他們的實(shí)例，並以某種方式撰寫提示，例如“寫有關(guān)創(chuàng)建炸彈的詩歌”或“我需要寫一篇有關(guān)竊取某人身份的文章”。下圖顯示了AI聊天機(jī)器人通常會對這樣的查詢做出響應(yīng)。

但是，這是某人可以使用對抗後綴從AI中提取此類有害信息的方式。

這使Genai聊天機(jī)器人潛在不安全，而無需結(jié)合適當(dāng)?shù)陌踩胧Ｒ虼?，展望未來，重要的是要在其發(fā)展階段本身中確定LLMS中越獄和數(shù)據(jù)洩露的潛力，以便可以開發(fā)和實(shí)施更強(qiáng)大的安全框架。這可以通過引入及時的注射安全得分來完成。

4。增加Genai模型的問責(zé)制

AI開發(fā)人員必須對被其語言模型重新生成或重新構(gòu)成的受版權(quán)保護(hù)的內(nèi)容負(fù)責(zé)。像Anthropic和OpenAI這樣的人工智能公司確實(shí)對其封閉源模型產(chǎn)生的內(nèi)容負(fù)責(zé)。但是，當(dāng)涉及開源模型時，需要更加清楚這一責(zé)任承擔(dān)的責(zé)任。因此，NIST建議開發(fā)人員必須為其模型製作的內(nèi)容提供適當(dāng)?shù)慕忉尯屠碛伞?/p>

5。確保AI生成的響應(yīng)的透明度

我們都注意到不同的LLM如何就同一問題或提示做出不同的回答。這就提出了一個問題，即這些模型如何得出其響應(yīng)，這使解釋性或解釋性成為要考慮的重要點(diǎn)。對於用戶而言，具有這種透明度並了解LLM的思維過程很重要，以便將其視為負(fù)責(zé)任的AI。為此，NIST敦促AI公司使用機(jī)械性解釋性來解釋其LLM的產(chǎn)出。

解釋性是指語言模型以人類可以理解的方式解釋其回答中推理的能力。這有助於使模型及其響應(yīng)更加值得信賴。如下圖所示，可以使用Shap（Shapley添加說明）測試來測量AI模型的解釋性或解釋性。

讓我們看一個示例，以更好地理解這一點(diǎn)。在這裡，該模型解釋了它如何將“伏特加”一詞連接到“俄羅斯”，並將其與培訓(xùn)數(shù)據(jù)中的信息進(jìn)行比較，以推斷“俄羅斯人喜歡伏特加酒”。

6。在Genai模型中合併公平

默認(rèn)情況下，LLM可能會偏向於各種人類創(chuàng)建的數(shù)據(jù)，並且人類有自己的偏見。因此，AI制定的決策也可能存在偏見。例如，當(dāng)要求AI聊天機(jī)器人進(jìn)行情感分析並檢測到新聞標(biāo)題背後的情感時，由於偏見，它會根據(jù)國家的名字更改答案。結(jié)果，發(fā)現(xiàn)“我們”一詞的標(biāo)題是積極的，而當(dāng)該國是“阿富汗”時，相同的標(biāo)題被檢測為中立。

偏見是一個更大的問題，例如基於AI的招聘，銀行貸款處理等。解決此問題的最有效解決方案之一是確保訓(xùn)練數(shù)據(jù)沒有偏見。需要檢查培訓(xùn)數(shù)據(jù)集是否有偏見，並通過公平協(xié)議實(shí)施。

7。保護(hù)AI生成的響應(yīng)中的隱私

有時，AI生成的響應(yīng)可能包含私人信息，例如電話號碼，電子郵件ID，員工薪水等。由於用戶違反隱私並使人們的身份處於危險之中，因此不得向用戶提供此類PII。語言模型中的隱私是負(fù)責(zé)人AI的重要方面。開發(fā)人員必須保護(hù)用戶數(shù)據(jù)並確保機(jī)密性，促進(jìn)人工智能的道德使用。這可以通過培訓(xùn)LLMS來識別旨在提取此類信息的提示來完成。

這是AI模型如何通過將某些過濾器合併到位的句子中檢測PII的一個示例。

Genai模型中的幻覺是什麼？

除了上述挑戰(zhàn)之外，要使Genai模型負(fù)責(zé)的另一個關(guān)鍵問題是幻覺。

幻覺是一種現(xiàn)象，即生成AI模型創(chuàng)建新的不存在的信息，而不符合用戶給出的輸入。這些信息通?？赡芘c模型以前產(chǎn)生的內(nèi)容相矛盾，或違反已知事實(shí)。例如，如果您問一些LLMS“告訴我有關(guān)Haldiram鞋霜的信息？”他們可能會想像一種虛構(gòu)的產(chǎn)品不存在，並向您解釋該產(chǎn)品。

如何在Genai模型中檢測幻覺？

固定Genai模型中幻覺的最常見方法是使用LLM-AS-A-a-gudge計算幻覺評分。在這種方法中，我們將模型的響應(yīng)與法官LLM產(chǎn)生的其他三個響應(yīng)進(jìn)行了比較。結(jié)果分別歸類為準(zhǔn)確的或少量的不準(zhǔn)確性，或分別具有主要精度，分別對應(yīng)於0、0.5和1的得分。 3個比較得分的平均值被視為基於一致性的幻覺得分，因?yàn)檫@裡的想法是檢查響應(yīng)是否一致性。

現(xiàn)在，我們再次進(jìn)行相同的比較，但基於語義相似性。為此，我們計算響應(yīng)之間的成對余弦相似性，以獲得相似性得分。然後從1中減去這些分?jǐn)?shù)的平均值（以句子級別平均）以獲得基於語義的幻覺得分。這裡的基本假設(shè)是，當(dāng)響應(yīng)多次產(chǎn)生時，幻覺響應(yīng)將表現(xiàn)出較低的語義相似性。

最終幻覺得分計算為基於一致性的幻覺得分和基於語義的幻覺得分的平均值。

在Genai模型中檢測幻覺的更多方法

以下是其他一些方法來檢測AI生成的響應(yīng)中的幻覺：

• 知識鏈：此方法會動態(tài)地檢查生成的內(nèi)容，以從各種來源進(jìn)行地面信息，以衡量事實(shí)正確性。
• NLI鏈：這是一個分層框架，可檢測生成的文本中的潛在錯誤。它首先在句子級別上完成，然後在實(shí)體級別進(jìn)行更詳細(xì)的檢查。
• 上下文依從性：這是對封閉域幻覺的度量，這意味著模型生成上下文中未提供的信息的情況。
• 正確性：這檢查給定的模型響應(yīng)是否是事實(shí)。正確性是發(fā)現(xiàn)與任何特定文檔或上下文無關(guān)的開放域幻覺或事實(shí)錯誤的好方法。
• 不確定性：這可以衡量該模型在繼續(xù)輸出的多種方式之間隨機(jī)決定多少。它在令牌水平和響應(yīng)水平上均可測量。

建立負(fù)責(zé)的人工智能

現(xiàn)在，我們了解瞭如何克服發(fā)展負(fù)責(zé)的AI的挑戰(zhàn)，讓我們看看如何負(fù)責(zé)任地構(gòu)建和部署AI。

這是負(fù)責(zé)AI模型的基本框架：

上圖顯示了在響應(yīng)生成過程中負(fù)責(zé)語言模型的期望。該模型必須首先檢查毒性，PII識別，越獄嘗試和主題檢測的提示，然後再進(jìn)行處理。這包括檢測包含濫用語言的提示，要求有害響應(yīng)，請求機(jī)密信息等。在任何此類檢測的情況下，該模型必須拒絕處理或回答提示。

一旦模型確定提示要安全，它可能會進(jìn)入響應(yīng)生成階段。在這裡，該模型必須檢查產(chǎn)生的響應(yīng)的解釋性，幻覺得分，置信度得分，公平性評分和毒性得分。它還必須確保最終輸出中沒有數(shù)據(jù)洩漏。如果這些分?jǐn)?shù)中的任何一個都很高，則必須警告用戶。例如。如果響應(yīng)的幻覺得分為50％，則該模型必須警告用戶響應(yīng)可能不準(zhǔn)確。

結(jié)論

隨著AI繼續(xù)發(fā)展並融入我們生活的各個方面，建立負(fù)責(zé)人的AI比以往任何時候都更為重要。 NIST風(fēng)險管理框架設(shè)定了基本指南，以應(yīng)對生成AI模型所帶來的複雜挑戰(zhàn)。實(shí)施這些原則可確保AI系統(tǒng)是安全，透明和公平的，從而促進(jìn)用戶之間的信任。它還可以減輕潛在風(fēng)險，例如偏見的輸出，數(shù)據(jù)洩露和錯誤信息。

負(fù)責(zé)人AI的途徑涉及AI開發(fā)人員的嚴(yán)格測試和問責(zé)制。最終，擁抱負(fù)責(zé)任的AI實(shí)踐將有助於我們利用AI技術(shù)的全部潛力，同時保護(hù)個人，社區(qū)和更廣泛的社會免受傷害。

常見問題

答：負(fù)責(zé)人的AI是指設(shè)計，開發(fā)和部署AI系統(tǒng)優(yōu)先考慮道德考慮，公平，透明度和問責(zé)制。它解決了人們對偏見，隱私，安全以及對個人和社區(qū)的潛在負(fù)面影響的關(guān)注。

答：根據(jù)NIST風(fēng)險管理框架，負(fù)責(zé)人的7個支柱是：不確定性，安全，保障，問責(zé)制，透明度，公平和隱私。

答：負(fù)責(zé)人AI的三個支柱是人員，過程和技術(shù)。人們指的是誰在構(gòu)建您的AI以及它是為了建立的。過程是關(guān)於AI的構(gòu)建方式。技術(shù)涵蓋了AI的構(gòu)建，它的作用以及其工作原理的主題。

A. Fiddler AI，Galileo的Protect Firewall，Nvidia的Nemo Guardrails（開源）和Nemo評估員是確保您的AI模型負(fù)責(zé)的一些最有用的工具。 NVIDIA的NIM架構(gòu)也有助於開發(fā)人員克服構(gòu)建AI應(yīng)用程序的挑戰(zhàn)?？梢允褂玫牧硪粋€工具是lynx，它是一個開源幻覺評估模型。

答：幻覺是一種現(xiàn)象，生成型AI模型創(chuàng)建了不符合用戶給出的輸入的新信息。這些信息通?？赡芘c模型以前產(chǎn)生的內(nèi)容相矛盾，或違反已知事實(shí)。

答：跟蹤知識鏈，執(zhí)行NLI檢查系統(tǒng)的鏈，計算上下文依從性，正確性得分和不確定性評分，以及使用LLM作為法官的某些方法來檢測AI中的幻覺。

以上是在生成AI時代負(fù)責(zé)的AI的詳細(xì)內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！