介紹

現(xiàn)在，我們生活在人工智能時(shí)代，我們周?chē)囊磺卸荚谝惶熳兊酶勇斆鳌Ｗ钕冗M(jìn)的大語(yǔ)言模型（LLM）和AI代理人能夠以最少的人為干預(yù)執(zhí)行復(fù)雜的任務(wù)。有了這樣的先進(jìn)技術(shù)，需要負(fù)責(zé)任地開(kāi)發(fā)和部署它們。本文基于Bhaskarjit Sarmah在Datahack Summit 2024的研討會(huì)，我們將學(xué)習(xí)如何建立負(fù)責(zé)任的AI，并特別關(guān)注生成AI（Genai）模型。我們還將探討國(guó)家標(biāo)準(zhǔn)技術(shù)研究所（NIST）風(fēng)險(xiǎn)管理框架的準(zhǔn)則，旨在確保AI負(fù)責(zé)任的發(fā)展和部署。

概述

• 了解什么是負(fù)責(zé)人AI以及為什么重要。
• 了解負(fù)責(zé)人AI的7個(gè)支柱以及NIST框架如何幫助開(kāi)發(fā)和部署負(fù)責(zé)任的AI。
• 了解AI模型中的幻覺(jué)以及如何被檢測(cè)到。
• 了解如何構(gòu)建負(fù)責(zé)任的AI模型。

目錄

• 介紹
• 什么是負(fù)責(zé)人AI？
• 為什么負(fù)責(zé)人AI很重要？
• 負(fù)責(zé)人AI的7個(gè)支柱
  • 解決AI生成的內(nèi)容的不確定性
  • 確保AI生成的響應(yīng)的安全
  • 增強(qiáng)Genai模型的安全性
  • 增加Genai模型的問(wèn)責(zé)制
  • 確保AI生成的響應(yīng)的透明度
  • 在Genai模型中合并公平
  • 保護(hù)AI生成的響應(yīng)中的隱私
• Genai模型中的幻覺(jué)是什么？
• 如何在Genai模型中檢測(cè)幻覺(jué)？
• 建立負(fù)責(zé)的人工智能
• 結(jié)論
• 常見(jiàn)問(wèn)題

什么是負(fù)責(zé)人AI？

負(fù)責(zé)人的AI是指設(shè)計(jì)，開(kāi)發(fā)和部署AI系統(tǒng)優(yōu)先考慮道德考慮，公平性，透明度和問(wèn)責(zé)制。它解決了有關(guān)偏見(jiàn)，隱私和安全的擔(dān)憂，以消除對(duì)用戶和社區(qū)的任何潛在負(fù)面影響。它旨在確保AI技術(shù)與人類(lèi)價(jià)值觀和社會(huì)需求保持一致。

構(gòu)建負(fù)責(zé)人的AI是一個(gè)多步驟過(guò)程。這涉及實(shí)施數(shù)據(jù)使用，算法設(shè)計(jì)和決策過(guò)程的準(zhǔn)則和標(biāo)準(zhǔn)。它涉及在發(fā)展過(guò)程中吸收不同利益相關(guān)者的意見(jiàn)，以抵抗任何偏見(jiàn)并確保公平。該過(guò)程還需要對(duì)AI系統(tǒng)進(jìn)行持續(xù)監(jiān)視，以識(shí)別和糾正任何意外后果。負(fù)責(zé)人AI的主要目標(biāo)是開(kāi)發(fā)能夠使社會(huì)受益的技術(shù)，同時(shí)達(dá)到道德和法律標(biāo)準(zhǔn)。

推薦手表：探索負(fù)責(zé)人的AI：與Ravit Dotan的見(jiàn)解，框架和創(chuàng)新|領(lǐng)導(dǎo)數(shù)據(jù)37

為什么負(fù)責(zé)人AI很重要？

LLM在大型數(shù)據(jù)集上進(jìn)行了培訓(xùn)，其中包含Internet上可用的各種信息。這可能包括受版權(quán)保護(hù)的內(nèi)容以及機(jī)密和個(gè)人身份信息（PII）。結(jié)果，生成AI模型創(chuàng)建的響應(yīng)可能以非法或有害方式使用此信息。

這也帶來(lái)了人們欺騙Genai模型來(lái)發(fā)出PII的風(fēng)險(xiǎn)，例如電子郵件ID，電話號(hào)碼和信用卡信息。因此，重要的是要確保語(yǔ)言模型不會(huì)再生受版權(quán)保護(hù)的內(nèi)容，產(chǎn)生有毒輸出或發(fā)出任何PII。

隨著越來(lái)越多的任務(wù)被AI自動(dòng)化，與AI生成的響應(yīng)的偏見(jiàn)，信心和透明度有關(guān)的其他問(wèn)題也在上升。

例如，傳統(tǒng)上使用基本的自然語(yǔ)言處理器（NLP）構(gòu)建了情感分類(lèi)模型。但是，這是一個(gè)漫長(zhǎng)的過(guò)程，其中包括收集數(shù)據(jù)，標(biāo)記數(shù)據(jù)，進(jìn)行功能提取，訓(xùn)練模型，調(diào)整超參數(shù)等等。但是現(xiàn)在，使用Genai，您只需一個(gè)簡(jiǎn)單的提示即可進(jìn)行情感分析！但是，如果模型的訓(xùn)練數(shù)據(jù)包括任何偏見(jiàn)，這將導(dǎo)致模型生成偏見(jiàn)的輸出。這是一個(gè)主要問(wèn)題，尤其是在決策模型中。

這些只是負(fù)責(zé)AI開(kāi)發(fā)的一些主要原因。

負(fù)責(zé)人AI的7個(gè)支柱

2023年10月，美國(guó)總統(tǒng)拜登（Biden）發(fā)布了一項(xiàng)行政命令，指出必須以安全，安全和值得信賴的方式部署和使用AI申請(qǐng)。按照他的命令，NIST設(shè)定了一些嚴(yán)格的標(biāo)準(zhǔn)，AI開(kāi)發(fā)人員必須在發(fā)布任何新模型之前必須遵循。這些規(guī)則旨在解決有關(guān)生成AI的安全使用面臨的一些最大挑戰(zhàn)。

NIST風(fēng)險(xiǎn)管理框架中所述的負(fù)責(zé)人AI的7個(gè)支柱是：

1. 不確定
2. 安全
3. 安全
4. 問(wèn)責(zé)制
5. 透明度
6. 公平
7. 隱私

讓我們?cè)敿?xì)探討這些準(zhǔn)則中的每一個(gè)，以了解它們?nèi)绾螏椭_(kāi)發(fā)負(fù)責(zé)任的Genai模型。

1。解決AI生成的內(nèi)容的不確定性

機(jī)器學(xué)習(xí)模型（Genai）或其他方式不是100％準(zhǔn)確的。有時(shí)他們會(huì)發(fā)出準(zhǔn)確的響應(yīng)，有時(shí)輸出可能會(huì)幻覺(jué)。我們?cè)趺粗篮螘r(shí)相信AI模型的響應(yīng)以及何時(shí)對(duì)其進(jìn)行懷疑？

解決此問(wèn)題的一種方法是為每個(gè)回應(yīng)引入幻覺(jué)分?jǐn)?shù)或信心分?jǐn)?shù)。置信度得分基本上是一種措施，告訴我們?cè)撃Ｐ蛯?duì)其響應(yīng)的準(zhǔn)確性有多確定。例如，如果該模型為20％或90％，則該模型。這將增加AI生成的響應(yīng)的可信度。

模型置信度如何計(jì)算？

有3種方法可以計(jì)算模型響應(yīng)的置信度得分。

• 共形預(yù)測(cè)：此統(tǒng)計(jì)方法生成的預(yù)測(cè)集，其中包含具有指定概率的真實(shí)標(biāo)簽。它檢查并確保預(yù)測(cè)設(shè)置是否滿足保證要求。
• 基于熵的方法：此方法通過(guò)計(jì)算預(yù)測(cè)類(lèi)的概率分布的熵來(lái)衡量模型預(yù)測(cè)的不確定性。
• 貝葉斯方法：此方法使用概率分布來(lái)表示響應(yīng)的不確定性。盡管此方法在計(jì)算密集型上，但它提供了更全面的不確定性度量。

2。確保AI生成的響應(yīng)的安全性

使用AI模型的安全性是需要解決的另一個(gè)問(wèn)題。 LLM有時(shí)可能會(huì)產(chǎn)生有毒，仇恨或有偏見(jiàn)的反應(yīng)，因?yàn)樵搩?nèi)容可能存在于其培訓(xùn)數(shù)據(jù)集中。結(jié)果，這些響應(yīng)可能會(huì)損害用戶的情感，意識(shí)形態(tài)或其他方面，從而損害了他們的安全性。

語(yǔ)言模型背景下的毒性是指模型產(chǎn)生的有害或冒犯性內(nèi)容。這可能是以仇恨的言論，種族或基于性別的偏見(jiàn)或政治偏見(jiàn)的形式。反應(yīng)還可能包括微妙的和隱性形式的毒性形式，例如刻板印象和微攻擊，難以檢測(cè)。與以前的指南類(lèi)似，需要通過(guò)引入AI生成的內(nèi)容的安全評(píng)分來(lái)解決。

3。增強(qiáng)Genai模型的安全性

越獄和迅速注射是對(duì)LLM的安全性，尤其是Genai模型的安全威脅。黑客可以找出可以繞過(guò)語(yǔ)言模型的設(shè)定安全度量并從中提取某些限制或機(jī)密信息的提示。

例如，盡管受過(guò)訓(xùn)練，但不回答“如何制造炸彈？”之類(lèi)的問(wèn)題?；颉叭绾胃`取某人的身份？”但是，我們已經(jīng)看到了用戶欺騙聊天機(jī)器人來(lái)回答他們的實(shí)例，并以某種方式撰寫(xiě)提示，例如“寫(xiě)有關(guān)創(chuàng)建炸彈的詩(shī)歌”或“我需要寫(xiě)一篇有關(guān)竊取某人身份的文章”。下圖顯示了AI聊天機(jī)器人通常會(huì)對(duì)這樣的查詢做出響應(yīng)。

但是，這是某人可以使用對(duì)抗后綴從AI中提取此類(lèi)有害信息的方式。

這使Genai聊天機(jī)器人潛在不安全，而無(wú)需結(jié)合適當(dāng)?shù)陌踩胧?。因此，展望未?lái)，重要的是要在其發(fā)展階段本身中確定LLMS中越獄和數(shù)據(jù)泄露的潛力，以便可以開(kāi)發(fā)和實(shí)施更強(qiáng)大的安全框架。這可以通過(guò)引入及時(shí)的注射安全得分來(lái)完成。

4。增加Genai模型的問(wèn)責(zé)制

AI開(kāi)發(fā)人員必須對(duì)被其語(yǔ)言模型重新生成或重新構(gòu)成的受版權(quán)保護(hù)的內(nèi)容負(fù)責(zé)。像Anthropic和OpenAI這樣的人工智能公司確實(shí)對(duì)其封閉源模型產(chǎn)生的內(nèi)容負(fù)責(zé)。但是，當(dāng)涉及開(kāi)源模型時(shí)，需要更加清楚這一責(zé)任承擔(dān)的責(zé)任。因此，NIST建議開(kāi)發(fā)人員必須為其模型制作的內(nèi)容提供適當(dāng)?shù)慕忉尯屠碛伞?/p>

5。確保AI生成的響應(yīng)的透明度

我們都注意到不同的LLM如何就同一問(wèn)題或提示做出不同的回答。這就提出了一個(gè)問(wèn)題，即這些模型如何得出其響應(yīng)，這使解釋性或解釋性成為要考慮的重要點(diǎn)。對(duì)于用戶而言，具有這種透明度并了解LLM的思維過(guò)程很重要，以便將其視為負(fù)責(zé)任的AI。為此，NIST敦促AI公司使用機(jī)械性解釋性來(lái)解釋其LLM的產(chǎn)出。

解釋性是指語(yǔ)言模型以人類(lèi)可以理解的方式解釋其回答中推理的能力。這有助于使模型及其響應(yīng)更加值得信賴。如下圖所示，可以使用Shap（Shapley添加說(shuō)明）測(cè)試來(lái)測(cè)量AI模型的解釋性或解釋性。

讓我們看一個(gè)示例，以更好地理解這一點(diǎn)。在這里，該模型解釋了它如何將“伏特加”一詞連接到“俄羅斯”，并將其與培訓(xùn)數(shù)據(jù)中的信息進(jìn)行比較，以推斷“俄羅斯人喜歡伏特加酒”。

6。在Genai模型中合并公平

默認(rèn)情況下，LLM可能會(huì)偏向于各種人類(lèi)創(chuàng)建的數(shù)據(jù)，并且人類(lèi)有自己的偏見(jiàn)。因此，AI制定的決策也可能存在偏見(jiàn)。例如，當(dāng)要求AI聊天機(jī)器人進(jìn)行情感分析并檢測(cè)到新聞標(biāo)題背后的情感時(shí)，由于偏見(jiàn)，它會(huì)根據(jù)國(guó)家的名字更改答案。結(jié)果，發(fā)現(xiàn)“我們”一詞的標(biāo)題是積極的，而當(dāng)該國(guó)是“阿富汗”時(shí)，相同的標(biāo)題被檢測(cè)為中立。

偏見(jiàn)是一個(gè)更大的問(wèn)題，例如基于AI的招聘，銀行貸款處理等。解決此問(wèn)題的最有效解決方案之一是確保訓(xùn)練數(shù)據(jù)沒(méi)有偏見(jiàn)。需要檢查培訓(xùn)數(shù)據(jù)集是否有偏見(jiàn)，并通過(guò)公平協(xié)議實(shí)施。

7。保護(hù)AI生成的響應(yīng)中的隱私

有時(shí)，AI生成的響應(yīng)可能包含私人信息，例如電話號(hào)碼，電子郵件ID，員工薪水等。由于用戶違反隱私并使人們的身份處于危險(xiǎn)之中，因此不得向用戶提供此類(lèi)PII。語(yǔ)言模型中的隱私是負(fù)責(zé)人AI的重要方面。開(kāi)發(fā)人員必須保護(hù)用戶數(shù)據(jù)并確保機(jī)密性，促進(jìn)人工智能的道德使用。這可以通過(guò)培訓(xùn)LLMS來(lái)識(shí)別旨在提取此類(lèi)信息的提示來(lái)完成。

這是AI模型如何通過(guò)將某些過(guò)濾器合并到位的句子中檢測(cè)PII的一個(gè)示例。

Genai模型中的幻覺(jué)是什么？

除了上述挑戰(zhàn)之外，要使Genai模型負(fù)責(zé)的另一個(gè)關(guān)鍵問(wèn)題是幻覺(jué)。

幻覺(jué)是一種現(xiàn)象，即生成AI模型創(chuàng)建新的不存在的信息，而不符合用戶給出的輸入。這些信息通常可能與模型以前產(chǎn)生的內(nèi)容相矛盾，或違反已知事實(shí)。例如，如果您問(wèn)一些LLMS“告訴我有關(guān)Haldiram鞋霜的信息？”他們可能會(huì)想象一種虛構(gòu)的產(chǎn)品不存在，并向您解釋該產(chǎn)品。

如何在Genai模型中檢測(cè)幻覺(jué)？

固定Genai模型中幻覺(jué)的最常見(jiàn)方法是使用LLM-AS-A-a-gudge計(jì)算幻覺(jué)評(píng)分。在這種方法中，我們將模型的響應(yīng)與法官LLM產(chǎn)生的其他三個(gè)響應(yīng)進(jìn)行了比較。結(jié)果分別歸類(lèi)為準(zhǔn)確的或少量的不準(zhǔn)確性，或分別具有主要精度，分別對(duì)應(yīng)于0、0.5和1的得分。 3個(gè)比較得分的平均值被視為基于一致性的幻覺(jué)得分，因?yàn)檫@里的想法是檢查響應(yīng)是否一致性。

現(xiàn)在，我們?cè)俅芜M(jìn)行相同的比較，但基于語(yǔ)義相似性。為此，我們計(jì)算響應(yīng)之間的成對(duì)余弦相似性，以獲得相似性得分。然后從1中減去這些分?jǐn)?shù)的平均值（以句子級(jí)別平均）以獲得基于語(yǔ)義的幻覺(jué)得分。這里的基本假設(shè)是，當(dāng)響應(yīng)多次產(chǎn)生時(shí)，幻覺(jué)響應(yīng)將表現(xiàn)出較低的語(yǔ)義相似性。

最終幻覺(jué)得分計(jì)算為基于一致性的幻覺(jué)得分和基于語(yǔ)義的幻覺(jué)得分的平均值。

在Genai模型中檢測(cè)幻覺(jué)的更多方法

以下是其他一些方法來(lái)檢測(cè)AI生成的響應(yīng)中的幻覺(jué)：

• 知識(shí)鏈：此方法會(huì)動(dòng)態(tài)地檢查生成的內(nèi)容，以從各種來(lái)源進(jìn)行地面信息，以衡量事實(shí)正確性。
• NLI鏈：這是一個(gè)分層框架，可檢測(cè)生成的文本中的潛在錯(cuò)誤。它首先在句子級(jí)別上完成，然后在實(shí)體級(jí)別進(jìn)行更詳細(xì)的檢查。
• 上下文依從性：這是對(duì)封閉域幻覺(jué)的度量，這意味著模型生成上下文中未提供的信息的情況。
• 正確性：這檢查給定的模型響應(yīng)是否是事實(shí)。正確性是發(fā)現(xiàn)與任何特定文檔或上下文無(wú)關(guān)的開(kāi)放域幻覺(jué)或事實(shí)錯(cuò)誤的好方法。
• 不確定性：這可以衡量該模型在繼續(xù)輸出的多種方式之間隨機(jī)決定多少。它在令牌水平和響應(yīng)水平上均可測(cè)量。

建立負(fù)責(zé)的人工智能

現(xiàn)在，我們了解了如何克服發(fā)展負(fù)責(zé)的AI的挑戰(zhàn)，讓我們看看如何負(fù)責(zé)任地構(gòu)建和部署AI。

這是負(fù)責(zé)AI模型的基本框架：

上圖顯示了在響應(yīng)生成過(guò)程中負(fù)責(zé)語(yǔ)言模型的期望。該模型必須首先檢查毒性，PII識(shí)別，越獄嘗試和主題檢測(cè)的提示，然后再進(jìn)行處理。這包括檢測(cè)包含濫用語(yǔ)言的提示，要求有害響應(yīng)，請(qǐng)求機(jī)密信息等。在任何此類(lèi)檢測(cè)的情況下，該模型必須拒絕處理或回答提示。

一旦模型確定提示要安全，它可能會(huì)進(jìn)入響應(yīng)生成階段。在這里，該模型必須檢查產(chǎn)生的響應(yīng)的解釋性，幻覺(jué)得分，置信度得分，公平性評(píng)分和毒性得分。它還必須確保最終輸出中沒(méi)有數(shù)據(jù)泄漏。如果這些分?jǐn)?shù)中的任何一個(gè)都很高，則必須警告用戶。例如。如果響應(yīng)的幻覺(jué)得分為50％，則該模型必須警告用戶響應(yīng)可能不準(zhǔn)確。

結(jié)論

隨著AI繼續(xù)發(fā)展并融入我們生活的各個(gè)方面，建立負(fù)責(zé)人的AI比以往任何時(shí)候都更為重要。 NIST風(fēng)險(xiǎn)管理框架設(shè)定了基本指南，以應(yīng)對(duì)生成AI模型所帶來(lái)的復(fù)雜挑戰(zhàn)。實(shí)施這些原則可確保AI系統(tǒng)是安全，透明和公平的，從而促進(jìn)用戶之間的信任。它還可以減輕潛在風(fēng)險(xiǎn)，例如偏見(jiàn)的輸出，數(shù)據(jù)泄露和錯(cuò)誤信息。

負(fù)責(zé)人AI的途徑涉及AI開(kāi)發(fā)人員的嚴(yán)格測(cè)試和問(wèn)責(zé)制。最終，擁抱負(fù)責(zé)任的AI實(shí)踐將有助于我們利用AI技術(shù)的全部潛力，同時(shí)保護(hù)個(gè)人，社區(qū)和更廣泛的社會(huì)免受傷害。

常見(jiàn)問(wèn)題

答：負(fù)責(zé)人的AI是指設(shè)計(jì)，開(kāi)發(fā)和部署AI系統(tǒng)優(yōu)先考慮道德考慮，公平，透明度和問(wèn)責(zé)制。它解決了人們對(duì)偏見(jiàn)，隱私，安全以及對(duì)個(gè)人和社區(qū)的潛在負(fù)面影響的關(guān)注。

答：根據(jù)NIST風(fēng)險(xiǎn)管理框架，負(fù)責(zé)人的7個(gè)支柱是：不確定性，安全，保障，問(wèn)責(zé)制，透明度，公平和隱私。

答：負(fù)責(zé)人AI的三個(gè)支柱是人員，過(guò)程和技術(shù)。人們指的是誰(shuí)在構(gòu)建您的AI以及它是為了建立的。過(guò)程是關(guān)于AI的構(gòu)建方式。技術(shù)涵蓋了AI的構(gòu)建，它的作用以及其工作原理的主題。

A. Fiddler AI，Galileo的Protect Firewall，Nvidia的Nemo Guardrails（開(kāi)源）和Nemo評(píng)估員是確保您的AI模型負(fù)責(zé)的一些最有用的工具。 NVIDIA的NIM架構(gòu)也有助于開(kāi)發(fā)人員克服構(gòu)建AI應(yīng)用程序的挑戰(zhàn)。可以使用的另一個(gè)工具是lynx，它是一個(gè)開(kāi)源幻覺(jué)評(píng)估模型。

答：幻覺(jué)是一種現(xiàn)象，生成型AI模型創(chuàng)建了不符合用戶給出的輸入的新信息。這些信息通?？赡芘c模型以前產(chǎn)生的內(nèi)容相矛盾，或違反已知事實(shí)。

答：跟蹤知識(shí)鏈，執(zhí)行NLI檢查系統(tǒng)的鏈，計(jì)算上下文依從性，正確性得分和不確定性評(píng)分，以及使用LLM作為法官的某些方法來(lái)檢測(cè)AI中的幻覺(jué)。

以上是在生成AI時(shí)代負(fù)責(zé)的AI的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！