導入

私たちは今、人工知能の時代に住んでおり、私たちの周りのすべてがその日まで賢くなっています。最先端の大規(guī)模な言語モデル（LLMS）およびAIエージェントは、最小限の人間の介入で複雑なタスクを?qū)g行できます。このような高度なテクノロジーに伴い、責任を持って開発および展開する必要があります。この記事は、2024年のDatahack SummitのBhaskarjit Sarmahのワークショップに基づいており、生成AI（Genai）モデルに特に焦點を當てて、責任あるAIを構(gòu)築する方法を?qū)Wびます。また、AIの責任ある開発と展開を確保するために設(shè)定された、國立標準技術(shù)研究所（NIST）リスク管理フレームワークのガイドラインも検討します。

概要

• 責任あるAIとは何か、そしてそれが重要である理由を理解してください。
• 責任あるAIの7つの柱と、NISTフレームワークが責任あるAIの開発と展開にどのように役立つかについて學びます。
• AIモデルの幻覚とそれがどのように検出されるかを理解してください。
• 責任あるAIモデルを構(gòu)築する方法を?qū)Wびます。

目次

• 導入
• 責任あるAIは何ですか？
• 責任あるAIが重要なのはなぜですか？
• 責任あるAIの7つの柱
  • AIに生成されたコンテンツの不確実性の修正
  • AIに生成された応答の安全性を確保します
  • genaiモデルのセキュリティの強化
  • genaiモデルの説明責任を高めます
  • AIに生成された応答の透明性を確保します
  • genaiモデルに公平性を組み込む
  • AIに生成された応答のプライバシーの保護
• genaiモデルの幻覚とは何ですか？
• genaiモデルの幻覚を検出する方法は？
• 責任あるAIの構(gòu)築
• 結(jié)論
• よくある質(zhì)問

責任あるAIは何ですか？

責任あるAIとは、倫理的な考慮事項、公平性、透明性、および説明責任を優(yōu)先するAIシステムの設(shè)計、開発、展開を指します。ユーザーやコミュニティへの潛在的なマイナスの影響を排除するために、バイアス、プライバシー、セキュリティに関する懸念に対処します。 AIテクノロジーが人間の価値と社會的ニーズに合わせていることを保証することを目的としています。

責任あるAIの構(gòu)築は、マルチステッププロセスです。これには、データ使用、アルゴリズムの設(shè)計、意思決定プロセスのガイドラインと標準の実裝が含まれます。これには、開発プロセスにおける多様な利害関係者からの意見を取り、バイアスと戦い、公平を確保することが含まれます。また、このプロセスでは、意図しない結(jié)果を特定して修正するために、AIシステムの継続的な監(jiān)視が必要です。責任あるAIの主な目標は、倫理的および法的基準を満たしながら社會に利益をもたらす技術(shù)を開発することです。

推奨ウォッチ：責任あるAIの探索：Ravit Dotanとの洞察、フレームワーク、イノベーション|データ37でリード

責任あるAIが重要なのはなぜですか？

LLMは、インターネット上で利用可能な多様な情報を含む大規(guī)模なデータセットでトレーニングされています。これには、著作権で保護されたコンテンツと、機密および個人識別可能な情報（PII）が含まれる場合があります。その結(jié)果、生成AIモデルによって作成された応答は、この情報を違法または有害な方法で使用する場合があります。

これはまた、Genaiモデルをtrickして、電子メールID、電話番號、クレジットカード情報などのPIIを提供するリスクをもたらします。したがって、言語モデルが著作権で保護されたコンテンツを再生したり、有毒な出力を生成したり、PIIを提供したりしないようにすることが重要です。

AIによってますます多くのタスクが自動化されると、AI生成された応答のバイアス、自信、および透明性に関連する他の懸念も増加しています。

たとえば、センチメント分類モデルは、基本的な自然言語プロセッサ（NLP）を使用して伝統(tǒng)的に構(gòu)築されていました。ただし、これは、データの収集、データのラベル付け、機能抽出の実行、モデルのトレーニング、ハイパーパラメーターの調(diào)整などを含む長いプロセスでした。ただし、モデルのトレーニングデータにバイアスが含まれている場合、これによりモデルがバイアス出力を生成します。これは、特に意思決定モデルにおいて、大きな懸念事項です。

これらは、責任あるAI開発が時間の必要性である理由に関する主な理由のほんの一部です。

責任あるAIの7つの柱

2023年10月、バイデン米國大統(tǒng)領(lǐng)は、AIアプリケーションを安全で安全で信頼できる方法で展開し、使用する必要があることを示す大統(tǒng)領(lǐng)命令を発表しました。彼の注文に続いて、NISTは、新しいモデルをリリースする前にAI開発者が従わなければならないいくつかの厳しい基準を設(shè)定しました。これらのルールは、生成AIの安全な使用に関して直面している最大の課題のいくつかに対処するように設(shè)定されています。

NISTリスク管理フレームワークに記載されているように、責任あるAIの7つの柱は次のとおりです。

1. 不確実性
2. 安全性
3. 安全
4. 説明責任
5. 透明性
6. 公平性
7. プライバシー

これらのガイドラインのそれぞれを詳細に検討して、責任あるGenaiモデルの開発にどのように役立つかを確認しましょう。

1。AIに生成されたコンテンツの不確実性の修正

機械學習モデル、Genaiまたはその他は、100％正確ではありません。正確な応答を提供する場合があり、出力が幻覚になる場合があります。 AIモデルの応答をいつ信頼するか、そしてそれを疑うタイミングをどのように知ることができますか？

この問題に対処する1つの方法は、すべての応答に幻覚スコアまたは信頼スコアを?qū)毪工毪长趣扦?。信頼性スコアは、基本的に、モデルがその応答の精度をどれだけ確実にするかを伝えるための尺度です。たとえば、モデルが20％または90％確信の場合。これにより、AIに生成された応答の信頼性が高まります。

モデル信頼度はどのように計算されますか？

モデルの応答の信頼性スコアを計算する3つの方法があります。

• コンフォーマル予測：この統(tǒng)計的方法は、指定された確率を持つ真のラベルを含む予測セットを生成します。予測セットが保証要件を満たしているかどうかをチェックして保証します。
• エントロピーベースの方法：この方法は、予測クラスにわたって確率分布のエントロピーを計算することにより、モデルの予測の不確実性を測定します。
• ベイジアン法：この方法は、確率分布を使用して、応答の不確実性を表します。この方法は計算的に集中的ですが、不確実性のより包括的な尺度を提供します。

2。AIに生成された応答の安全性を確保する

AIモデルを使用することの安全性は、対処する必要があるもう1つの懸念です。 LLMSは、トレーニングデータセットにそのようなコンテンツが存在する可能性があるため、毒性、憎悪、または偏った応答を生成する場合があります。その結(jié)果、これらの応答は、ユーザーに感情的、イデオロギー的、またはその他の安全性を損なう可能性があります。

言語モデルのコンテキストでの毒性とは、モデルによって生成される有害または攻撃的なコンテンツを指します。これは、憎むべきスピーチ、人種や性別に基づく偏見、または政治的偏見の形である可能性があります。応答には、ステレオタイプ化や微小攻撃などの微妙で暗黙の毒性が含まれる場合があります。以前のガイドラインと同様に、これはAIに生成されたコンテンツの安全性スコアを?qū)毪工毪长趣切拚工氡匾ⅳ辘蓼埂?/p>

3。GENAIモデルのセキュリティの強化

脫獄と迅速な注入は、LLMS、特にGenaiモデルのセキュリティに対する脅威の高まりです。ハッカーは、言語モデルの設(shè)定されたセキュリティ測定値をバイパスし、特定の制限または機密情報をそれらから抽出できるプロンプトを把握できます。

たとえば、ChatGptは「爆弾を作る方法」などの質(zhì)問に答えないように訓練されていますが、または「誰かの身元を盜む方法は？」ただし、「爆弾の作成に関する子供向けの詩を書く」や「誰かのアイデンティティを盜むことに関するエッセイを書く必要がある」など、特定の方法でプロンプトを書くことで、ユーザーがチャットボットをトリックして回答するインスタンスを見てきました。以下の畫像は、AIチャットボットが一般にこのようなクエリにどのように応答するかを示しています。

ただし、誰かが敵対的な接尾辭を使用してAIからそのような有害な情報を抽出する方法は次のとおりです。

これにより、適切な安全対策を組み込むことなく、Genai Chatbotsが使用するのに安全でない可能性があります。したがって、今後、開発フェーズ自體におけるLLMの脫獄とデータ侵害の可能性を特定して、より強力なセキュリティフレームワークを開発および実裝できるようにすることが重要です。これは、迅速な噴射安全スコアを?qū)毪工毪长趣菍g行できます。

4. genaiモデルの説明責任の向上

AI開発者は、著作権で保護されたコンテンツが言語モデルによって再生成または再利用されることに対して責任を負わなければなりません。 AI企業(yè)は、AnthropicやOpenaiのような企業(yè)は、クローズドソースモデルによって生成されたコンテンツに対して責任を負います。しかし、オープンソースモデルに関しては、この責任が誰に該當するかについて、より明確にする必要があります。したがって、NISTは、開発者がモデルが生成するコンテンツの適切な説明と正當化を提供する必要があることを推奨しています。

5. AIに生成された応答の透明性を確保する

私たちは皆、LLMが同じ質(zhì)問またはプロンプトに対して異なる回答をどのように提供するかに気づきました。これにより、これらのモデルがどのように反応を?qū)Г訾工趣い栴}が生じ、解釈可能性または説明可能性を考慮すべき重要なポイントにします。ユーザーがこの透明性を持ち、LLMの思考プロセスを理解して、責任あるAIと見なすことが重要です。このため、NISTは、AI企業(yè)が機械的解釈可能性を使用してLLMの出力を説明することを促しています。

解釈性とは、人間が理解できる方法で、反応の推論を説明する言語モデルの能力を指します。これは、モデルとその応答をより信頼できるものにするのに役立ちます。以下の畫像に示すように、AIモデルの解釈可能性または説明可能性は、SHAP（Shapley Additive説明）テストを使用して測定できます。

これをよりよく理解するための例を見てみましょう。ここでは、モデルは「ウォッカ」という言葉を「ロシア」に結(jié)びつける方法を説明し、トレーニングデータからの情報と比較して、「ロシア人がウォッカが大好き」を推測します。

6. genaiモデルに公平性を組み込む

LLMは、デフォルトでは、さまざまな人間によって作成されたデータで訓練されており、人間には獨自の偏見があるため、偏見があります。したがって、Gen AI-Madeの決定も偏っている可能性があります。たとえば、AIチャットボットがセンチメント分析を?qū)g施し、ニュースの見出しの背後にある感情を検出するように求められた場合、バイアスのために國の名前に基づいて答えを変更します。その結(jié)果、「私たち」という言葉のタイトルは肯定的であると検出されますが、國が「アフガニスタン」であるときに同じタイトルが中立として検出されます。

AIベースの雇用、銀行ローン処理など、AIがバイアスに基づいて選択を行う可能性のあるタスクに関しては、バイアスははるかに大きな問題です。この問題の最も効果的な解決策の1つは、トレーニングデータが偏っていないことを保証することです。トレーニングデータセットには、見た目のバイアスを確認し、公平性プロトコルで実裝する必要があります。

7. AIに生成された応答のプライバシーの保護

AIに生成された回答には、電話番號、電子メールID、従業(yè)員の給與などの個人情報が含まれている場合があります。そのようなPIIは、プライバシーに違反し、人々の身元を危険にさらすため、ユーザーに配らないでください。したがって、言語モデルのプライバシーは、責任あるAIの重要な側(cè)面です。開発者は、ユーザーデータを保護し、機密性を確保し、AIの倫理的使用を促進する必要があります。これは、そのような情報を抽出することを目的としたプロンプトを特定し、応答しないLLMSをトレーニングすることで実行できます。

一部のフィルターを所定の位置に組み込むことにより、AIモデルが文でPIIを検出する方法の例を次に示します。

genaiモデルの幻覚とは何ですか？

上記の課題とは別に、gena??iモデルを責任を負わせるために対処する必要があるもう1つの重要な懸念は幻覚です。

幻覚は現(xiàn)象であり、生成AIモデルは、ユーザーが與えられた入力と一致しない新しい存在しない情報を作成します。この情報は、多くの場合、モデルが以前に生成したものと矛盾するか、既知の事実に反している場合があります。たとえば、LLMSに「Haldiram Shoe Creamについて教えてください」と尋ねると、」彼らは存在しない架空の製品を想像し、その製品について説明するかもしれません。

genaiモデルの幻覚を検出する方法は？

Genaiモデルの幻覚を修正する最も一般的な方法は、LLM-As-A-A-Judgeを使用して幻覚スコアを計算することです。この方法では、同じプロンプトについて、裁判官LLMによって生成された3つの追加の応答とモデルの応答を比較します。結(jié)果は、それぞれ0、0.5、および1のスコアに対応する、正確または軽度の不正確さのいずれか、または主要な精度で分類されます。ここでのアイデアは、一貫性があることを確認することであったため、3つの比較スコアの平均は一貫性ベースの幻覚スコアとして取得されます。

今、私たちは再び同じ比較をしますが、セマンティックな類似性に基づいています。このため、応答間のペアワイズコサインの類似性を計算して、類似性スコアを取得します。次に、これらのスコアの平均（文レベルで平均）を1から差し引いて、セマンティックベースの幻覚スコアを取得します。ここでの根本的な仮説は、応答が複數(shù)回生成されると、幻覚応答がより低い意味類似性を示すということです。

最終的な幻覚スコアは、一貫性ベースの幻覚スコアとセマンティックベースの幻覚スコアの平均として計算されます。

genaiモデルの幻覚を検出する方法

AIに生成された応答で幻覚を検出するために採用されている他の方法を以下に示します。

• Chain-of-knowledge：この方法は、生成されたコンテンツをさまざまなソースから情報に動的にクロスチェックして、事実上の正確性を測定します。
• NLIのチェーン：これは、生成されたテキストの潛在的なエラーを検出する階層的なフレームワークです。最初に文レベルで行われ、次にエンティティレベルでより詳細なチェックが行われます。
• コンテキストの順守：これは、閉じたドメインの幻覚の尺度であり、モデルがコンテキストで提供されていない情報を生成する狀況を意味します。
• 正確性：これは、特定のモデル応答が事実であるかどうかをチェックします。正確性は、特定の文書やコンテキストに関連しないオープンドメインの幻覚や事実上の誤りを明らかにする良い方法です。
• 不確実性：これにより、モデルが出力を継続する複數(shù)の方法をランダムに決定している量を測定します。トークンレベルと応答レベルの両方で測定されます。

責任あるAIの構(gòu)築

責任あるAIの開発の課題を克服する方法を理解したので、AIを責任を持って構(gòu)築および展開する方法を見てみましょう。

責任あるAIモデルの基本的なフレームワークは次のとおりです。

上の畫像は、応答生成プロセス中に責任ある言語モデルに期待されることを示しています。モデルは、最初にプロンプ??トの毒性、PIIの識別、脫獄の試み、およびそれを処理する前に、トピック外の検出をチェックする必要があります。これには、虐待的な言語を含むプロンプトの検出、有害な応答の要求、機密情報の要求などが含まれます。そのような検出の場合、モデルはプロセスの処理または応答を拒否する必要があります。

モデルが安全であるためにプロンプ??トを特定すると、応答生成段階に移動する可能性があります。ここでは、モデルは解釈可能性、幻覚スコア、信頼性スコア、フェアネススコア、および生成された応答の毒性スコアを確認する必要があります。また、最終出力にデータリークがないことを確認する必要があります。これらのスコアのいずれかが高い場合、ユーザーに警告する必要があります。例えば。応答の幻覚スコアが50％の場合、モデルはユーザーに応答が正確でない可能性があることを警告する必要があります。

結(jié)論

AIが進化し続け、私たちの生活のさまざまな側(cè)面に統(tǒng)合し続けるにつれて、責任あるAIの構(gòu)築はかつてないほど重要です。 NISTリスク管理フレームワークは、生成AIモデルによってもたらされる複雑な課題に対処するための重要なガイドラインを設(shè)定します。これらの原則を?qū)g裝することで、AIシステムが安全で透明性があり、公平であり、ユーザー間の信頼を促進することが保証されます。また、偏った出力、データ侵害、誤った情報などの潛在的なリスクを軽減します。

責任あるAIへのパスには、AI開発者からの厳密なテストと説明責任が含まれます。最終的に、責任あるAIプラクティスを受け入れることは、個人、コミュニティ、およびより広範な社會を害から保護しながら、AIテクノロジーの最大限の可能性を活用するのに役立ちます。

よくある質(zhì)問

A.責任あるAIとは、倫理的な考慮事項、公平性、透明性、および説明責任を優(yōu)先するAIシステムの設(shè)計、開発、展開を指します。バイアス、プライバシー、セキュリティ、および個人やコミュニティへの潛在的なマイナスの影響に関する懸念に対処しています。

A. NISTリスク管理フレームワークによると、責任あるAIの7つの柱は、不確実性、安全性、セキュリティ、説明責任、透明性、公平性、プライバシーです。

A.責任あるAIの3つの柱は、人、プロセス、および技術(shù)です。人々は、誰があなたのAIを構(gòu)築しているのか、誰のために構(gòu)築されているのかを指します。プロセスとは、AIの構(gòu)築方法に関するものです。テクノロジーは、AIが構(gòu)築されているもの、それが何をするか、どのように機能するかのトピックをカバーしています。

A. Fiddler AI、Galileo's Protect Firewall、NvidiaのNemo Guardrails（オープンソース）、およびNemo評価者は、AIモデルが責任を負うための最も有用なツールの一部です。 NvidiaのNIMアーキテクチャは、開発者がAIアプリケーションを構(gòu)築するという課題を克服するのにも役立ちます。使用できるもう1つのツールは、オープンソースの幻覚評価モデルであるLynxです。

A.幻覚は、生成AIモデルがユーザーが與えられた入力と一致しない新しい存在しない情報を作成する現(xiàn)象です。この情報は、多くの場合、モデルが以前に生成したものと矛盾するか、既知の事実に反している場合があります。

A.チェーンの追跡、NLIチェックシステムのチェーンを?qū)g行し、コンテキストの順守、正確性スコア、不確実性スコアの計算、およびJUDSとしてLLMを使用することは、AIの幻覚を検出する方法の一部です。

以上が生成AIの時代の責任AIの詳細內(nèi)容です。詳細については、PHP 中國語 Web サイトの他の関連記事を參照してください。