自己反射的検索の高等世代（自己rag）：適応的検索と自己批判でLLMを強(qiáng)化する

大規(guī)模な言語(yǔ)モデル（LLM）は変革的ですが、パラメトリック知識(shí)への依存はしばしば事実上の不正確さにつながります。 検索された生成（RAG）は、外部の知識(shí)を組み込むことでこれに対処することを目指していますが、従來(lái)のRAGメソッドは制限に悩まされています。 この記事では、LLMの品質(zhì)と事実を大幅に向上させる新しいアプローチである自己狂気を調(diào)査します。

標(biāo)準(zhǔn)的なragの欠點(diǎn)に対処します

標(biāo)準(zhǔn)のRAGは、関連性に関係なく、固定數(shù)のパッセージを取得します。これにより、いくつかの問(wèn)題が発生します：

• 無(wú)関係な情報(bào)：不要なドキュメントの検索は、出力品質(zhì)を希釈します。
順応性の欠如：
• タスク要求に基づいて検索を調(diào)整できないと、一貫性のないパフォーマンスが発生します。 一貫性のない出力：
生成されたテキストは、知識(shí)統(tǒng)合に関する明示的なトレーニングがないため、取得した情報(bào)と一致しない場(chǎng)合があります。
• 自己評(píng)価の欠如：回収された通路または生成された出力の品質(zhì)または関連性を評(píng)価するためのメカニズムはありません。
• 限られたソースの帰屬：生成されたテキストのソースサポートの引用が不十分です。
• 自己狂気の導(dǎo)入：適応型検索と自己反省
自己ぼろきれは、適応的な検索と自己反省を統(tǒng)合することによりLLMSを強(qiáng)化します。標(biāo)準(zhǔn)のRAGとは異なり、「トークンを取得」を使用して、必要な場(chǎng)合にのみパッセージを動(dòng)的に取得します。 重要なのは、獨(dú)自の生成プロセスを評(píng)価するために、特別な反射トークン（IsREL（関連性）、ISSUP（サポート）、およびISUSE（ユーティリティ））を採(cǎi)用しています。

自己狂気の重要な機(jī)能は次のとおりです

オンデマンド検索：

必要な場(chǎng)合にのみ効率的な検索。

リフレクショントークン：

ISREL、ISSUP、およびISUSEトークンを使用した自己評(píng)価

• 自己批評(píng)：回収された通過(guò)の関連性と出力品質(zhì)の評(píng)価。
• エンドツーエンドのトレーニング：出力生成と反射トークン予測(cè)の同時(shí)トレーニング。>
• カスタマイズ可能なデコード：検索頻度とさまざまなタスクへの適応の柔軟な調(diào)整。
• セルフラグワークフロー
  1. 入力処理と取得決定：モデルは、外部知識(shí)が必要かどうかを判斷します。
  2. 関連するパッセージの取得：必要に応じて、関連するパッセージはレトリーバーモデル（例：Contriever-MS Marco）を使用して取得されます。
  並列処理とセグメントの生成：
  3. ジェネレーターモデルは、それぞれの検索された通路を処理し、関連する批評(píng)トークンを持つ複數(shù)の継続候補(bǔ)を作成します。 自己批評(píng)と評(píng)価：
  リフレクショントークンは、各生成されたセグメントの関連性（ISREL）、サポート（ISSUP）、およびユーティリティ（ISUSE）を評(píng)価します。
  4. 最適なセグメントと出力の選択：セグメントレベルのビーム検索は、批評(píng)トークンの確率を組み込んだ加重スコアに基づいて最適な出力シーケンスを選択します。
  5. トレーニングプロセス：2段階のトレーニングプロセスには、批評(píng)家モデルをオフラインでトレーニングしてリフレクショントークンを生成することが含まれ、その後、これらのトークンで補(bǔ)強(qiáng)されたデータを使用してジェネレーターモデルをトレーニングします。
  self-ragの利點(diǎn)自己狂気はいくつかの重要な利點(diǎn)を提供します：

  

  事実上の正確性の改善：オンデマンドの検索と自己批判は、事実上の正確さを高めることにつながります。

  強(qiáng)化された関連性：

  適応的検索により、関連情報(bào)のみが使用されることが保証されます。

  より良い引用と検証可能性：
  • 詳細(xì)な引用と評(píng)価により、透明性と信頼性が向上します。 カスタマイズ可能な動(dòng)作：
  反射トークンでは、タスク固有の調(diào)整を可能にします。
  • 効率的な推論：
  オフライン批評(píng)家モデルトレーニングは、推論のオーバーヘッドを減らします
  • LangchainとLanggraph を使用した
  • 実裝 この記事では、LangchainとLanggraphを使用した実用的な実裝を詳しく説明し、依存関係のセットアップ、データモデル定義、ドキュメント処理、評(píng)価者の構(gòu)成、RAGチェーン設(shè)定、ワークフロー機(jī)能、ワークフロー構(gòu)築、テストをカバーしています。 コードは、さまざまなクエリを処理し、その応答の関連性と正確性を評(píng)価できる自己ぼろきシステムを構(gòu)築する方法を示しています。
  self-ragの制限
  • その利點(diǎn)にもかかわらず、自己ragには制限があります：
  • 完全にサポートされていない出力：出力は、引用された証拠によって常に完全にサポートされるとは限りません。
  • 事実上の誤りの可能性：改善されている間、事実上の誤りは引き続き発生する可能性があります。
  モデルサイズのトレードオフ：
  • より小さなモデルは、実際には正確に大きいモデルを上回ることがあります。 カスタマイズのトレードオフ：
  反射トークンの重みの調(diào)整は、出力の他の側(cè)面に影響を與える可能性があります（たとえば、流ency）。
  • 結(jié)論

  自己狂気は、LLMテクノロジーの大幅な進(jìn)歩を表しています。適応的検索と自己反省を組み合わせることにより、標(biāo)準(zhǔn)のRAGの重要な制限に対処し、より正確で関連性があり、検証可能な出力をもたらします。 フレームワークのカスタマイズ可能な性質(zhì)により、動(dòng)作を多様なアプリケーションに合わせて調(diào)整することができ、事実上の正確さを必要とするさまざまなタスクの強(qiáng)力なツールになります。 提供されたLangchainとLanggraphの実裝は、自己速度システムを構(gòu)築および展開(kāi)するための実用的なガイドを提供します。 よくある質(zhì)問(wèn)（FAQS）

  （元のテキストのFAQセクションはここに保持されています。）

  Q1。セルフラグとは？A.自己rag（自己反射的検索の高等生成）は、オンデマンド検索と自己反省を組み合わせて事実上の正確性と関連性を高めることにより、LLMのパフォーマンスを改善するフレームワークです。

  q2。標(biāo)準(zhǔn)のRAGとの自己狂気はどのように異なりますか？A。標(biāo)準(zhǔn)のRAGとは異なり、自己ragは必要な場(chǎng)合にのみパッセージを取得し、反射トークンを使用して出力を批判し、タスク要件に基づいて動(dòng)作を適応させます。

  q3。反射トークンとは？A.反射トークン（ISREL、ISSUP、ISUSE）の検索関連、生成されたテキストのサポート、および全體的な有用性を評(píng)価し、自己評(píng)価とより良い出力を可能にします。

  Q4。自己ぼろきれの主な利點(diǎn)は何ですか？ ??A.自己狂気は精度を向上させ、事実上のエラーを減らし、より良い引用を提供し、推論中にタスク固有のカスタマイズを可能にします。

  Q5。自己負(fù)擔(dān)は事実上の不正確さを完全に排除することができますか？A。いいえ、自己負(fù)擔(dān)は不正確さを大幅に減らしますが、LLMのような事実上の誤りを時(shí)折する傾向があります。

  （注：畫像は元の形式と場(chǎng)所のままです。）

以上が自己ぼろきれ：いつ再確認(rèn)するかを知っているAIの詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國(guó)語(yǔ) Web サイトの他の関連記事を參照してください。