導入

データに基づいて動作する現(xiàn)在の世界では、リレーショナルAIグラフ（RAG）は、データを相関させ、関係をマッピングすることにより、産業(yè)に大きな影響を與えます。しかし、その意味で他の人よりも少し多く行くことができたらどうでしょうか？マルチモーダルのぼろきれ、テキストと畫像、ドキュメントなどを?qū)毪筏啤ⅴ签`タのより良いプレビューを提供します。 Azure Document Intelligenceの新しい高度な機能は、RAGの機能を拡張します。これらの機能は、マルチモーダルデータを抽出、分析、解釈するための不可欠なツールを提供します。この記事では、RAGを定義し、マルチモダリティがそれを強化する方法を説明します。また、これらの高度なシステムを構(gòu)築するために、Azure Document Intelligenceがどのように重要であるかについても説明します。

これは、2024年のDatahack Summitで、マルチモダリティとAzure Document Intelligenceを備えたSuperCharge Ragに関するManoranjan Rajguruの最近の講演に基づいています。

學習成果

• リレーショナルAIグラフ（RAG）のコア概念と、データ分析におけるそれらの重要性を理解します。
• RAGシステムの機能と精度を高めるために、マルチモーダルデータの統(tǒng)合を調(diào)査します。
• Azure Document Intelligenceを使用して、さまざまなAIモデルを介してマルチモーダルラグを構(gòu)築および最適化する方法を?qū)Wびます。
• 詐欺検出、顧客サービス、および創(chuàng)薬におけるマルチモーダルラグの実用的なアプリケーションに関する洞察を得る。
• マルチモーダルラグおよび関連するAIテクノロジーで知識を向上させるための將來のトレンドとリソースを発見してください。

目次

• 導入
• リレーショナルAIグラフ（RAG）とは何ですか？
  • RAGコンポーネントの解剖學
• マルチモダリティとは何ですか？
• Azure Document Intelligenceとは何ですか？
• マルチモーダルラグの理解
• マルチモーダルラグの利點
  • エンティティ認識の改善
  • 強化された関係抽出
  • より良い知識グラフ構(gòu)造
• ragのAzureドキュメントインテリジェンス
• Azure Document Intelligenceを使用してマルチモーダルRAGシステムの構(gòu)築：ステップバイステップガイド
  • モデルトレーニング
  • 評価と改良
• マルチモーダルラグのユースケース
  • 詐欺検出
  • カスタマーサービスチャットボット
  • 創(chuàng)薬
• マルチモーダルラグの未來
• よくある質(zhì)問

リレーショナルAIグラフ（RAG）とは何ですか？

リレーショナルAIグラフ（RAG）は、グラフ形式のデータエンティティ間の関係をマッピング、保存、分析するためのフレームワークです。情報は相互接続されており、分離されていないという原則に基づいています。このグラフベースのアプローチは、複雑な関係の概要を示し、従來のデータアーキテクチャよりも洗練された分析を可能にします。

通常のぼろきれでは、データは2つの主要なコンポーネントに保存され、ノードまたはエンティティであり、2つ目はエンティティ間のエッジまたは関係です。たとえば、ノードはクライアントに対応できますが、顧客サービスアプリケーションで使用されている場合、その顧客が行った購入にはエッジに対応できます。このグラフは、それらの間のさまざまなエンティティと関係をキャプチャし、企業(yè)が顧客の行動、傾向、または外れ値についてさらに分析するのに役立ちます。

RAGコンポーネントの解剖學

• エキスパートシステム：Azure Form Recoldizer、レイアウトモデル、ドキュメントライブラリ。
• データ摂取：さまざまなデータ形式の処理。
• チャンキング：データチャンキングのための最良の戦略。
• インデックス作成：クエリ、フィルター、ファセット、スコアリングを検索します。
• プロンプト：ベクター、セマンティック、または従來のアプローチ。
• ユーザーインターフェイス：データプレゼンテーションの設(shè)計。
• 統(tǒng)合：Azure Cognitive Search and Openaiサービス。

マルチモダリティとは何ですか？

リレーショナルAIグラフと現(xiàn)在のAIシステムを調(diào)査すると、マルチモーダルとは、さまざまなタイプまたは「モダリテ?！工吻閳螭騽I理し、単一の再発サイクル內(nèi)でそれらを融合するシステムの容量を意味します。すべてのモダリティは、特定のタイプのデータ、たとえば、テキスト、畫像、オーディオ、またはグラフを構(gòu)築するための関連データを備えた構(gòu)造化されたセットに対応し、データの相互依存関係の分析を可能にします。

マルチモダリティは、AIシステムが多様な情報源を処理し、より深い洞察を抽出できるようにすることにより、1つの形式のデータを処理する従來のアプローチを拡張します。 RAGシステムでは、マルチモダリティは、エンティティを認識し、関係を理解し??、さまざまなデータ形式から知識を抽出するシステムの能力を高め、より正確で詳細な知識グラフに貢獻するため、特に価値があります。

Azure Document Intelligenceとは何ですか？

Azure Document Intelligenceは、以前はAzure Form Recoldizerと呼ばれていました。これは、構(gòu)造化または非構(gòu)造化されていない領(lǐng)収書、請求書、その他の多くのデータ型などのドキュメントから組織が抽出できるMicrosoft Azureサービスです。このサービスは、ドキュメントのコンテンツの読み取りと理解に役立つ既製のAIモデルに依存しています。LELIECのクライアントは、ドキュメント処理を最適化し、手動データ入力を回避し、データから貴重な洞察を抽出できます。

Azure Document Intelligenceを使用すると、ユーザーはMLアルゴリズムとNLPを活用して、システムが名前、日付、數(shù)字、請求書、テーブル、およびエンティティ間の関係などの特定のエンティティを認識できるようにします。 PDFS、JPEGとPNGのフォーマットを備えた畫像、および多くの企業(yè)に適したツールになるスキャンドキュメントなどのフォーマットを受け入れます。

マルチモーダルラグの理解

マルチモーダルRAGシステムは、テキスト、畫像、構(gòu)造化されたデータなどのさまざまなデータタイプを統(tǒng)合することにより、従來のRAGを強化します。このアプローチは、知識の抽出と関係マッピングのより全體的な見方を提供します。これにより、より強力な洞察と意思決定が可能になります。マルチモダリティを使用することにより、RAGシステムは多様な情報源を処理および相関させることができ、分析をより適応性と包括的にすることができます。

マルチモダリティを備えたスーパーチャージングラグ

従來のぼろきれは主に構(gòu)造化されたデータに焦點を當てていますが、実際の情報にはさまざまな形があります。マルチモーダルデータ（ドキュメント、畫像、またはオーディオからのテキストなど）を組み込むことにより、ぼろきれが大幅に能力が高くなります。マルチモーダルのぼろきれは次のとおりです。

• 複數(shù)のソースからデータを統(tǒng)合する：テキスト、畫像、その他のデータ型を同時に使用して、より複雑な関係をマッピングします。
• コンテキストの強化：視覚データまたはオーディオデータをテキストデータに追加すると、関係、エンティティ、知識に関するシステムの理解が豊かになります。
• 複雑なシナリオを処理する：ヘルスケアなどのセクターでは、マルチモーダルラグは醫(yī)療記録、診斷畫像、および患者データを統(tǒng)合して徹底的な知識グラフを作成し、単一モダリティモデルが提供できるものを超えて洞察を提供できます。

マルチモーダルラグの利點

ここで、以下のマルチモーダルラグの利點を探りましょう。

エンティティ認識の改善

マルチモーダルラグは、複數(shù)のデータ型を活用できるため、エンティティを識別する方が効率的です。たとえば、テキストのみに依存する代わりに、畫像データまたはスプレッドシートから構(gòu)造化されたデータを相互參照して、正確なエンティティの認識を確保できます。

強化された関係抽出

関係の抽出は、マルチモーダルデータにより微妙になります。テキストだけでなく、畫像、ビデオ、またはPDFを処理することにより、マルチモーダルのRAGシステムは、従來のぼろを見逃す可能性のある複雑で階層化された関係を検出できます。

より良い知識グラフ構(gòu)造

マルチモーダルデータの統(tǒng)合により、実際のシナリオをより効果的にキャプチャする知識グラフを構(gòu)築する機能が向上します。システムは、さまざまな形式にわたってデータをリンクでき、知識グラフの深さと精度の両方を改善できます。

ragのAzureドキュメントインテリジェンス

Azure Document Intelligenceは、ドキュメントから情報を抽出するためのMicrosoftのAIツールのスイートです。リレーショナルAIグラフ（RAG）と統(tǒng)合されているため、ドキュメントの理解が向上します。ドキュメントの解析、エンティティ認識、関係抽出、および質(zhì)問回答に事前に構(gòu)築されたモデルを使用します。この統(tǒng)合は、RAGが請求書や契約などの非構(gòu)造化データを処理し、知識グラフ內(nèi)の構(gòu)造化された洞察に変換するのに役立ちます。

ドキュメント理解のための事前に構(gòu)築されたAIモデル

Azureは、PDF、畫像、構(gòu)造化されたテキストデータなど、複雑なドキュメント形式を処理および理解できる事前に訓練されたAIモデルを提供します。これらのモデルは、ドキュメント処理パイプラインを自動化および強化し、RAGシステムにシームレスに接続するように設(shè)計されています。事前に構(gòu)築されたモデルは、光學文字認識（OCR）、レイアウト抽出、特定のドキュメントフィールドの検出などの堅牢な機能を提供し、RAGシステムとの統(tǒng)合をスムーズで効果的にします。

これらのモデルを利用することにより、組織は、請求書、領(lǐng)収書、研究論文、法的契約など、ドキュメントからデータを簡単に抽出および分析できます。これにより、ワークフローが高速化され、人間の介入が減少し、RAGシステムの知識グラフ內(nèi)に重要な洞察がキャプチャおよび保存されるようになります。

名前付きエンティティ認識（NER）によるエンティティ認識

Azureの名前付きエンティティ認識（NER）は、テキストが多いドキュメントから構(gòu)造化された情報を抽出する鍵です。文書內(nèi)の人、場所、日付、組織などのエンティティを識別し、それらをリレーショナルグラフに接続します。 Multimodal Ragに統(tǒng)合されると、NERは、さまざまなドキュメントタイプにわたって名前、日付、用語を認識することにより、エンティティのリンクの精度を向上させます。

たとえば、財務文書では、NERを使用して、顧客名、取引額、または會社の識別子を抽出できます。このデータは、これらのエンティティ間の関係が自動的にマッピングされるRAGシステムに供給され、組織が正確に大規(guī)模なドキュメントコレクションを照會して分析できるようになります。

キーフレーズ抽出による関係抽出（KPE）

Azure Document Intelligenceのもう1つの強力な機能は、キーフレーズ抽出（KPE）です。この機能は、ドキュメント內(nèi)の重要な関係または概念を表す重要なフレーズを自動的に識別します。 KPEは、製品名、法的用語、またはテキストからの薬物相互作用などのフレーズを抽出し、RAGシステム內(nèi)でリンクします。

マルチモーダルラグでは、KPEは、テキスト、畫像、オーディオトランスクリプトなどのさまざまなモダリティの重要な用語を接続します。これにより、より豊富な知識グラフが構(gòu)築されます。たとえば、ヘルスケアでは、KPEは醫(yī)療記録から薬物名と癥狀を抽出します。このデータを研究にリンクし、正確な醫(yī)學的意思決定を支援する包括的なグラフを作成します。

QNAメーカーとの質(zhì)問

AzureのQNAメーカーは、ドキュメントをインタラクティブな質(zhì)問と回答システムに変換することにより、インテリジェンスを文書化するために會話のディメンションを追加します。ユーザーは、ドキュメント內(nèi)の情報に基づいてドキュメントを照會し、正確な回答を受信できます。マルチモーダルRAGと組み合わせると、この機能により、ユーザーは複數(shù)のデータ形式でクエリを行い、テキスト、畫像、または構(gòu)造化されたデータに依存する複雑な質(zhì)問をすることができます。

たとえば、法的文書分析では、ユーザーはQNAメーカーに契約またはコンプライアンスレポートから関連する條項を引き出すように依頼できます。この機能は、複雑なクエリに即座に正確な応答を提供することにより、ドキュメントベースの意思決定を大幅に強化し、RAGシステムはさまざまなエンティティと概念間の関係が維持されることを保証します。

Azure Document Intelligenceを使用してマルチモーダルRAGシステムの構(gòu)築：ステップバイステップガイド

Azure Document Intelligenceを使用してマルチモーダルラグを構(gòu)築する方法のステップバイステップガイドに深く掘り下げます。

データの準備

Azure Document Intelligenceを使用したマルチモーダルリレーショナルAIグラフ（RAG）を構(gòu)築する最初のステップは、データの準備です。これには、テキストドキュメント、畫像、テーブル、その他の構(gòu)造化/非構(gòu)造化データなどのマルチモーダルデータの収集が含まれます。 Azure Document Intelligenceは、多様なデータ型を処理する機能を備えており、このプロセスを次の點で簡素化します。

• ドキュメント解析： Azure Form RecoldizerまたはOCR Servicesを使用して、ドキュメントから関連情報を抽出します。これらのツールはテキストを識別してデジタル化し、さらなる分析に適しています。
• エンティティ認識：名前のあるエンティティ認識（NER）を利用して、ドキュメントの人、場所、日付などのエンティティにタグを付けます。
• データ構(gòu)造化：認識されたエンティティを、関係の抽出とRAGモデルの構(gòu)築に使用できる形式に整理します。 JSONやCSVなどの構(gòu)造化された形式は、このデータを保存するために一般的に使用されます。

Azureのドキュメント処理モデルは、グラフモデリングのための構(gòu)造化形式に多様なデータを収集、クリーニング、整理するという退屈な作業(yè)の多くを自動化します。

モデルトレーニング

データを取得した後、実行する必要がある次のプロセスは、RAGモデルのトレーニングです。そして、これは、モデルがさまざまなタイプのデータとその相互接続を気にかけなければならないため、マルチモダリティが実際に役立つ場所です。

• マルチモーダルデータの統(tǒng)合：具體的には、ナレッジグラフには、マルチモーダルラグをトレーニングするために、テキスト情報、畫像情報、RAGの構(gòu)造化された情報を含める必要があります。 PytorchまたはTensorflowおよびAzure Cognitiveサービスを利用して、さまざまな種類のデータで動作するモデルをトレーニングすることができます。
• Azureの事前に訓練されたモデルの活用： Azure Document Intelligenceには、エンティティ検出、キーワード抽出、テキストの要約など、さまざまなタスクの既製のソリューションがあることを考慮することができます。これらのモデルの開放性により、知識グラフがエンティティと関係をよく識別することを保証するために、特定の仕様のセットに従ってこれらのモデルの調(diào)整を可能にします。
• ぼろきれに知識を埋め込む： RAGでは、認識されているエンティティでは、重要なフレーズと関係が導入されます。これにより、モデルはデータと大規(guī)模データセットのデータポイント間の関係を解釈することができます。

評価と改良

最後のステップは、マルチモーダルRAGモデルを評価および改良して、実際のシナリオの精度と関連性を確保することです。

• モデルの検証：検証のためにデータのサブセットを使用して、Azureのツールは、エンティティ認識、関係抽出、コンテキスト理解などの領(lǐng)域でのRAGのパフォーマンスを測定できます。
• 反復改良：検証結(jié)果に基づいて、モデルのハイパーパラメーターを調(diào)整したり、埋め込みを微調(diào)整したり、データをさらにクリーニングする必要があります。 AzureのAI Pipelineは、継続的なモデルトレーニングと評価のためのツールを提供し、RAGモデルを繰り返し簡単に調(diào)整できるようにします。
• ナレッジグラフの拡張：より多くのマルチモーダルデータが利用可能になると、RAGを拡張して新しい洞察を組み込むことができ、モデルが最新かつ関連性のあるままであることを確認できます。

マルチモーダルラグのユースケース

マルチモーダルリレーショナルAIグラフ（RAGS）は、さまざまなデータ型の統(tǒng)合を活用して、さまざまなドメインで強力な洞察を提供します。テキスト、畫像、および構(gòu)造化されたデータを統(tǒng)合グラフに組み合わせる機能により、いくつかの実際のアプリケーションで特に効果的になります。さまざまなユースケースでマルチモーダルラグを使用する方法は次のとおりです。

詐欺検出

詐欺検出は、さまざまな形式のデータを統(tǒng)合して、不正な活動を示す可能性のあるパターンと異常を明らかにすることにより、マルチモーダルのぼろきれが優(yōu)れている領(lǐng)域です。

• テキストデータと視覚データの統(tǒng)合：トランザクションレコードからのテキストデータをセキュリティ映像やドキュメント（請求書や領(lǐng)収書など）からの視覚データと組み合わせることにより、RAGはトランザクションの包括的なビューを作成できます。たとえば、請求書イメージがトランザクションレコードのテキストデータと一致しない場合、潛在的な矛盾にフラグを立てることができます。
• 強化された異常検出：マルチモーダルアプローチにより、より洗練された異常検出が可能になります。たとえば、RAGは、トランザクションデータの異常なパターンをスキャンされたドキュメントまたは畫像の視覚的異常と相関させ、より堅牢な詐欺検出メカニズムを提供することができます。
• コンテキスト分析：さまざまなソースからのデータを組み合わせることで、コンテキストの理解を深めることができます。たとえば、疑わしいトランザクションパターンを顧客の行動や外部データ（既知の詐欺スキームなど）とリンクすると、詐欺検出の正確性が向上します。

カスタマーサービスチャットボット

マルチモーダルラグは、顧客のやり取りをより豊かに理解することにより、カスタマーサービスチャットボットの機能を大幅に向上させます。

• コンテキストの理解：顧客クエリからのテキストを以前のインタラクションや視覚データ（製品畫像や図など）からのコンテキスト情報と統(tǒng)合することにより、チャットボットはより正確でコンテキストに関連する応答を提供できます。
• 複雑なクエリの処理：マルチモーダルラグにより??、チャットボットは複數(shù)のタイプのデータを含む複雑なクエリを理解して処理できます。たとえば、顧客が注文のステータスについて尋ねると、チャットボットはテキストベースの注文の詳細や視覚データ（マップの追跡など）にアクセスして包括的な応答を提供できます。
• 改善された相互作用の品質(zhì)： RAGに保存されている関係とエンティティを活用することにより、チャットボットは、顧客の履歴、好み、およびさまざまなデータタイプとのやり取りに基づいてパーソナライズされた応答を提供できます。

創(chuàng)薬

創(chuàng)薬の分野では、マルチモーダルラグは、さまざまなデータソースの統(tǒng)合を促進し、研究開発プロセスを加速します。

• データ統(tǒng)合：創(chuàng)薬には、科學文獻、臨床試験、実験結(jié)果、および分子構(gòu)造からのデータが含まれます。マルチモーダルラグは、これらの異なるデータ型を統(tǒng)合して、より情報に基づいた意思決定をサポートする包括的な知識グラフを作成します。
• 関係の抽出：さまざまなデータソースからさまざまなエンティティ（薬物化合物、タンパク質(zhì)、疾患など）間の関係を抽出することにより、ぼろきれは潛在的な薬物候補を特定し、その効果をより正確に予測するのに役立ちます。
• 強化された知識グラフ構(gòu)造：マルチモーダルラグにより??、実験データと研究結(jié)果や分子データをリンクする詳細な知識グラフの構(gòu)築が可能になります。この全體的な見方は、新薬の標的を特定し、既存の薬物の作用メカニズムを理解するのに役立ちます。

マルチモーダルラグの未來

今後、マルチモーダルラグの未來は変革的に設(shè)定されています。 AIと機械學習の進歩は、その進化を促進します。將來の開発は、精度とスケーラビリティの向上に焦點を當てます。これにより、より洗練された分析とリアルタイムの意思決定機能が可能になります。

強化されたアルゴリズムとより強力な計算リソースは、ますます複雑なデータセットの処理を促進します。これにより、洞察を明らかにし、結(jié)果を予測する上でぼろきれがより効果的になります。さらに、量子コンピューティングや高度なニューラルネットワークなどの新興技術(shù)の統(tǒng)合により、マルチモーダルラグの潛在的なアプリケーションをさらに拡大する可能性があります。これにより、多様な分野でのブレークスルーへの道が開かれる可能性があります。

結(jié)論

Azure Document Intelligenceなどの高度なテクノロジーとのマルチモーダルリレーショナルAIグラフ（RAG）の統(tǒng)合は、データ分析や人工知能における大きな前進を表しています。マルチモーダルデータ統(tǒng)合を活用することにより、組織は意味のある洞察を抽出する能力を高めることができます。このアプローチは、意思決定プロセスを改善し、さまざまなドメインで複雑な課題に対処します。テキスト、畫像、および構(gòu)造化されたデータの多様なデータ型の相乗効果は、より包括的な分析を可能にします。また、より正確な予測につながります。この統(tǒng)合は、詐欺検出から創(chuàng)薬までの範囲のアプリケーションの革新と効率を促進します。

もっと學ぶためのリソース

マルチモーダルのぼろきれや関連技術(shù)の理解を深めるには、次のリソースを探索することを検討してください。

• Microsoft Azureドキュメント
• AIおよびナレッジグラフコミュニティブログ
• CourseraとEdxのマルチモーダルAIおよびグラフテクノロジーのコース

よくある質(zhì)問

A.リレーショナルAIグラフ（RAG）は、異なるエンティティ間の関係を表し、整理するデータ構(gòu)造です。データセット內(nèi)のさまざまな要素間の接続をマッピングすることにより、データの検索と分析を強化し、より洞察に富んだ効率的なデータ相互作用を促進します。

A.マルチモダリティは、さまざまなタイプのデータ（テキスト、畫像、テーブルなど）を単一のコヒーレントフレームワークに統(tǒng)合することにより、RAGシステムを強化します。この統(tǒng)合により、エンティティの認識、関係抽出、および知識グラフ構(gòu)造の正確性と深さが向上し、より堅牢で多用途のデータ分析につながります。

A. Azure Document Intelligenceは、エンティティ認識、関係抽出、質(zhì)問への回答、ドキュメントの理解とデータ統(tǒng)合の簡素化のためのAIモデルを提供します。

A.アプリケーションには、詐欺検出、カスタマーサービスチャットボット、および創(chuàng)薬が含まれ、結(jié)果の改善のための包括的なデータ分析を活用します。

A.將來の進歩により、さまざまなデータ型の統(tǒng)合が強化され、さまざまな業(yè)界での精度、効率、およびスケーラビリティが向上します。

以上がマルチモダリティとAzure Document Intelligenceを備えたRAGの詳細內(nèi)容です。詳細については、PHP 中國語 Web サイトの他の関連記事を參照してください。