介紹

在基于數(shù)據(jù)運行的當(dāng)前世界中，關(guān)系A(chǔ)I圖（RAG）通過關(guān)聯(lián)數(shù)據(jù)并繪制關(guān)系來對行業(yè)產(chǎn)生很大影響。但是，如果一個人在這個意義上比另一個要多得多，該怎么辦？引入多模式抹布，文本和圖像，文檔等，以更好地預(yù)覽數(shù)據(jù)。 Azure文檔智能中的新高級功能擴展了RAG的功能。這些功能為提取，分析和解釋多模式數(shù)據(jù)提供了必不可少的工具。本文將定義抹布，并解釋多模式如何增強它。我們還將討論Azure文檔智能對于構(gòu)建這些高級系統(tǒng)至關(guān)重要。

這是基于Manoranjan Rajguru在2024年Datahack Summit中對Manoranjan Rajguru關(guān)于增壓和Azure文檔智能的增壓抹布的最新演講。

學(xué)習(xí)成果

• 了解關(guān)系A(chǔ)I圖（RAG）的核心概念及其在數(shù)據(jù)分析中的重要性。
• 探索多模式數(shù)據(jù)的集成，以增強抹布系統(tǒng)的功能和準(zhǔn)確性。
• 了解如何使用Azure文檔智能通過各種AI模型來構(gòu)建和優(yōu)化多模式的破布。
• 在欺詐檢測，客戶服務(wù)和藥物發(fā)現(xiàn)中，了解多模式破布的實際應(yīng)用。
• 發(fā)現(xiàn)未來的趨勢和資源，以促進(jìn)您在多模式抹布和相關(guān)AI技術(shù)方面的知識。

目錄

• 介紹
• 什么是關(guān)系A(chǔ)I圖（RAG）？
  • 抹布組件的解剖結(jié)構(gòu)
• 什么是多模式？
• 什么是Azure文檔智能？
• 了解多模式抹布
• 多模式抹布的好處
  • 改進(jìn)的實體識別
  • 增強的關(guān)系提取
  • 更好的知識圖構(gòu)造
• Azure文檔智能抹布
• 使用Azure文檔智能構(gòu)建多模式的抹布系統(tǒng)：分步指南
  • 模型培訓(xùn)
  • 評估和改進(jìn)
• 多模式抹布的用例
  • 欺詐檢測
  • 客戶服務(wù)聊天機器人
  • 藥物發(fā)現(xiàn)
• 多模式抹布的未來
• 常見問題

什么是關(guān)系A(chǔ)I圖（RAG）？

關(guān)系A(chǔ)I圖（RAG）是用于映射，存儲和分析圖形格式數(shù)據(jù)之間關(guān)系的框架。它的運作是根據(jù)信息互連而不是隔離的原則。這種基于圖的方法概述了復(fù)雜的關(guān)系，比傳統(tǒng)數(shù)據(jù)體系結(jié)構(gòu)更復(fù)雜的分析。

在常規(guī)的抹布中，數(shù)據(jù)存儲在兩個主要組件中，它們是節(jié)點或?qū)嶓w，第二個是實體之間的邊緣或關(guān)系。例如，該節(jié)點可以與客戶端相對應(yīng)，而邊緣（如果客戶在客戶服務(wù)應(yīng)用程序中使用），則可以與客戶進(jìn)行。該圖可以捕獲它們之間的不同實體及其關(guān)系，并幫助企業(yè)對客戶的行為，趨勢甚至異常值進(jìn)行進(jìn)一步分析。

抹布組件的解剖結(jié)構(gòu)

• 專家系統(tǒng)：Azure形式識別器，布局模型，文檔庫。
• 數(shù)據(jù)攝入：處理各種數(shù)據(jù)格式。
• 塊：數(shù)據(jù)塊的最佳策略。
• 索引：搜索查詢，過濾器，方面，評分。
• 提示：矢量，語義或傳統(tǒng)方法。
• 用戶界面：設(shè)計數(shù)據(jù)顯示。
• 集成：Azure認(rèn)知搜索和OpenAI服務(wù)。

什么是多模式？

探索關(guān)系A(chǔ)I圖和當(dāng)今的AI系統(tǒng)，多模式是指系統(tǒng)處理不同類型或“模態(tài)”信息并在單個復(fù)發(fā)周期內(nèi)合并它們的能力。每種模式都對應(yīng)于特定類型的數(shù)據(jù)，例如文本，圖像，音頻或任何帶有用于構(gòu)建圖形的相關(guān)數(shù)據(jù)的結(jié)構(gòu)化設(shè)置，從而可以分析數(shù)據(jù)的相互依賴性。

多模式通過允許AI系統(tǒng)處理各種信息來源并提取更深入的見解，從而擴展了處理一種數(shù)據(jù)形式的傳統(tǒng)方法。在抹布系統(tǒng)中，多模式特別有價值，因為它增強了系統(tǒng)識別實體，理解關(guān)系和從各種數(shù)據(jù)格式中提取知識的能力，從而有助于更準(zhǔn)確，更詳細(xì)的知識圖。

什么是Azure文檔智能？

Azure文檔智能以前稱為Azure形式識別器是Microsoft Azure服務(wù)，它使組織能夠從形式的結(jié)構(gòu)化或非結(jié)構(gòu)化收據(jù)，發(fā)票和許多其他數(shù)據(jù)類型等文檔中提取信息。該服務(wù)依靠現(xiàn)成的AI模型，這些模型有助于閱讀和理解文檔的內(nèi)容，Relief的客戶可以優(yōu)化其文檔處理，避免手動數(shù)據(jù)輸入并從數(shù)據(jù)中提取寶貴的見解。

Azure文檔智能允許用戶利用ML算法和NLP，使系統(tǒng)能夠識別特定的實體，例如名稱，日期，發(fā)票，表格中的數(shù)字，表格和實體之間的關(guān)系。它接受諸如PDF的格式，具有JPEG和PNG格式的圖像以及掃描文檔，使其成為適合許多企業(yè)的工具。

了解多模式抹布

多模式抹布系統(tǒng)通過整合各種數(shù)據(jù)類型（例如文本，圖像和結(jié)構(gòu)化數(shù)據(jù)）來增強傳統(tǒng)抹布。這種方法為知識提取和關(guān)系映射提供了更全面的看法。它允許更有力的見解和決策。通過使用多模式，RAG系統(tǒng)可以處理和關(guān)聯(lián)各種信息源，從而使分析更加適應(yīng)性和全面。

用多模式增壓抹布

傳統(tǒng)的破布主要關(guān)注結(jié)構(gòu)化數(shù)據(jù)，但現(xiàn)實世界中的信息有多種形式。通過合并多模式數(shù)據(jù)（例如，文檔，圖像甚至音頻的文本），抹布變得更加強大。多模式抹布可以：

• 整合來自多個來源的數(shù)據(jù)：同時使用文本，圖像和其他數(shù)據(jù)類型來繪制更復(fù)雜的關(guān)系。
• 增強上下文：將視覺或音頻數(shù)據(jù)添加到文本數(shù)據(jù)中豐富了系統(tǒng)對關(guān)系，實體和知識的理解。
• 處理復(fù)雜的方案：在醫(yī)療保健等領(lǐng)域，多模式抹布可以整合醫(yī)療記錄，診斷圖像和患者數(shù)據(jù)以創(chuàng)建詳盡的知識圖，從而提供超出單模型模型提供的見解。

多模式抹布的好處

現(xiàn)在讓我們探索以下多模式抹布的好處：

改進(jìn)的實體識別

多模式抹布在識別實體方面更有效，因為它們可以利用多種數(shù)據(jù)類型。例如，它們可以交叉引用圖像數(shù)據(jù)或從電子表格的結(jié)構(gòu)化數(shù)據(jù)來確保準(zhǔn)確的實體識別，而不是僅僅依靠文本。

增強的關(guān)系提取

通過多模式數(shù)據(jù)，關(guān)系提取變得更加細(xì)微。通過不僅處理文本，還處理圖像，視頻或PDF，多模式的抹布系統(tǒng)可以檢測傳統(tǒng)抹布可能會錯過的復(fù)雜的，分層的關(guān)系。

更好的知識圖構(gòu)造

多模態(tài)數(shù)據(jù)的集成增強了構(gòu)建知識圖的能力，以更有效地捕獲現(xiàn)實世界情景。該系統(tǒng)可以將數(shù)據(jù)鏈接到各種格式上，從而提高知識圖的深度和準(zhǔn)確性。

Azure文檔智能抹布

Azure文檔智能是Microsoft的AI工具套件，用于從文檔中提取信息。與關(guān)系A(chǔ)I圖（RAG）集成，可以增強文檔的理解。它使用預(yù)先構(gòu)建的模型來進(jìn)行文檔解析，實體識別，關(guān)系提取和提問。這種集成有助于抹布處理非結(jié)構(gòu)化數(shù)據(jù)，例如發(fā)票或合同，并將其轉(zhuǎn)換為知識圖內(nèi)的結(jié)構(gòu)化見解。

預(yù)先構(gòu)建的AI模型用于文檔理解

Azure提供了預(yù)訓(xùn)練的AI模型，可以處理和理解復(fù)雜的文檔格式，包括PDF，圖像和結(jié)構(gòu)化文本數(shù)據(jù)。這些模型旨在自動化和增強文檔處理管道，無縫連接到抹布系統(tǒng)。預(yù)構(gòu)建的型號具有強大的功能，例如光學(xué)特征識別（OCR），布局提取以及對特定文檔字段的檢測，從而使與抹布系統(tǒng)的集成順利有效。

通過利用這些模型，組織可以輕松地從文檔中提取和分析數(shù)據(jù)，例如發(fā)票，收據(jù)，研究論文或法律合同。這加快了工作流程，減少人類干預(yù)，并確保在抹布系統(tǒng)的知識圖中捕獲并存儲關(guān)鍵的見解。

具有指定實體識別（NER）的實體識別

Azure的命名實體識別（NER）是從文本繁重文檔中提取結(jié)構(gòu)化信息的關(guān)鍵。它標(biāo)識了文檔中的人，位置，日期和組織等實體，并將其連接到關(guān)系圖。當(dāng)整合到多模式抹布中時，NER通過識別各種文檔類型的名稱，日期和術(shù)語來增強實體鏈接的準(zhǔn)確性。

例如，在財務(wù)文件中，NER可用于提取客戶名稱，交易金額或公司標(biāo)識符。然后將這些數(shù)據(jù)饋送到抹布系統(tǒng)中，這些數(shù)據(jù)會自動映射這些實體之間的關(guān)系，從而使組織能夠精確查詢和分析大型文檔收集。

與關(guān)鍵短語提?。↘PE）的關(guān)系提取

Azure文檔智能的另一個強大功能是關(guān)鍵短語提取（KPE）。此能力自動確定代表文檔中重要關(guān)系或概念的關(guān)鍵短語。 KPE從文本中提取諸如產(chǎn)品名稱，法律術(shù)語或藥物互動之類的短語，并將其鏈接在抹布系統(tǒng)中。

在多模式的抹布中，KPE連接了各種模態(tài)的關(guān)鍵術(shù)語 - 文本，圖像和音頻成績單。這構(gòu)建了更豐富的知識圖。例如，在醫(yī)療保健中，KPE從病歷中提取了藥物名稱和癥狀。它將這些數(shù)據(jù)與研究聯(lián)系起來，創(chuàng)建一個綜合圖，有助于準(zhǔn)確的醫(yī)療決策。

與QNA制造商回答的問題

Azure的QNA制造商通過將文檔轉(zhuǎn)換為交互式問答系統(tǒng)來增加對話智能的對話維度。它允許用戶查詢文檔并根據(jù)其中的信息接收精確的答案。當(dāng)與多模式抹布結(jié)合使用時，此功能使用戶能夠跨多個數(shù)據(jù)格式查詢，詢問依賴文本，圖像或結(jié)構(gòu)化數(shù)據(jù)的復(fù)雜問題。

例如，在法律文檔分析中，用戶可以要求QNA制造商從合同或合規(guī)報告中提取相關(guān)條款。這種能力通過提供對復(fù)雜查詢的即時，準(zhǔn)確的響應(yīng)來顯著增強基于文件的決策，而RAG系統(tǒng)可確保保持各個實體和概念之間的關(guān)系。

使用Azure文檔智能構(gòu)建多模式的抹布系統(tǒng)：分步指南

現(xiàn)在，我們將更深入地研究如何使用Azure文檔智能構(gòu)建多模式抹布的逐步指南。

數(shù)據(jù)準(zhǔn)備

使用Azure文檔智能構(gòu)建多模式關(guān)系A(chǔ)I圖（RAG）的第一步是準(zhǔn)備數(shù)據(jù)。這涉及收集多模式數(shù)據(jù)，例如文本文檔，圖像，表和其他結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)。 Azure文檔智能具有處理多種數(shù)據(jù)類型的能力，通過以下方式簡化了此過程。

• 文檔解析：使用Azure表單識別器或OCR服務(wù)從文檔中提取相關(guān)信息。這些工具識別和數(shù)字化文本，使其適合進(jìn)一步分析。
• 實體識別：利用命名的實體識別（NER）到文件中的人，地點和日期等標(biāo)簽實體。
• 數(shù)據(jù)結(jié)構(gòu)：將公認(rèn)的實體組織成一種格式，該格式可用于關(guān)系提取和構(gòu)建抹布模型。諸如JSON或CSV之類的結(jié)構(gòu)化格式通常用于存儲此數(shù)據(jù)。

Azure的文檔處理模型自動化了許多繁瑣的收集，清潔和將各種數(shù)據(jù)組織為結(jié)構(gòu)化格式進(jìn)行圖形建模的工作。

模型培訓(xùn)

獲得數(shù)據(jù)后，需要完成的下一個過程是培訓(xùn)抹布模型。在這里，多模態(tài)實際上是有用的，因為該模型必須關(guān)心各種類型的數(shù)據(jù)及其互連。

• 集成多模式數(shù)據(jù)：具體來說，知識圖應(yīng)包括文本信息，圖像信息和抹布的結(jié)構(gòu)化信息，以訓(xùn)練多模式抹布。可以利用Pytorch或Tensorflow和Azure認(rèn)知服務(wù)來訓(xùn)練與不同類型數(shù)據(jù)一起使用的模型。
• 利用Azure的預(yù)培訓(xùn)模型：可以考慮Azure文檔智能具有針對各種任務(wù)的現(xiàn)成解決方案，例如實體檢測，關(guān)鍵字提取或文本摘要。由于這些模型的開放性，它們允許根據(jù)一組某些規(guī)范對這些模型進(jìn)行調(diào)整，以確保知識圖具有良好的實體和關(guān)系。
• 嵌入抹布中的知識：在抹布中，引入了公認(rèn)的實體，關(guān)鍵短語和關(guān)系。這賦予了模型來解釋數(shù)據(jù)以及大數(shù)據(jù)集的數(shù)據(jù)點之間的關(guān)系。

評估和改進(jìn)

最后一步是評估和完善多模式的抹布模型，以確保在現(xiàn)實情況下的準(zhǔn)確性和相關(guān)性。

• 模型驗證：使用數(shù)據(jù)子集進(jìn)行驗證，Azure的工具可以在實體識別，關(guān)系提取和上下文理解等領(lǐng)域中衡量抹布的性能。
• 迭代精致：根據(jù)驗證結(jié)果，您可能需要調(diào)整模型的超參數(shù)，微調(diào)嵌入或進(jìn)一步清潔數(shù)據(jù)。 Azure的AI管道提供了用于連續(xù)模型培訓(xùn)和評估的工具，使其更容易迭代地進(jìn)行抹布模型。
• 知識圖擴展：隨著更多的多模式數(shù)據(jù)可用，可以擴展抹布以結(jié)合新見解，以確保模型保持最新和相關(guān)。

多模式抹布的用例

多模式關(guān)系A(chǔ)I圖（RAGS）利用了不同數(shù)據(jù)類型的集成，以在各個領(lǐng)域提供強大的見解。將文本，圖像和結(jié)構(gòu)化數(shù)據(jù)組合到統(tǒng)一圖中的能力使它們在幾個現(xiàn)實世界應(yīng)用中特別有效。以下是在不同用例中使用多模式抹布的方式：

欺詐檢測

欺詐檢測是一個通過將各種形式的數(shù)據(jù)集成到可能表明欺詐活動的模式和異常的區(qū)域。

• 集成文本和視覺數(shù)據(jù)：通過將交易記錄中的文本數(shù)據(jù)與來自安全錄像或文檔（例如發(fā)票和收據(jù)）的視覺數(shù)據(jù)相結(jié)合，RAG可以創(chuàng)建交易的全面視圖。例如，如果發(fā)票映像與事務(wù)記錄中的文本數(shù)據(jù)不匹配，則可以標(biāo)記潛在的差異。
• 增強的異常檢測：多模式方法允許更復(fù)雜的異常檢測。例如，RAG可以將交易數(shù)據(jù)中的異常模式與掃描文檔或圖像中的視覺異常相關(guān)聯(lián)，從而提供了更強大的欺詐檢測機制。
• 上下文分析：結(jié)合來自各種來源的數(shù)據(jù)可以更好地理解上下文理解。例如，將可疑交易模式與客戶行為或外部數(shù)據(jù)（如已知欺詐方案）聯(lián)系起來可提高欺詐檢測的準(zhǔn)確性。

客戶服務(wù)聊天機器人

多模式破布通過提供對客戶互動的更豐富的了解，可以顯著增強客戶服務(wù)聊天機器人的功能。

• 上下文理解：通過將客戶查詢的文本與以前的交互和視覺數(shù)據(jù)（例如產(chǎn)品圖像或圖表）中的上下文信息集成在一起，聊天機器人可以提供更準(zhǔn)確且上下文相關(guān)的響應(yīng)。
• 處理復(fù)雜的查詢：多模式破布允許聊天機器人理解和處理涉及多種數(shù)據(jù)的復(fù)雜查詢。例如，如果客戶詢問訂單狀態(tài)，則聊天機器人可以訪問基于文本的訂單詳細(xì)信息和視覺數(shù)據(jù)（例如跟蹤地圖），以提供全面的響應(yīng)。
• 改進(jìn)的交互質(zhì)量：通過利用抹布中存儲的關(guān)系和實體，聊天機器人可以根據(jù)客戶的歷史記錄，偏好以及與各種數(shù)據(jù)類型的互動提供個性化響應(yīng)。

藥物發(fā)現(xiàn)

在藥物發(fā)現(xiàn)領(lǐng)域，多模式破布促進(jìn)了各種數(shù)據(jù)源的整合以加速研發(fā)過程。

• 數(shù)據(jù)整合：藥物發(fā)現(xiàn)涉及來自科學(xué)文獻(xiàn)，臨床試驗，實驗室結(jié)果和分子結(jié)構(gòu)的數(shù)據(jù)。多模式抹布整合了這些不同的數(shù)據(jù)類型，以創(chuàng)建一個支持更明智的決策的綜合知識圖。
• 關(guān)系提?。?/strong>通過從各種數(shù)據(jù)源中提取不同實體（例如藥物化合物，蛋白質(zhì)和疾?。┲g的關(guān)系，抹布有助于識別潛在的候選藥物并更準(zhǔn)確地預(yù)測其作用。
• 增強知識圖構(gòu)造：多模式破布可以構(gòu)建詳細(xì)的知識圖，這些圖形將實驗數(shù)據(jù)與研究發(fā)現(xiàn)和分子數(shù)據(jù)聯(lián)系起來。這種整體觀點有助于識別新藥物目標(biāo)并了解現(xiàn)有藥物的作用機制。