利用Langchain和向量嵌入以增強(qiáng)內(nèi)容檢索

先前的文章涵蓋了與查詢(xún)相關(guān)內(nèi)容提取的數(shù)據(jù)加載和分裂技術(shù)。本文使用帶有Langchain的矢量嵌入來(lái)深入研究高級(jí)數(shù)據(jù)檢索，從而更快，更精確和直觀(guān)的搜索。

關(guān)鍵概念：

• 文本嵌入：了解單詞和句子如何表示為數(shù)值向量以捕獲語(yǔ)義含義。
• Langchain＆Hugging Face：實(shí)際應(yīng)用Langchain和擁抱面部嵌入模型，用於計(jì)算和比較句子嵌入。
• 向量數(shù)據(jù)庫(kù)和ANN：使用矢量數(shù)據(jù)庫(kù)和近似最近的鄰居算法的文檔有效存儲(chǔ)和檢索。
• Langchain索引：掌握Langchain的索引模式，用於管理Vector數(shù)據(jù)庫(kù)中的文檔更新和刪除。

目錄：

• 句子嵌入
• 建造蘭鏈文件
• 帶有蘭鏈的嵌入
• 利用矢量商店
• 索引技術(shù)
• 常見(jiàn)問(wèn)題

句子嵌入：快速評(píng)論

要在計(jì)算上處理文本，必須將其轉(zhuǎn)換為數(shù)值格式。單詞嵌入表示單詞為矢量，捕獲語(yǔ)義關(guān)係（更緊密的同義詞，距離較遠(yuǎn)）。使用句子模型（暹羅網(wǎng)絡(luò)）計(jì)算的句子嵌入將其擴(kuò)展到句子。

創(chuàng)建Langchain文檔

先決條件：安裝langchain_openai ， langchain-huggingface ， langchain-chroma ， langchain和langchain_community 。配置您的OpenAI API密鑰。

 PIP安裝langchain_openai langchain-Huggingface langchain-chroma langchain langchain_community

例子：

我們將使用示例句子和類(lèi)別來(lái)說(shuō)明Langchain文檔創(chuàng)建。

來(lái)自langchain_core.documents導(dǎo)入文檔
＃...（其餘代碼保持不變） 

在蘭鏈中使用嵌入

讓我們初始化一個(gè)嵌入模型並生成嵌入。

導(dǎo)入操作系統(tǒng)
來(lái)自dotenv import load_dotenv
＃...（其餘代碼保持不變）

餘弦相似性熱圖可視化句子關(guān)係。

導(dǎo)入numpy作為NP
進(jìn)口海洋作為SNS
＃...（其餘代碼保持不變） 

句子和查詢(xún)之間的餘弦相似性標(biāo)識(shí)了最相關(guān)的句子。也可以使用擁抱面的開(kāi)源模型。

利用矢量商店進(jìn)行有效檢索

對(duì)於大型數(shù)據(jù)集，將查詢(xún)嵌入與每個(gè)文檔嵌入進(jìn)行比較效率低下。向量數(shù)據(jù)庫(kù)中的大約最近的鄰居（ANN）算法提供了解決方案。

來(lái)自langchain_chroma進(jìn)口色度
＃...（其餘代碼保持不變）

該代碼演示了從矢量商店添加，檢索和刪除文檔。還顯示了直接使用chromadb 。

掌握索引技術(shù)

Langchain的索引使用記錄管理器跟蹤數(shù)據(jù)庫(kù)條目，防止重複條目並啟用有效的更新和刪除。存在三種模式： None ， Incremental和Full 。

來(lái)自langchain.indexes導(dǎo)入sqlrecordmanager，索引
＃...（其餘代碼保持不變）

示例說(shuō)明瞭如何使用不同的索引模式添加，更新和刪除文檔。

結(jié)論

本文展示了使用Langchain和向量嵌入的有效內(nèi)容檢索。嵌入模型和矢量數(shù)據(jù)庫(kù)的組合可實(shí)現(xiàn)準(zhǔn)確且可擴(kuò)展的內(nèi)容檢索。 Langchain的索引功能優(yōu)化數(shù)據(jù)庫(kù)管理。未來(lái)的文章將探討LLM的內(nèi)容檢索方法。

常見(jiàn)問(wèn)題

Q1：什麼是文本嵌入及其重要性？

A1：文本嵌入是捕獲語(yǔ)義含義的數(shù)值表示，從而實(shí)現(xiàn)了計(jì)算文本處理和相似性比較。

Q2： Langchain如何幫助嵌入創(chuàng)建和使用？

A2： Langchain簡(jiǎn)化了嵌入模型初始化，計(jì)算和相似性比較，以進(jìn)行有效內(nèi)容檢索。

Q3：矢量數(shù)據(jù)庫(kù)在內(nèi)容檢索中的作用是什麼？

A3：矢量數(shù)據(jù)庫(kù)存儲(chǔ)並使用ANN算法快速檢索相關(guān)文檔，從而提高可擴(kuò)展性。

Q4： Langchain索引如何增強(qiáng)數(shù)據(jù)庫(kù)管理？

A4： Langchain索引使用記錄管理器，有效地處理文檔更新和刪除，以確保數(shù)據(jù)庫(kù)的準(zhǔn)確性和性能。

以上是如何用蘭班計(jì)算和存儲(chǔ)矢量嵌入？的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！