LangChain：構(gòu)建、實(shí)驗(yàn)和分析語(yǔ)言模型和智能體的強(qiáng)大Python庫(kù)

核心要點(diǎn)：

• LangChain是一個(gè)Python庫(kù)，它簡(jiǎn)化了語(yǔ)言模型和智能體的創(chuàng)建、實(shí)驗(yàn)和分析過(guò)程，為自然語(yǔ)言處理提供了廣泛的功能。
• 它允許創(chuàng)建多功能的智能體，這些智能體能夠理解和生成文本，并可以配置特定的行為和數(shù)據(jù)源來(lái)執(zhí)行各種與語(yǔ)言相關(guān)的任務(wù)。
• LangChain提供三種類型的模型：大型語(yǔ)言模型(LLM)、聊天模型和文本嵌入模型，每種模型都為語(yǔ)言處理任務(wù)提供了獨(dú)特的功能。
• 它還提供了一些功能，例如將大型文本分割成易于管理的塊，通過(guò)鏈將多個(gè)LLM功能鏈接起來(lái)以執(zhí)行復(fù)雜的任務(wù)，以及與OpenAI以外的各種LLM和AI服務(wù)集成。

LangChain是一個(gè)功能強(qiáng)大的Python庫(kù)，使開(kāi)發(fā)人員和研究人員能夠創(chuàng)建、實(shí)驗(yàn)和分析語(yǔ)言模型和智能體。它為自然語(yǔ)言處理(NLP)愛(ài)好者提供了一套豐富的功能，從構(gòu)建自定義模型到高效地操作文本數(shù)據(jù)。在本綜合指南中，我們將深入探討LangChain的基本組件，并演示如何在Python中利用其強(qiáng)大功能。

環(huán)境設(shè)置：

要學(xué)習(xí)本文，請(qǐng)創(chuàng)建一個(gè)新文件夾，并使用pip安裝LangChain和OpenAI：

pip3 install langchain openai

智能體(Agents):

在LangChain中，智能體是一個(gè)能夠理解和生成文本的實(shí)體。這些智能體可以配置特定的行為和數(shù)據(jù)源，并經(jīng)過(guò)訓(xùn)練以執(zhí)行各種與語(yǔ)言相關(guān)的任務(wù)，這使得它們成為各種應(yīng)用的多功能工具。

創(chuàng)建LangChain智能體:

智能體可以配置為使用“工具”來(lái)收集所需的數(shù)據(jù)并制定良好的響應(yīng)。請(qǐng)看下面的示例。它使用Serp API（一個(gè)互聯(lián)網(wǎng)搜索API）來(lái)搜索與問(wèn)題或輸入相關(guān)的信息，并使用這些信息來(lái)做出響應(yīng)。它還使用llm-math工具執(zhí)行數(shù)學(xué)運(yùn)算——例如，轉(zhuǎn)換單位或查找兩個(gè)值之間的百分比變化：

from langchain.agents import load_tools
from langchain.agents import initialize_agent
from langchain.agents import AgentType
from langchain.llms import OpenAI
import os

os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"
os.environ["SERPAPI_API_KEY"] = "YOUR_SERP_API_KEY" # 獲取你的Serp API密鑰：https://serpapi.com/

OpenAI.api_key = "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"
llm = OpenAI(model="gpt-3.5-turbo", temperature=0)
tools = load_tools(["serpapi", "llm-math"], llm=llm)
agent = initialize_agent(tools, llm, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True)
agent.run("How much energy did wind turbines produce worldwide in 2022?")

如你所見(jiàn)，在完成所有基本的導(dǎo)入和初始化LLM (llm = OpenAI(model="gpt-3.5-turbo", temperature=0))之后，代碼使用tools = load_tools(["serpapi", "llm-math"], llm=llm)加載智能體工作所需的工具。然后，它使用initialize_agent函數(shù)創(chuàng)建智能體，為其提供指定的工具，并為其提供ZERO_SHOT_REACT_DESCRIPTION描述，這意味著它將不記得以前的問(wèn)題。

智能體測(cè)試示例1:

讓我們用以下輸入來(lái)測(cè)試這個(gè)智能體：

<code>"How much energy did wind turbines produce worldwide in 2022?"</code>

如你所見(jiàn)，它使用了以下邏輯：

• 使用Serp互聯(lián)網(wǎng)搜索API搜索“wind turbine energy production worldwide 2022”
• 分析最佳結(jié)果
• 獲取任何相關(guān)的數(shù)字
• 使用llm-math工具將906吉瓦轉(zhuǎn)換為焦耳，因?yàn)槲覀円蟮氖悄芰?，而不是功?/li>

智能體測(cè)試示例2:

LangChain智能體不僅限于搜索互聯(lián)網(wǎng)。我們可以將幾乎任何數(shù)據(jù)源（包括我們自己的數(shù)據(jù)源）連接到LangChain智能體，并向其提出有關(guān)數(shù)據(jù)的問(wèn)題。讓我們嘗試創(chuàng)建一個(gè)在CSV數(shù)據(jù)集上訓(xùn)練的智能體。

從Kaggle上的SHIVAM BANSAL處下載此Netflix電影和電視節(jié)目數(shù)據(jù)集，并將其移動(dòng)到你的目錄中?，F(xiàn)在將此代碼添加到一個(gè)新的Python文件中：

pip3 install langchain openai

此代碼調(diào)用create_csv_agent函數(shù)并使用netflix_titles.csv數(shù)據(jù)集。下圖顯示了我們的測(cè)試。

如上所示，其邏輯是在cast列中查找所有“Christian Bale”的出現(xiàn)。

我們還可以像這樣創(chuàng)建一個(gè)Pandas DataFrame智能體：

from langchain.agents import load_tools
from langchain.agents import initialize_agent
from langchain.agents import AgentType
from langchain.llms import OpenAI
import os

os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"
os.environ["SERPAPI_API_KEY"] = "YOUR_SERP_API_KEY" # 獲取你的Serp API密鑰：https://serpapi.com/

OpenAI.api_key = "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"
llm = OpenAI(model="gpt-3.5-turbo", temperature=0)
tools = load_tools(["serpapi", "llm-math"], llm=llm)
agent = initialize_agent(tools, llm, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True)
agent.run("How much energy did wind turbines produce worldwide in 2022?")

如果我們運(yùn)行它，我們將看到如下所示的結(jié)果。

這些只是一些例子。我們可以將幾乎任何API或數(shù)據(jù)集與LangChain一起使用。

模型(Models):

LangChain中有三種類型的模型：大型語(yǔ)言模型(LLM)、聊天模型和文本嵌入模型。讓我們通過(guò)一些示例來(lái)探索每種類型的模型。

大型語(yǔ)言模型(Language Model):

LangChain提供了一種在Python中使用大型語(yǔ)言模型的方法，以根據(jù)文本輸入生成文本輸出。它不像聊天模型那樣復(fù)雜，最適合簡(jiǎn)單的輸入-輸出語(yǔ)言任務(wù)。以下是用OpenAI的示例：

<code>"How much energy did wind turbines produce worldwide in 2022?"</code>

如上所示，它使用gpt-3.5-turbo模型為提供的輸入（“Come up with a rap name for Matt Nikonorov”）生成輸出。在這個(gè)例子中，我將溫度設(shè)置為0.9，以使LLM更具創(chuàng)造性。它想出了“MC MegaMatt”。我給它打9/10分。

聊天模型(Chat Model):

讓LLM模型想出說(shuō)唱名字很有趣，但如果我們想要更復(fù)雜的答案和對(duì)話，我們需要使用聊天模型來(lái)提升我們的水平。從技術(shù)上講，聊天模型與大型語(yǔ)言模型有何不同？用LangChain文檔中的話說(shuō)：

聊天模型是大型語(yǔ)言模型的一種變體。雖然聊天模型在后臺(tái)使用大型語(yǔ)言模型，但它們使用的接口略有不同。它們不使用“文本輸入，文本輸出”的API，而是使用“聊天消息”作為輸入和輸出的接口。

這是一個(gè)簡(jiǎn)單的Python聊天模型腳本：

pip3 install langchain openai

如上所示，代碼首先發(fā)送一個(gè)SystemMessage，并告訴聊天機(jī)器人要友好和非正式，之后它發(fā)送一個(gè)HumanMessage，告訴聊天機(jī)器人說(shuō)服我們Djokovich比Federer更好。

如果你運(yùn)行這個(gè)聊天機(jī)器人模型，你將看到如下所示的結(jié)果。

嵌入(Embeddings):

嵌入提供了一種將文本塊中的單詞和數(shù)字轉(zhuǎn)換為向量的方法，然后可以將這些向量與其他單詞或數(shù)字關(guān)聯(lián)起來(lái)。這聽(tīng)起來(lái)可能很抽象，所以讓我們來(lái)看一個(gè)例子：

from langchain.agents import load_tools
from langchain.agents import initialize_agent
from langchain.agents import AgentType
from langchain.llms import OpenAI
import os

os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"
os.environ["SERPAPI_API_KEY"] = "YOUR_SERP_API_KEY" # 獲取你的Serp API密鑰：https://serpapi.com/

OpenAI.api_key = "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"
llm = OpenAI(model="gpt-3.5-turbo", temperature=0)
tools = load_tools(["serpapi", "llm-math"], llm=llm)
agent = initialize_agent(tools, llm, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True)
agent.run("How much energy did wind turbines produce worldwide in 2022?")

這將返回一個(gè)浮點(diǎn)數(shù)列表：[0.022762885317206383, -0.01276398915797472, 0.004815981723368168, -0.009435392916202545, 0.010824492201209068]。這就是嵌入的樣子。

嵌入模型的用例:

如果我們想訓(xùn)練一個(gè)聊天機(jī)器人或LLM來(lái)回答與我們的數(shù)據(jù)或特定文本樣本相關(guān)的問(wèn)題，我們需要使用嵌入。讓我們創(chuàng)建一個(gè)簡(jiǎn)單的CSV文件(embs.csv)，其中包含一個(gè)“text”列，其中包含三條信息：

<code>"How much energy did wind turbines produce worldwide in 2022?"</code>

現(xiàn)在，這是一個(gè)腳本，它將使用嵌入來(lái)獲取問(wèn)題“Who was the tallest human ever?”并在CSV文件中找到正確的答案：

from langchain.llms import OpenAI
from langchain.chat_models import ChatOpenAI
from langchain.agents.agent_types import AgentType
from langchain.agents import create_csv_agent
import os

os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"

agent = create_csv_agent(
    OpenAI(temperature=0),
    "netflix_titles.csv",
    verbose=True,
    agent_type=AgentType.ZERO_SHOT_REACT_DESCRIPTION,
)

agent.run("In how many movies was Christian Bale casted")

如果我們運(yùn)行此代碼，我們將看到它輸出“Robert Wadlow was the tallest human ever”。該代碼通過(guò)獲取每條信息的嵌入并找到與問(wèn)題“Who was the tallest human ever?”的嵌入最相關(guān)的嵌入來(lái)找到正確的答案。嵌入的力量！

塊(Chunks):

LangChain模型不能同時(shí)處理大型文本并使用它們來(lái)生成響應(yīng)。這就是塊和文本分割的用武之地。讓我們來(lái)看兩種在將文本數(shù)據(jù)饋送到LangChain之前將其分割成塊的簡(jiǎn)單方法。

按字符分割塊:

為了避免塊中的突然中斷，我們可以通過(guò)在換行符或雙換行符的每次出現(xiàn)處分割文本，來(lái)按段落分割文本：

from langchain.agents import create_pandas_dataframe_agent
from langchain.chat_models import ChatOpenAI
from langchain.agents.agent_types import AgentType
from langchain.llms import OpenAI
import pandas as pd
import os

os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_KEY"
df = pd.read_csv("netflix_titles.csv")

agent = create_pandas_dataframe_agent(OpenAI(temperature=0), df, verbose=True)

agent.run("In what year were the most comedy movies released?")

遞歸分割塊:

如果我們想嚴(yán)格地按一定長(zhǎng)度的字符分割文本，我們可以使用RecursiveCharacterTextSplitter：

from langchain.llms import OpenAI
import os
os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"

llm = OpenAI(model="gpt-3.5-turbo", temperature=0.9)
print(llm("Come up with a rap name for Matt Nikonorov"))

塊大小和重疊:

在查看上面的示例時(shí)，你可能想知道塊大小和重疊參數(shù)的確切含義，以及它們對(duì)性能的影響。這可以用兩點(diǎn)來(lái)解釋：

• 塊大小決定每個(gè)塊中字符的數(shù)量。塊大小越大，塊中的數(shù)據(jù)越多，LangChain處理它并生成輸出所需的時(shí)間就越長(zhǎng)，反之亦然。
• 塊重疊是在塊之間共享信息的內(nèi)容，以便它們共享一些上下文。塊重疊越高，我們的塊就越冗余，塊重疊越低，塊之間共享的上下文就越少。通常，良好的塊重疊是塊大小的10%到20%，盡管理想的塊重疊因不同的文本類型和用例而異。

鏈(Chains):

鏈基本上是多個(gè)LLM功能鏈接在一起以執(zhí)行更復(fù)雜的任務(wù)，而這些任務(wù)無(wú)法通過(guò)簡(jiǎn)單的LLM輸入->輸出方式來(lái)完成。讓我們來(lái)看一個(gè)很酷的例子：

pip3 install langchain openai

此代碼將兩個(gè)變量輸入到其提示中，并制定一個(gè)有創(chuàng)意的答案(temperature=0.9)。在這個(gè)例子中，我們要求它為一部關(guān)于數(shù)學(xué)的恐怖電影想出一個(gè)好標(biāo)題。運(yùn)行此代碼后的輸出是“The Calculating Curse”，但這并沒(méi)有真正顯示鏈的全部功能。

讓我們來(lái)看一個(gè)更實(shí)際的例子：

from langchain.agents import load_tools
from langchain.agents import initialize_agent
from langchain.agents import AgentType
from langchain.llms import OpenAI
import os

os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"
os.environ["SERPAPI_API_KEY"] = "YOUR_SERP_API_KEY" # 獲取你的Serp API密鑰：https://serpapi.com/

OpenAI.api_key = "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"
llm = OpenAI(model="gpt-3.5-turbo", temperature=0)
tools = load_tools(["serpapi", "llm-math"], llm=llm)
agent = initialize_agent(tools, llm, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True)
agent.run("How much energy did wind turbines produce worldwide in 2022?")

這段代碼可能看起來(lái)令人困惑，所以讓我們逐步講解。

這段代碼讀取Nas（嘻哈藝術(shù)家）的簡(jiǎn)短傳記，并從文本中提取以下值，并將它們格式化為JSON對(duì)象：

• 藝術(shù)家的姓名
• 藝術(shù)家的音樂(lè)類型
• 藝術(shù)家的首張專輯
• 藝術(shù)家首張專輯的發(fā)行年份

在提示中，我們還指定了“Make sure to answer in the correct format”，以便我們始終以JSON格式獲得輸出。這是此代碼的輸出：

<code>"How much energy did wind turbines produce worldwide in 2022?"</code>

通過(guò)向create_structured_output_chain函數(shù)提供JSON模式，我們使鏈將其輸出放入JSON格式。

超越OpenAI:

盡管我一直使用OpenAI模型作為L(zhǎng)angChain不同功能的示例，但它并不局限于OpenAI模型。我們可以將LangChain與許多其他LLM和AI服務(wù)一起使用。（這是LangChain可集成LLM的完整列表。）

例如，我們可以將Cohere與LangChain一起使用。這是LangChain Cohere集成的文檔，但為了提供一個(gè)實(shí)際示例，在使用pip3 install cohere安裝Cohere之后，我們可以使用LangChain和Cohere編寫一個(gè)簡(jiǎn)單的問(wèn)答代碼，如下所示：

from langchain.llms import OpenAI
from langchain.chat_models import ChatOpenAI
from langchain.agents.agent_types import AgentType
from langchain.agents import create_csv_agent
import os

os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"

agent = create_csv_agent(
    OpenAI(temperature=0),
    "netflix_titles.csv",
    verbose=True,
    agent_type=AgentType.ZERO_SHOT_REACT_DESCRIPTION,
)

agent.run("In how many movies was Christian Bale casted")

上面的代碼產(chǎn)生以下輸出：

from langchain.agents import create_pandas_dataframe_agent
from langchain.chat_models import ChatOpenAI
from langchain.agents.agent_types import AgentType
from langchain.llms import OpenAI
import pandas as pd
import os

os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_KEY"
df = pd.read_csv("netflix_titles.csv")

agent = create_pandas_dataframe_agent(OpenAI(temperature=0), df, verbose=True)

agent.run("In what year were the most comedy movies released?")

結(jié)論:

在本指南中，你已經(jīng)看到了LangChain的不同方面和功能。掌握了這些知識(shí)后，你就可以利用LangChain的功能來(lái)進(jìn)行NLP工作，無(wú)論你是研究人員、開(kāi)發(fā)人員還是愛(ài)好者。

你可以在GitHub上找到包含本文所有圖片和Nas.txt文件的倉(cāng)庫(kù)。

祝你使用Python中的LangChain進(jìn)行編碼和實(shí)驗(yàn)愉快！

以上是Python的Langchain的完整指南的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！