llamaindex：大規(guī)模な言語モデルを強(qiáng)化するデータフレームワーク

llamaindexは、大規(guī)模な言語モデル（LLM）に基づくアプリケーションデータフレームワークです。 GPT-4のようなLLMは、強(qiáng)力な自然言語処理機(jī)能を箱から出して提供するために、大量のパブリックデータセットを事前にトレインします。ただし、ユーティリティは、あなた自身のプライベートデータにアクセスせずに制限されます。

llamaindexを使用すると、柔軟なデータコネクタを介してAPI、データベース、PDF、その他のソースからのデータを摂取できます。これらのデータは、LLM向けに最適化された中間表現(xiàn)にインデックス化されています。 LlamainDexは、クエリエンジン、チャットインターフェイス、およびLLM駆動(dòng)型エージェントを介して、自然言語のクエリとデータとの會(huì)話を許可します。これにより、LLMはモデルを再訓(xùn)練せずに大規(guī)模にプライベートデータにアクセスして解釈できます。

データを照會(huì)するための単純な自然言語方法を探している初心者であるか、深いカスタマイズが必要な高度なユーザーである場(chǎng)合、LlamainDexには対応するツールがあります。高度なAPIを使用すると、5つの要素コードのみを開始できますが、低レベルのAPIを使用すると、データの摂取、インデックス作成、検索などを完全に制御できます。

llamaindexはどのように機(jī)能しますか

llamaindexは、大規(guī)模な言語モデルとプライベートナレッジベースを組み合わせた検索拡張生成（RAG）システムを使用します。通常、インデックスフェーズとクエリフェーズの2つのフェーズで構(gòu)成されています。

寫真は高度な概念からのものです

インデックスフェーズ

インデックス段階では、LlamainDexはプライベートデータをベクトルインデックスに効率的にインデックスに導(dǎo)きます。このステップは、フィールドに固有の検索可能な知識(shí)ベースを作成するのに役立ちます。テキストドキュメント、データベースレコード、知識(shí)グラフ、およびその他のデータ型を入力できます。

本質(zhì)的に、インデックスはデータを數(shù)値ベクトルまたは埋め込みに変換して、その意味的な意味をキャプチャします。コンテンツ間の類似性をすばやく検索できます。

クエリstage

クエリ段階では、RAGパイプラインは、ユーザーのクエリに基づいて最も関連性の高い情報(bào)を検索します。この情報(bào)は、クエリでLLMに提供され、正確な応答を作成します。

この手順により、LLMは初期トレーニングに含まれない可能性のある現(xiàn)在および更新された情報(bào)にアクセスできます。

この段階での主な課題は、存在する可能性のある複數(shù)の知識(shí)ベースから情報(bào)を取得、整理、および推論することです。

Pineconeの検索強(qiáng)化コードサンプルのRAGの詳細(xì)をご覧ください。

LlamainDexのチュートリアルとプロジェクトに飛び込む前に、PythonパッケージをインストールしてAPIをセットアップする必要があります。

PIPを使用してLlamainDexをインストールするだけです。

デフォルトでは、LlamaindexはOpenai GPT-3 Text-Davinci-003モデルを使用します。このモデルを使用するには、openai_api_keyを設(shè)定する必要があります。 OpenAIの新しいAPIトークンにログインすることにより、無料のアカウントを作成し、APIキーを取得できます。

<code>pip install llama-index</code>

<code>pip install llama-index</code>

また、OpenAIパッケージをインストールしていることを確認(rèn)してください。

Llamaindex

<code>import os

os.environ["OPENAI_API_KEY"] = "INSERT OPENAI KEY"</code>

を使用して、

個(gè)人データをLLMに追加します このセクションでは、llamaindexを使用して履歴書リーダーを作成する方法を?qū)Wびます。 LinkedInプロファイルページにアクセスして「more」をクリックしてから「PDFとして保存」して、履歴書をダウンロードできます。

Datalabを使用してPythonコードを?qū)g行することに注意してください。 LlamainDexのすべての関連コードと出力にアクセスできます。LLMワークブックに個(gè)人データを追加して、コンピューターに何もインストールせずにすべてのコードを?qū)g行できます。

何かを?qū)g行する前に、Llama-Index、Openai、およびPypdfをインストールする必要があります。 PDFファイルを読み取って変換できるように、PYPDFをインストールします。

データを読み込み、インデックスを作成します

<code>pip install openai</code>

「private-data」と呼ばれるディレクトリがあり、PDFファイルは1つだけ含まれています。 SimpleDirectoryReaderを使用して読み取り、TreeIndexを使用してインデックスに変換します。

実行クエリを?qū)g行

<code>%pip install llama-index openai pypdf</code>

データがインデックス化されたら、as_query_engine（）を使用して質(zhì)問を始めることができます。この関數(shù)を使用すると、ドキュメント內(nèi)の特定の情報(bào)について質(zhì)問し、OpenAI GPT-3 Text-Davinci-003モデルの助けを借りて対応する応答を取得できます。

注：PythonチュートリアルのOpenai APIを介してGPT-3.5とGPT-4を使用する手順に従って、DatalabでOpenAI APIを設(shè)定できます。

ご覧のとおり、LLMモデルはクエリに正確に回答します。インデックスを検索し、関連情報(bào)を見つけました。

<code>from llama_index import TreeIndex, SimpleDirectoryReader

resume = SimpleDirectoryReader("Private-Data").load_data()
new_index = TreeIndex.from_documents(resume)</code>

さらに認(rèn)定情報(bào)を要求できます。 Llamaindexは候補(bǔ)者を完全に理解しているようです。これは、特定の才能を求めている企業(yè)にとって有益である可能性があります。

<code>query_engine = new_index.as_query_engine()
response = query_engine.query("When did Abid graduated?")
print(response)</code>

<code>Abid graduated in February 2014.</code>

コンテキストを保存してロードします

<code>response = query_engine.query("What is the name of certification that Abid received?")
print(response)</code>

インデックスの作成は、時(shí)間のかかるプロセスです。コンテキストを保存することにより、インデックスの再作成を避けることができます。デフォルトでは、次のコマンドは、./storageディレクトリに保存されているインデックスストアを保存します。

<code>Data Scientist Professional</code>

完了したら、ストレージコンテキストをすばやく読み込み、インデックスを作成できます。

それが適切に機(jī)能することを確認(rèn)するために、履歴書のクエリエンジンの質(zhì)問を?qū)い亭蓼?。コンテキストを正常にロードしたようです。

<code>new_index.storage_context.persist()</code>

<code>from llama_index import StorageContext, load_index_from_storage

storage_context = StorageContext.from_defaults(persist_)
index = load_index_from_storage(storage_context)</code>

チャットボット

<code>query_engine = index.as_query_engine()
response = query_engine.query("What is Abid's job title?")
print(response)</code>

Q＆Aに加えて、LlamainDexを使用して個(gè)人的なチャットボットを作成することもできます。 AS_CHAT_ENGINE（）関數(shù)を使用して、インデックスを初期化する必要があります。

簡(jiǎn)単な質(zhì)問をします。

<code>Abid's job title is Technical Writer.</code>

そして、追加のコンテキストを提供することなく、フォローアップの質(zhì)問をします。

<code>query_engine = index.as_chat_engine()
response = query_engine.chat("What is the job title of Abid in 2021?")
print(response)</code>

<code>Abid's job title in 2021 is Data Science Consultant.</code>

チャットエンジンが完全に実行されることは明らかです。

<code>response = query_engine.chat("What else did he do during that time?")
print(response)</code>

言語アプリケーションを構(gòu)築した後、タイムラインの次のステップは、クラウドで大規(guī)模な言語モデル（LLM）を使用することとローカルで実行することの長(zhǎng)所と短所について読むことです。これは、ニーズに最適なアプローチを判斷するのに役立ちます。

llamaindexを使用したスピーチにwikitextを構(gòu)築します

次のプロジェクトでは、ウィキペディアからの質(zhì)問に回答し、それらを音聲に変換できるアプリケーションを開発することが含まれます。

コードソースと追加情報(bào)は、Datalabワークブックに記載されています。

Webサイトクローリングウィキペディアページ

最初に、イタリアのウィキペディアのWebページからのデータをクロールし、データフォルダーのItaly_text.txtファイルとして保存します。

<code>pip install llama-index</code>

データの読み込みとビルディングインデックス

次に、必要なパッケージをインストールする必要があります。 ElevenLabsパッケージを使用すると、APIを使用してテキストを簡(jiǎn)単に音聲に変換できます。

<code>import os

os.environ["OPENAI_API_KEY"] = "INSERT OPENAI KEY"</code>

SimpleDirectoryReaderを使用して、データをロードし、VectorStoreIndexを使用してTXTファイルをVectorストアに変換します。

<code>pip install openai</code>

query

私たちの計(jì)畫は、國(guó)について一般的な質(zhì)問をし、LLM query_engineから回答を得ることです。

<code>%pip install llama-index openai pypdf</code>

聲へのテキスト

の後、llama_index.ttsモジュールを使用して、ElevenLabstts APIにアクセスします。オーディオ生成機(jī)能を有効にするには、ElevenLabs APIキーを提供する必要があります。 ElevenLabs WebサイトでAPIキーを無料で入手できます。

<code>from llama_index import TreeIndex, SimpleDirectoryReader

resume = SimpleDirectoryReader("Private-Data").load_data()
new_index = TreeIndex.from_documents(resume)</code>

Generate_Audio関數(shù)に応答を追加して、自然な音聲を生成します。オーディオを聴くために、iPython.displayのオーディオ関數(shù)を使用します。

<code>query_engine = new_index.as_query_engine()
response = query_engine.query("When did Abid graduated?")
print(response)</code>

これは簡(jiǎn)単な例です。複數(shù)のモジュールを使用して、Siriなどのアシスタントを作成できます。これは、プライベートデータを解釈することで質(zhì)問に答えます。詳細(xì)については、llamaindexのドキュメントを參照してください。

llamaindexに加えて、Langchainを使用すると、LLMベースのアプリケーションを構(gòu)築することもできます。さらに、Langchainを使用してデータエンジニアリングとデータアプリケーションを使用して、Langchainが解決する問題やデータ使用ケースの例を含め、Langchainでできることの概要を?qū)W習(xí)できます。

llamaindexユースケース

llamaindexは、言語ベースのアプリケーションを構(gòu)築するための完全なツールキットを提供します。最も重要なことは、Llama Hubのさまざまなデータローダーとエージェントツールを使用して、複數(shù)の機(jī)能を備えた複雑なアプリケーションを開発できることです。

1つ以上のプラグインデータローダーを使用して、カスタムデータソースをLLMに接続できます。

Llama hub

からのデータローダー エージェントツールを使用して、サードパーティツールとAPIを統(tǒng)合することもできます。

Llama hub

からの

agistratorツール 要するに、llamaindex：で構(gòu)築できます

ドキュメントベースのQ＆A

チャットボット
代理店
構(gòu)造化されたデータ
フルスタックWebアプリケーション
プライベート設(shè)定
• これらのユースケースの詳細(xì)については、Llamaindexのドキュメントをご覧ください。

結(jié)論

LlamainDexは、大規(guī)模な言語モデルとカスタムナレッジベースの利點(diǎn)を組み合わせた検索強(qiáng)化生成システムを構(gòu)築するための強(qiáng)力なツールキットを提供します。ドメイン固有のデータのインデックスストアを作成し、推論中にそれを利用して、LLMに関連するコンテキストを提供して高品質(zhì)の応答を生成することができます。

このチュートリアルでは、Llamaindexとその実用的な原則について學(xué)びました。さらに、數(shù)行のPythonコードを使用して、Resume ReaderとText-to-Speechプロジェクトを構(gòu)築しました。 LlamainDexを使用してLLMアプリケーションを作成することは非常にシンプルで、プラグイン、データローダー、エージェントの巨大なライブラリが提供されます。

専門家LLM開発者になるために、次のステップは大規(guī)模な言語モデルコンセプトマスターコースを受講することです。このコースでは、アプリケーション、トレーニング方法、倫理的考慮事項(xiàng)、最新の研究など、LLMの包括的な理解を提供します。

以上がllamaindex：大規(guī)模な言語モデル（LLMS）ベースのアプリケーションのデータフレームワークの詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國(guó)語 Web サイトの他の関連記事を參照してください。