您好，開發(fā)社群！ ？

今天，我很高興向您介紹我的專案：EzioDevIo RAG（檢索增強(qiáng)生成）。該系統(tǒng)允許用戶上傳 PDF 文檔，根據(jù)其內(nèi)容提出問題，並接收由 OpenAI 的 GPT-3.5 Turbo 模型生成的即時(shí)答案。這對(duì)於導(dǎo)航大型文件或快速提取相關(guān)資訊特別有用。 ??

您可以在我的 GitHub 上找到完整的程式碼：EzioDevIo RAG 專案。讓我們深入研究該項(xiàng)目並分解每個(gè)步驟！

？深入了解 EzioDevIo RAG 專案 GitHub 儲(chǔ)存庫中的完整程式碼庫和設(shè)定說明！

專案概覽

你將學(xué)到什麼

1. 如何將 OpenAI 的語言模型與 PDF 文件檢索整合。
2. 如何使用 Streamlit 建立使用者友善的介面。
3. 如何使用 Docker 將應(yīng)用程式容器化以方便部署。 專案特色

• 上傳 PDF 並從中獲取資訊。
• 根據(jù)上傳的PDF內(nèi)容提問。
• OpenAI 的 gpt-3.5-turbo 模型產(chǎn)生的即時(shí)響應(yīng)。
• 使用 Docker 輕鬆部署以實(shí)現(xiàn)可擴(kuò)充性。

*這是我們專案目錄的最終結(jié)構(gòu)：*

RAG-project/
├── .env                       # Environment variables (API key)
├── app.py                     # Streamlit app for the RAG system
├── document_loader.py         # Code for loading and processing PDF documents
├── retriever.py               # Code for indexing and retrieving documents
├── main.py                    # Main script for RAG pipeline
├── requirements.txt           # List of required libraries
├── Dockerfile                 # Dockerfile for containerizing the app
├── .gitignore                 # Ignore sensitive and unnecessary files
├── data/
│   └── uploaded_pdfs/         # Folder to store uploaded PDFs
└── images/
    └── openai_api_setup.png   # Example image for OpenAI API setup instructions

第 1 步：設(shè)定項(xiàng)目

先決條件

確保您擁有以下內(nèi)容：

• Python 3.8：本地運(yùn)行應(yīng)用程式。
• OpenAI API 金鑰：您需要它來存取 OpenAI 的模型。在 OpenAI API 上註冊(cè)以取得您的金鑰。
• Docker：可選，但建議將應(yīng)用程式容器化以進(jìn)行部署。

第 2 步：複製儲(chǔ)存庫並設(shè)定虛擬環(huán)境

2.1?？寺?chǔ)存庫
首先從 GitHub 克隆專案儲(chǔ)存庫並導(dǎo)航到專案目錄。

git clone https://github.com/EzioDEVio/RAG-project.git
cd RAG-project

2.2。設(shè)定虛擬環(huán)境
若要隔離專案依賴性，請(qǐng)建立並啟動(dòng)虛擬環(huán)境。這有助於防止與其他項(xiàng)目的套件發(fā)生衝突。

python -m venv venv
source venv/bin/activate  # On Windows, use `venv\Scripts\activate`

2.3。安裝依賴項(xiàng)
安裝requirements.txt中列出的所需Python庫。其中包括用於語言模型的 OpenAI、用於 UI 的 Streamlit、用於 PDF 處理的 PyMuPDF 以及用於高效相似性搜尋的 FAISS。

pip install -r requirements.txt

2.4。設(shè)定您的 OpenAI API 金鑰
在專案根目錄下建立.env檔。該文件將安全地儲(chǔ)存您的 OpenAI API 金鑰。將以下行加入文件中，將 your_openai_api_key_here 替換為您的實(shí)際 API 金鑰：

RAG-project/
├── .env                       # Environment variables (API key)
├── app.py                     # Streamlit app for the RAG system
├── document_loader.py         # Code for loading and processing PDF documents
├── retriever.py               # Code for indexing and retrieving documents
├── main.py                    # Main script for RAG pipeline
├── requirements.txt           # List of required libraries
├── Dockerfile                 # Dockerfile for containerizing the app
├── .gitignore                 # Ignore sensitive and unnecessary files
├── data/
│   └── uploaded_pdfs/         # Folder to store uploaded PDFs
└── images/
    └── openai_api_setup.png   # Example image for OpenAI API setup instructions

？提示：確保將 .env 新增至您的 .gitignore 檔案中，以避免在將專案推送到公用儲(chǔ)存庫時(shí)暴露您的 API 金鑰。

第 3 步：了解專案結(jié)構(gòu)
以下是目錄結(jié)構(gòu)的快速概述，可協(xié)助您瀏覽程式碼：
以下是目錄結(jié)構(gòu)的快速概述，可協(xié)助您瀏覽程式碼：

git clone https://github.com/EzioDEVio/RAG-project.git
cd RAG-project

每個(gè)檔案都有特定的功能：

• app.py：管理 Streamlit 介面，允許使用者上傳檔案和提問。
• document_loader.py：使用 PyMuPDF 處理 PDF 的載入和處理。
• retriever.py：使用 FAISS 索引文件文字並根據(jù)使用者查詢檢索相關(guān)部分。
• main.py：將所有內(nèi)容連結(jié)在一起，包括呼叫 OpenAI 的 API 來產(chǎn)生回應(yīng)。

第 4 步：建立核心程式碼
現(xiàn)在，讓我們深入了解該專案的主要組成部分。

4.1。載入文件 (document_loader.py)
document_loader.py 檔案負(fù)責(zé)從 PDF 中提取文字。在這裡，我們使用 PyMuPDF 庫來處理 PDF 中的每個(gè)頁面並儲(chǔ)存文字。

python -m venv venv
source venv/bin/activate  # On Windows, use `venv\Scripts\activate`

說明：函數(shù)讀取指定資料夾中的所有PDF文件，提取每個(gè)頁面的文本，並將文本添加到字典列表中。每個(gè)字典代表一個(gè)文檔及其文字和檔案名稱。

4.2。文件索引與檢索 (retriever.py)
FAISS（Facebook AI相似性搜尋）幫助我們執(zhí)行相似性搜尋。我們用它來建立文件嵌入的索引，這使我們能夠在使用者提出問題時(shí)檢索相關(guān)部分。

pip install -r requirements.txt

說明：

create_index：使用 OpenAIEmbeddings 將文件文字轉(zhuǎn)換為嵌入，並使用 FAISS 建立索引。
retrieve_documents：根據(jù)使用者查詢搜尋相關(guān)文件部分。

4.3。產(chǎn)生回應(yīng) (main.py)
此模組處理使用者查詢、檢索相關(guān)文件並使用 OpenAI 的語言模型產(chǎn)生答案。

OPENAI_API_KEY=your_openai_api_key_here

說明：

generate_response：使用檢索到的文件和使用者查詢的上下文建立提示，然後將其傳送到 OpenAI 的 API。然後將響應(yīng)作為答案返回。

第 5 步：建立 Streamlit 介面 (app.py)
Streamlit 提供了一個(gè)互動(dòng)式前端，使用戶可以輕鬆上傳文件和提問。

RAG-project/
├── .env                       # Environment variables (API key)
├── app.py                     # Streamlit app for the RAG system
├── document_loader.py         # Code for loading and processing PDF documents
├── retriever.py               # Code for indexing and retrieving documents
├── main.py                    # Main script for RAG pipeline
├── requirements.txt           # List of required libraries
├── Dockerfile                 # Dockerfile for containerizing the app
├── .gitignore                 # Ignore sensitive and unnecessary files
├── data/
│   └── uploaded_pdfs/         # Folder to store uploaded PDFs
└── images/
    └── openai_api_setup.png   # Example image for OpenAI API setup instructions

說明：

• 此程式碼使用 Streamlit 建立一個(gè)簡單的 UI，允許使用者上傳 PDF 並輸入問題。
• 當(dāng)使用者點(diǎn)擊「取得答案」時(shí)，應(yīng)用程式會(huì)檢索相關(guān)文件並產(chǎn)生答案。

第 6 步：對(duì)應(yīng)用程式進(jìn)行 Docker 化
Docker 可讓您將應(yīng)用程式打包到容器中，從而輕鬆部署。

Dockerfile

RAG-project/
├── .env                       # Environment variables (API key)
├── app.py                     # Streamlit app for the RAG system
├── document_loader.py         # Code for loading and processing PDF documents
├── retriever.py               # Code for indexing and retrieving documents
├── main.py                    # Main script for RAG pipeline
├── requirements.txt           # List of required libraries
├── Dockerfile                 # Dockerfile for containerizing the app
├── .gitignore                 # Ignore sensitive and unnecessary files
├── data/
│   └── uploaded_pdfs/         # Folder to store uploaded PDFs
└── images/
    └── openai_api_setup.png   # Example image for OpenAI API setup instructions

說明：

我們使用多階段構(gòu)建來保持最終圖像的精簡。
為了安全起見，應(yīng)用程式以非 root 使用者身分執(zhí)行。

運(yùn)行 Docker 容器

1. 建置 Docker 映像：

git clone https://github.com/EzioDEVio/RAG-project.git
cd RAG-project

1. 運(yùn)行容器：

python -m venv venv
source venv/bin/activate  # On Windows, use `venv\Scripts\activate`

第 7 步：使用 GitHub Actions 設(shè)定 CI/CD
為了做好生產(chǎn)準(zhǔn)備，請(qǐng)新增 CI/CD 管道來建置、測試和掃描 Docker 映像。您可以在儲(chǔ)存庫中找到此設(shè)定的 .github/workflows 檔案。

最後的想法
該專案將 OpenAI 的語言模型功能與文件檢索結(jié)合，創(chuàng)建一個(gè)功能性的互動(dòng)式工具。如果您喜歡這個(gè)項(xiàng)目，請(qǐng)?jiān)?GitHub 儲(chǔ)存庫上加註星標(biāo)，並在開發(fā)社群上關(guān)注我。讓我們一起打造更多精彩的項(xiàng)目！ ？

？查看 GitHub 儲(chǔ)存庫？ EzioDevIo RAG 專案 GitHub 儲(chǔ)存庫！

以上是使用 OpenAI 和 Streamlit 建立文件檢索和問答系統(tǒng)的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！