本指南展示了建立一個由AI驅(qū)動的聊天機器人，該聊天機器人將錄音（會議，播客，訪談）轉(zhuǎn)換為交互式對話。它利用匯編的匯編，QDRANT進行有效的數(shù)據(jù)存儲，而通過Sambanova Cloud進行DeepSeek-R1進行智能響應(yīng)，從而創(chuàng)建了檢索增強發(fā)電（RAG）系統(tǒng)。聊天機器人回答了諸如“ [演講者]怎么說？”之類的問題。或“總結(jié)此細分市場”。簡化的Web界面允許用戶實時上傳音頻，查看成績單并與聊天機器人進行交互。

關(guān)鍵特征和學(xué)習(xí)目標：

• 精確的音頻轉(zhuǎn)錄：利用匯編API進行揚聲器診斷的準確轉(zhuǎn)錄，將音頻對話轉(zhuǎn)換為結(jié)構(gòu)化文本數(shù)據(jù)。
• 有效的矢量數(shù)據(jù)庫：使用QDrant使用擁抱面部模型來存儲并快速檢索轉(zhuǎn)錄的音頻內(nèi)容的嵌入。
• 上下文感知的響應(yīng)：使用DeepSeek-R1模型（通過Sambanova Cloud）實現(xiàn)抹布，以生成上下文相關(guān)的聊天機器人響應(yīng)。
• 交互式Web界面：開發(fā)一個簡化的Web應(yīng)用程序，供用戶上傳音頻文件，可視化成績單并動態(tài)與聊天機器人互動。
• 端到端的工作流程：集成一個完整的工作流程，結(jié)合音頻處理，矢量數(shù)據(jù)庫管理和AI驅(qū)動的響應(yīng)生成，為基于可擴展的音頻聊天應(yīng)用程序。

本文是數(shù)據(jù)科學(xué)博客馬拉松的一部分。

目錄：

• 匯編概述
• Sambanova Cloud解釋了
• QDRANT：高速矢量數(shù)據(jù)庫
• DeepSeek-R1：強大的語言模型
• 構(gòu)建抹布型號：AssemblyAi＆DeepSeek-R1
  • 先決條件
  • 檢索增強發(fā)電（RAG）實施
  • 簡化應(yīng)用程序開發(fā)
• 結(jié)論
• 常見問題

匯編概述：

Assemblyai是從音頻中提取可行見解的強大工具。它的AI驅(qū)動語音到文本引擎提供了高度準確的轉(zhuǎn)錄，甚至可以有效地處理重音和背景噪聲。這使其非常適合轉(zhuǎn)錄播客，分析客戶呼叫或生成視頻字幕。

Sambanova云：

Sambanova Cloud使您可以運行大型開源模型（例如DeepSeek-R1（671B參數(shù)），速度要比傳統(tǒng)方法快得多，從而消除了復(fù)雜的基礎(chǔ)架構(gòu)管理。它利用可重新配置的數(shù)據(jù)流單元（RDU），通過以下方式進行出色的性能

• 高內(nèi)存存儲：消除恒定模型重新加載。
• 優(yōu)化的數(shù)據(jù)流：專為高通量任務(wù)而設(shè)計。
• 即時模型切換：微秒中的模型之間切換。
• 簡化的DeepSeek-R1部署：無需復(fù)雜的設(shè)置。
• 統(tǒng)一培訓(xùn)/微調(diào)：全部在一個平臺內(nèi)。

QDRANT：高速矢量數(shù)據(jù)庫：

QDRANT是針對AI應(yīng)用程序優(yōu)化的非?？焖俚氖噶繑?shù)據(jù)庫。它在相似性搜索方面表現(xiàn)出色，非常適合推薦系統(tǒng)，圖像搜索和聊天機器人等任務(wù)。 Qdrant迅速找到了復(fù)雜數(shù)據(jù)（例如文本嵌入或視覺特征）的最接近的匹配。

DeepSeek-R1：強大的語言模型：

DeepSeek-R1是一種先進的語言模型，將類似人類的適應(yīng)性與尖端AI結(jié)合在一起。它的優(yōu)勢在于其理解背景，語氣和意圖的能力，產(chǎn)生直覺和精確的反應(yīng)。對于各種自然語言處理任務(wù)，包括內(nèi)容創(chuàng)建，翻譯，代碼調(diào)試和報告摘要非常有效。

構(gòu)建抹布型號：AssemblyAi＆DeepSeek-R1

本節(jié)詳細介紹了抹布系統(tǒng)的構(gòu)建。

1。先決條件：

克隆存儲庫： git clone https://github.com/karthikponna/chat_with_audios.git

創(chuàng)建并激活虛擬環(huán)境（為MacOS/Linux和Windows提供的說明）。

安裝依賴項： pip install -r requirements.txt

在.env文件中設(shè)置環(huán)境變量（AssemblyAi和Sambanova API密鑰）。

2。檢索增強發(fā)電（RAG）實施：

代碼（在rag_code.py中）是使用Llama索引構(gòu)建的，并包含以下功能：

• 批處理處理和嵌入：有效處理大型數(shù)據(jù)集。
• QDRANT數(shù)據(jù)庫交互：設(shè)置并管理QDRANT矢量數(shù)據(jù)庫。
• 查詢嵌入和檢索：將查詢轉(zhuǎn)換為嵌入，并從QDRANT檢索相關(guān)結(jié)果。
• 抹布智能查詢助理：結(jié)合了檢索和Sambanova Cloud LLM，以獲取上下文感知的答案。
• 帶有匯編的音頻轉(zhuǎn)錄：用揚聲器診斷轉(zhuǎn)錄音頻文件。

（省略了詳細的代碼片段，但原始響應(yīng)提供了完整的代碼。）

3。簡化應(yīng)用程序開發(fā)：

app.py文件創(chuàng)建一個簡化的Web應(yīng)用程序，其中具有以下功能：

• 音頻文件上傳：用戶上傳音頻文件（MP3，WAV，M4A）。
• 轉(zhuǎn)錄顯示：顯示匯編生成的成績單。
• 聊天機器人交互：允許用戶詢問有關(guān)音頻內(nèi)容的問題。
• 會話狀態(tài)管理：維護聊天歷史記錄和文件緩存。

（省略了詳細的代碼片段，但原始響應(yīng)提供了完整的代碼。）

結(jié)論：

該項目成功地集成了AssemblyAi，Sambanova Cloud，Qdrant和DeepSeek-R1，以創(chuàng)建使用RAG的功能強大的基于音頻的聊天機器人。提供的代碼和說明使用戶能夠構(gòu)建和部署此應(yīng)用程序。 GitHub存儲庫提供了進一步的探索和定制機會。

GitHub repo： https：//ipnx.cn/link/4803eb7efe3ec7031867d3f9fe9f4f4dc5

常見問題（常見問題解答）：

（原始響應(yīng)包含有關(guān)抹布，嵌入模型自定義，提示模板修改和使用QDRANT的FAQ的答案。）

以上是使用匯編，QDRANT和DEEPSEEK-R1構(gòu)建音頻抹布的詳細內(nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！