本指南展示了建立一個(gè)由AI驅(qū)動的聊天機(jī)器人，該聊天機(jī)器人將錄音（會議，播客，訪談）轉(zhuǎn)換為交互式對話。它利用彙編的彙編，QDRANT進(jìn)行有效的數(shù)據(jù)存儲，而通過Sambanova Cloud進(jìn)行DeepSeek-R1進(jìn)行智能響應(yīng)，從而創(chuàng)建了檢索增強(qiáng)發(fā)電（RAG）系統(tǒng)。聊天機(jī)器人回答了諸如“ [演講者]怎麼說？”之類的問題?；颉翱偨Y(jié)此細(xì)分市場”。簡化的Web界面允許用戶實(shí)時(shí)上傳音頻，查看成績單並與聊天機(jī)器人進(jìn)行交互。

關(guān)鍵特徵和學(xué)習(xí)目標(biāo)：

• 精確的音頻轉(zhuǎn)錄：利用彙編API進(jìn)行揚(yáng)聲器診斷的準(zhǔn)確轉(zhuǎn)錄，將音頻對話轉(zhuǎn)換為結(jié)構(gòu)化文本數(shù)據(jù)。
• 有效的矢量數(shù)據(jù)庫：使用QDrant使用擁抱面部模型來存儲并快速檢索轉(zhuǎn)錄的音頻內(nèi)容的嵌入。
• 上下文感知的響應(yīng)：使用DeepSeek-R1模型（通過Sambanova Cloud）實(shí)現(xiàn)抹布，以生成上下文相關(guān)的聊天機(jī)器人響應(yīng)。
• 交互式Web界面：開發(fā)一個(gè)簡化的Web應(yīng)用程序，供用戶上傳音頻文件，可視化成績單並動態(tài)與聊天機(jī)器人互動。
• 端到端的工作流程：集成一個(gè)完整的工作流程，結(jié)合音頻處理，矢量數(shù)據(jù)庫管理和AI驅(qū)動的響應(yīng)生成，為基於可擴(kuò)展的音頻聊天應(yīng)用程序。

本文是數(shù)據(jù)科學(xué)博客馬拉鬆的一部分。

目錄：

• 彙編概述
• Sambanova Cloud解釋了
• QDRANT：高速矢量數(shù)據(jù)庫
• DeepSeek-R1：強(qiáng)大的語言模型
• 構(gòu)建抹布型號：AssemblyAi＆DeepSeek-R1
  • 先決條件
  • 檢索增強(qiáng)發(fā)電（RAG）實(shí)施
  • 簡化應(yīng)用程序開發(fā)
• 結(jié)論
• 常見問題

彙編概述：

Assemblyai是從音頻中提取可行見解的強(qiáng)大工具。它的AI驅(qū)動語音到文本引擎提供了高度準(zhǔn)確的轉(zhuǎn)錄，甚至可以有效地處理重音和背景噪聲。這使其非常適合轉(zhuǎn)錄播客，分析客戶呼叫或生成視頻字幕。

Sambanova雲(yún)：

Sambanova Cloud使您可以運(yùn)行大型開源模型（例如DeepSeek-R1（671B參數(shù)），速度要比傳統(tǒng)方法快得多，從而消除了複雜的基礎(chǔ)架構(gòu)管理。它利用可重新配置的數(shù)據(jù)流單元（RDU），通過以下方式進(jìn)行出色的性能

• 高內(nèi)存存儲：消除恆定模型重新加載。
• 優(yōu)化的數(shù)據(jù)流：專為高通量任務(wù)而設(shè)計(jì)。
• 即時(shí)模型切換：微秒中的模型之間切換。
• 簡化的DeepSeek-R1部署：無需複雜的設(shè)置。
• 統(tǒng)一培訓(xùn)/微調(diào)：全部在一個(gè)平臺內(nèi)。

QDRANT：高速矢量數(shù)據(jù)庫：

QDRANT是針對AI應(yīng)用程序優(yōu)化的非?？焖俚氖噶繑?shù)據(jù)庫。它在相似性搜索方面表現(xiàn)出色，非常適合推薦系統(tǒng)，圖像搜索和聊天機(jī)器人等任務(wù)。 Qdrant迅速找到了複雜數(shù)據(jù)（例如文本嵌入或視覺特徵）的最接近的匹配。

DeepSeek-R1：強(qiáng)大的語言模型：

DeepSeek-R1是一種先進(jìn)的語言模型，將類似人類的適應(yīng)性與尖端AI結(jié)合在一起。它的優(yōu)勢在於其理解背景，語氣和意圖的能力，產(chǎn)生直覺和精確的反應(yīng)。對於各種自然語言處理任務(wù)，包括內(nèi)容創(chuàng)建，翻譯，代碼調(diào)試和報(bào)告摘要非常有效。

構(gòu)建抹布型號：AssemblyAi＆DeepSeek-R1

本節(jié)詳細(xì)介紹了抹布系統(tǒng)的構(gòu)建。

1。先決條件：

克隆存儲庫： git clone https://github.com/karthikponna/chat_with_audios.git

創(chuàng)建並激活虛擬環(huán)境（為MacOS/Linux和Windows提供的說明）。

安裝依賴項(xiàng)： pip install -r requirements.txt

在.env文件中設(shè)置環(huán)境變量（AssemblyAi和Sambanova API密鑰）。

2。檢索增強(qiáng)發(fā)電（RAG）實(shí)施：

代碼（在rag_code.py中）是使用Llama索引構(gòu)建的，並包含以下功能：

• 批處理處理和嵌入：有效處理大型數(shù)據(jù)集。
• QDRANT數(shù)據(jù)庫交互：設(shè)置並管理QDRANT矢量數(shù)據(jù)庫。
• 查詢嵌入和檢索：將查詢轉(zhuǎn)換為嵌入，並從QDRANT檢索相關(guān)結(jié)果。
• 抹布智能查詢助理：結(jié)合了檢索和Sambanova Cloud LLM，以獲取上下文感知的答案。
• 帶有彙編的音頻轉(zhuǎn)錄：用揚(yáng)聲器診斷轉(zhuǎn)錄音頻文件。

（省略了詳細(xì)的代碼片段，但原始響應(yīng)提供了完整的代碼。）

3。簡化應(yīng)用程序開發(fā)：

app.py文件創(chuàng)建一個(gè)簡化的Web應(yīng)用程序，其中具有以下功能：

• 音頻文件上傳：用戶上傳音頻文件（MP3，WAV，M4A）。
• 轉(zhuǎn)錄顯示：顯示彙編生成的成績單。
• 聊天機(jī)器人交互：允許用戶詢問有關(guān)音頻內(nèi)容的問題。
• 會話狀態(tài)管理：維護(hù)聊天歷史記錄和文件緩存。

（省略了詳細(xì)的代碼片段，但原始響應(yīng)提供了完整的代碼。）

結(jié)論：

該項(xiàng)目成功地集成了AssemblyAi，Sambanova Cloud，Qdrant和DeepSeek-R1，以創(chuàng)建使用RAG的功能強(qiáng)大的基於音頻的聊天機(jī)器人。提供的代碼和說明使用戶能夠構(gòu)建和部署此應(yīng)用程序。 GitHub存儲庫提供了進(jìn)一步的探索和定制機(jī)會。

GitHub repo： https：//ipnx.cn/link/4803eb7efe3ec7031867d3f9fe9f4f4dc5

常見問題（常見問題解答）：

（原始響應(yīng)包含有關(guān)抹布，嵌入模型自定義，提示模板修改和使用QDRANT的FAQ的答案。）

以上是使用彙編，QDRANT和DEEPSEEK-R1構(gòu)建音頻抹布的詳細(xì)內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！