Panduan ini menunjukkan membina chatbot berkuasa AI yang mengubah rakaman audio (mesyuarat, podcast, wawancara) ke dalam perbualan interaktif. Ia memanfaatkan Assembleta untuk transkripsi, QDrant untuk penyimpanan data yang cekap, dan DeepSeek-R1 melalui Sambanova Cloud untuk respons pintar, mewujudkan sistem Generasi Tambahan (RAG). The Chatbot menjawab soalan seperti "Apa yang [Speaker] katakan?" atau "meringkaskan segmen ini." Antara muka web Streamlit membolehkan pengguna memuat naik audio, melihat transkrip, dan berinteraksi dengan chatbot dalam masa nyata.

Ciri -ciri utama dan objektif pembelajaran:

• Transkripsi audio yang tepat: Gunakan API Assemblyai untuk transkripsi yang tepat dengan diarisasi pembesar suara, menukar perbualan audio ke dalam data teks berstruktur.
• Pangkalan Data Vektor Cekap: Menggunakan QDrant untuk menyimpan dan cepat mengambil embeddings kandungan audio yang ditranskripsikan menggunakan model muka yang memeluk.
• Respons yang menyedari konteks: Melaksanakan RAG dengan model DeepSeek-R1 (melalui Sambanova Cloud) untuk menghasilkan respons chatbot yang berkaitan secara kontekstual.
• Antara Muka Web Interaktif: Membangunkan Aplikasi Web StreamLit untuk pengguna memuat naik fail audio, menggambarkan transkrip, dan terlibat dengan chatbot secara dinamik.
• Aliran kerja akhir-ke-akhir: Mengintegrasikan aliran kerja lengkap yang menggabungkan pemprosesan audio, pengurusan pangkalan data vektor, dan penjanaan tindak balas yang didorong oleh AI untuk aplikasi sembang berasaskan audio berskala.

Artikel ini adalah sebahagian daripada Blogathon Sains Data.

Jadual Kandungan:

• Gambaran Keseluruhan Assemblyai
• Sambanova Cloud menjelaskan
• QDRANT: Pangkalan data vektor berkelajuan tinggi
• DeepSeek-R1: Model bahasa yang kuat
• Membina Model Rag: Assembletai & DeepSeek-R1
  • Prasyarat
  • Pelaksanaan Generasi Tambahan (RAG)
  • Pembangunan Aplikasi Streamlit
• Kesimpulan
• Soalan yang sering ditanya

Gambaran Keseluruhan Assemblyai:

Assemblyai adalah alat yang berkuasa untuk mengekstrak pandangan yang boleh diambil tindakan dari audio. Enjin pertuturan-ke-teks yang didorong oleh AI memberikan transkripsi yang sangat tepat, walaupun mengendalikan aksen dan bunyi latar belakang dengan berkesan. Ini menjadikannya sesuai untuk menyalin podcast, menganalisis panggilan pelanggan, atau menghasilkan kapsyen video.

Awan sambanova:

Sambanova Cloud membolehkan anda menjalankan model sumber terbuka yang besar seperti DeepSeek-R1 (parameter 671B) jauh lebih cepat daripada kaedah tradisional, menghapuskan pengurusan infrastruktur kompleks. Ia menggunakan Unit Dataflow Configurable (RDUS) untuk prestasi unggul melalui:

• Penyimpanan Memori Tinggi: Menghapuskan Model Reloading Malar.
• Dataflow yang dioptimumkan: Direka untuk tugas-tugas tinggi.
• Switching Model Segera: Tukar antara model dalam mikroseconds.
• Penyebaran DeepSeek-R1 yang dipermudahkan: Tiada persediaan yang rumit diperlukan.
• Latihan Bersatu/Penalaan Halus: Semua dalam satu platform.

QDRANT: Pangkalan data vektor berkelajuan tinggi:

QDrant adalah pangkalan data vektor yang sangat cepat yang dioptimumkan untuk aplikasi AI. Ia unggul pada carian kesamaan, menjadikannya sempurna untuk tugas -tugas seperti sistem cadangan, carian imej, dan chatbots. QDrant dengan cepat mendapati perlawanan terdekat untuk data kompleks seperti embedding teks atau ciri visual.

DeepSeek-R1: Model bahasa yang kuat:

DeepSeek-R1 adalah model bahasa canggih yang menggabungkan penyesuaian seperti manusia dengan AI canggih. Kekuatannya terletak pada keupayaannya untuk memahami konteks, nada, dan niat, menghasilkan tindak balas intuitif dan tepat. Ia sangat berkesan untuk pelbagai tugas pemprosesan bahasa semulajadi, termasuk penciptaan kandungan, terjemahan, debugging kod, dan laporan ringkasan.

Membina Model Rag: Assembletai & DeepSeek-R1

Bahagian ini memperincikan pembinaan sistem RAG.

1. Prasyarat:

Klon repositori: git clone https://github.com/karthikponna/chat_with_audios.git

Buat dan aktifkan persekitaran maya (arahan yang disediakan untuk macOS/linux dan tingkap).

Pasang Ketergantungan: pip install -r requirements.txt

Sediakan pembolehubah persekitaran (Assembleta dan Sambanova API Keys) dalam fail .env .

2. Pengambilan Generasi Tambahan (RAG): Pelaksanaan:

Kod (dalam rag_code.py ) berstruktur menggunakan indeks llama dan termasuk fungsi untuk:

• Pemprosesan dan Embedding Batch: Cecair mengendalikan dataset yang besar.
• Interaksi Pangkalan Data QDRANT: Menetapkan dan menguruskan pangkalan data vektor QDrant.
• Pertanyaan Embedding dan Retrieval: Mengubah pertanyaan ke dalam embeddings dan mengambil hasil yang relevan dari qdrant.
• Pembantu pertanyaan pintar RAG: Menggabungkan pengambilan semula dan Sambanova Cloud LLM untuk jawapan yang menyedari konteks.
• Transkripsi audio dengan Assemblyai: menyalin fail audio dengan penceramah pembesar suara.

(Coretan kod terperinci ditinggalkan untuk keringkasan, tetapi tindak balas asal memberikan kod penuh.)

3. Pembangunan Aplikasi Streamlit:

Fail app.py membuat aplikasi web streamlit dengan ciri untuk:

• Muat naik fail audio: Pengguna memuat naik fail audio (MP3, WAV, M4A).
• Paparan Transkripsi: Menunjukkan transkrip yang dihasilkan oleh Assembletaai.
• Interaksi Chatbot: Membolehkan pengguna bertanya soalan mengenai kandungan audio.
• Sesi Pengurusan Negeri: Mengekalkan sejarah sembang dan caching fail.

(Coretan kod terperinci ditinggalkan untuk keringkasan, tetapi tindak balas asal memberikan kod penuh.)

Kesimpulan:

Projek ini berjaya menggabungkan Assembleta, Sambanova Cloud, QDRant, dan DeepSeek-R1 untuk membuat chatbot berasaskan audio yang kuat menggunakan RAG. Kod dan arahan yang disediakan membolehkan pengguna membina dan menggunakan aplikasi ini. Repositori GitHub menawarkan peluang penerokaan dan penyesuaian lanjut.

Github repo: http://ipnx.cn/link/4803eb7efe3ec7031867d3f9fe9f4dc5

Soalan Lazim (Soalan Lazim):

(Sambutan asal mengandungi jawapan kepada Soalan Lazim mengenai RAG, Penyesuaian Model Embedding, Pengubahsuaian Templat Prompt, dan Penggunaan QDrant.)

Atas ialah kandungan terperinci Bina kain audio dengan Assemblyai, Qdrant & DeepSeek-R1. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!