Memanfaatkan kuasa AI di peranti: Membina CLI Chatbot Peribadi

Pada masa lalu, konsep pembantu AI peribadi kelihatan seperti fiksyen sains. Bayangkan Alex, seorang peminat teknologi, bermimpi seorang sahabat AI yang pintar, yang tidak bergantung pada perkhidmatan awan atau pelayan luaran. Terima kasih kepada kemajuan dalam model bahasa kecil (SLMS), impian Alex kini menjadi kenyataan. Artikel ini membimbing anda melalui perjalanan Alex dalam membuat aplikasi CLI sembang AI menggunakan Smollm Huggingface, fleksibiliti Langchain, dan antara muka mesra pengguna Typer. Anda akan membina pembantu AI berfungsi yang mampu berbual, menjawab soalan, dan menyimpan perbualan -semua di dalam terminal anda. Mari kita meneroka dunia AI di peranti!

Objektif Pembelajaran Utama:

• Memegang fungsi dan aplikasi model SMOLLM Huggingface.
• Gunakan model SLM untuk aplikasi AI pada peranti.
• Terokai perhatian kumpulan-pertanyaan (GQA) dalam seni bina SLM.
• Membangunkan aplikasi CLI interaktif menggunakan typer dan perpustakaan yang kaya.
• Mengintegrasikan model Huggingface dengan Langchain untuk aplikasi AI yang mantap.

Jadual Kandungan:

• Memperkenalkan Smollm Huggingface
• Memahami Perhatian Kumpulan Kumpulan (GQA)
• Menyelam jauh ke GQA
• Menggunakan Smollm
• Meneroka Typer
• Melaksanakan typer
• Persediaan Projek
• Membina permohonan sembang
• Soalan yang sering ditanya

Huggingface Smollm: Penampilan lebih dekat

Smollm adalah satu siri model bahasa kecil canggih, yang terdapat dalam tiga saiz (135m, 360m, dan parameter 1.7B). Dilatih di korpus berkualiti tinggi (Cosmopedia V2-gabungan buku teks sintetik, sampel python pendidikan, dan data web pendidikan), model-model ini cemerlang dalam tanda aras yang berkaitan dengan pemikiran akal dan pengetahuan dunia, mengatasi model lain dalam kategori saiz mereka mengikut Huggingface.

Perbandingan Prestasi:

Pengagihan Topik:

Model parameter 135m dan 360m menggunakan seni bina seperti Mobilellm, menggabungkan GQA dan mengutamakan kedalaman melebihi lebar.

Perhatian berkumpulan (GQA): Kecekapan ditakrifkan semula

Mekanisme perhatian datang dalam pelbagai bentuk:

• Perhatian Multi-Head (MHA): Setiap kepala mempunyai pertanyaan bebas, kunci, dan nilai kepala-komputasi mahal.
• Perhatian Multi-Kuarsa (MQA): Saham kunci dan nilai kepala, tetapi setiap kepala mengekalkan pertanyaannya sendiri-lebih cekap daripada MHA.
• Perhatian Kumpulan Kumpulan (GQA): Kumpulan kepala perhatian, berkongsi kepala dan nilai nilai dalam kumpulan-mengoptimumkan kelajuan dan kecekapan. Fikirkannya sebagai satu pasukan yang bekerjasama, berkongsi sumber untuk meningkatkan produktiviti.

Memahami GQA secara terperinci

GQA meningkatkan kecekapan pemprosesan dengan mengumpulkan kepala perhatian, berkongsi kepala dan nilai nilai dalam setiap kumpulan. Ini berbeza dengan kaedah tradisional di mana setiap kepala mempunyai kunci dan nilai sendiri.

Pertimbangan utama:

• GQA-G: GQA dengan kumpulan G.
• GQS-1: Kes satu kumpulan, sama dengan MQA.
• GQA-H: Bilangan kumpulan sama dengan bilangan kepala perhatian, sama dengan MHA.

Faedah GQA:

• Peningkatan kelajuan: pemprosesan lebih cepat, terutamanya dalam model besar.
• Kecekapan yang lebih baik: Mengurangkan pengendalian data, menjimatkan memori dan kuasa pemprosesan.
• Keseimbangan optimum: mencapai keseimbangan antara kelajuan dan ketepatan.

Bekerja dengan Smollm

Pasang pytorch dan transformer menggunakan PIP:

 Pip Pasang Transformer Obor

Coretan kod berikut (yang akan diletakkan di main.py ) menggunakan model SMOLLM-360M-Instruct (anda boleh menyesuaikan diri dengan saiz lain):

 Dari Transformers Import Automelforcausallm, Autotokenizer

Checkpoint = "HuggingFacetB/SMOLLM-360M-Instruct"
# ... (selebihnya kod seperti dalam artikel asal)

Output Contoh:

(Teruskan dengan bahagian -bahagian yang tersisa, persediaan projek, melaksanakan aplikasi sembang, dan FAQ -mengikuti struktur dan kandungan artikel asal, menyesuaikan struktur dan struktur ayat untuk aliran dan kejelasan yang lebih baik sambil mengekalkan makna asal.)

Atas ialah kandungan terperinci Cara Membina Pembantu AI Peribadi Anda Dengan Huggingface Smollm. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!