Nutzen Sie die Kraft von AI On-Device: Bauen eines pers?nlichen Chatbot-Cli

In der jüngeren Vergangenheit schien das Konzept eines pers?nlichen KI -Assistenten wie Science -Fiction zu sein. Stellen Sie sich vor, Alex, ein Technologie -Enthusiast, der von einem intelligenten, lokalen KI -Begleiter tr?umt - einer, der sich nicht auf Cloud -Dienste oder externe Server beruht. Dank der Fortschritte in kleinen Sprachmodellen (SLMs) ist Alex 'Traum jetzt Wirklichkeit. Dieser Artikel führt Sie durch Alex 'Reise bei der Erstellung einer AI-Chat-CLI-Anwendung mit der Smollm, Langchains Flexibilit?t und der benutzerfreundlichen Schnittstelle von Typer. Sie erstellen einen funktionalen KI -Assistenten, der in der Lage ist, Fragen zu beantworten und Gespr?che zu speichern - alles in Ihrem Terminal. Erkunden wir die Welt der On-Device-KI!

Wichtige Lernziele:

• Erfassen Sie die Funktionalit?t und Anwendungen von Huggingface -Smollm -Modellen.
• Verwenden Sie SLM-Modelle für AI-Anwendungen auf dem Ger?t.
• Erforschen Sie die Aufmerksamkeit der Gruppierquerit?t (GQA) innerhalb der SLM-Architektur.
• Entwickeln Sie interaktive CLI -Anwendungen mithilfe von Typer- und Rich -Bibliotheken.
• Integrieren Sie Huggingface -Modelle in Langchain für robuste AI -Anwendungen.

Inhaltsverzeichnis:

• Einführung von Smollm
• Aufmerksamkeit der Gruppengr??e (GQA) verstehen (GQA)
• Tauchgang in GQA
• Smollm verwenden
• Typer erkunden
• Typer implementieren
• Projekt -Setup
• Erstellen der Chat -Anwendung
• H?ufig gestellte Fragen

Smollm Smollm: Ein genauerer Blick

Smollm ist eine Reihe von modernen kleinen Sprachmodellen, die in drei Gr??en (135 m, 360 m und 1,7B-Parameter) erh?ltlich sind. Diese Modelle, die auf einem hochwertigen Korpus (Cosmopedia V2-einer Mischung aus synthetischen Lehrbüchern, p?dagogischen Python-Proben und Bildungsnetzdaten) ausgebildet wurde, zeichnen sich in Benchmarks im Zusammenhang mit dem Argumentieren des gesunden Menschenverstandes und des Weltwissens aus.

Leistungsvergleich:

Themenverteilung:

In den Parametermodellen von 135 m und 360 m werden eine Mobilellm-?hnliche Architektur verwendet, die GQA enth?lt und die Tiefe vor der Breite priorisiert.

Aufmerksamkeit der Gruppier?nderung (GQA): Effizienz neu definiert

Aufmerksamkeitsmechanismen gibt es in verschiedenen Formen:

• Multi-Head-Aufmerksamkeit (MHA): Jeder Kopf hat unabh?ngige Abfrage-, Schlüssel- und Wertsch?pfungsk?pfe-kombiniert teuer.
• Multi-Query-Aufmerksamkeit (MQA): Teilen Schlüssel- und Wertsch?pfungsk?pfe, aber jeder Kopf h?lt seine eigene Abfrage bei-effizienter als MHA.
• Aufmerksamkeit der Gruppierten Querien (GQA): Gruppen Aufmerksamkeitsk?pfe, Schlüssel- und Wertsch?pfungsk?pfe innerhalb von Gruppen-optimiert Geschwindigkeit und Effizienz. Stellen Sie sich das als Team zusammen, das gemeinsam arbeitet und Ressourcen für die Produktivit?t erh?ht.

GQA im Detail verstehen

GQA verbessert die Verarbeitungseffizienz, indem sie Aufmerksamkeitsk?pfe gruppieren, Schlüssel- und Wertsch?pfungsk?pfe in jeder Gruppe teilen. Dies steht im Gegensatz zu traditionellen Methoden, bei denen jeder Kopf seine eigenen Schlüssel und Werte hat.

Wichtige überlegungen:

• GQA-G: GQA mit G-Gruppen.
• GQS-1: Ein Einzelgruppenfall, ?hnlich wie MQA.
• GQA-H: Die Anzahl der Gruppen entspricht der Anzahl der Aufmerksamkeitsk?pfe, ?hnlich wie MHA.

Vorteile von GQA:

• Erh?hte Geschwindigkeit: schnellere Verarbeitung, insbesondere in gro?en Modellen.
• Verbesserte Effizienz: Reduzierte Datenhandhabung, Speicherspeicher und Verarbeitungsleistung.
• Optimales Gleichgewicht: erreicht ein Gleichgewicht zwischen Geschwindigkeit und Genauigkeit.

Arbeiten mit Smollm

Installieren Sie Pytorch und Transformers mit PIP:

 PIP Installieren Sie Brennertransformatoren

Der folgende Code-Snippet (der in main.py platziert werden kann) verwendet das Smollm-360M-Instrukturmodell (Sie k?nnen sich für andere Gr??en anpassen):

 von Transformatoren importieren AutomodelforcausAllm, Autotokenizer

Checkpoint = "HuggingFacetb/smollm-360m-instruct" "
# ... (Rest des Codes wie im Originalartikel)

Beispielausgabe:

(Fahren Sie mit den verbleibenden Abschnitten fort - Typer, Projekteinrichtung, Implementierung der Chat -Anwendung und FAQs - der Struktur und des Inhalts des ursprünglichen Artikels, wobei die Formulierung und die Satzstruktur für einen verbesserten Fluss und die Klarheit angepasst werden, w?hrend die ursprüngliche Bedeutung aufrechterhalten wird.)

Das obige ist der detaillierte Inhalt vonSo erstellen Sie Ihren pers?nlichen KI -Assistenten mit Smollm mit Umarmung. Smollm. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!