Partikelpartikel ist ein grundlegender Schritt bei der Behandlung von NLP -Aufgaben (Natural Language Processing). Es beinhaltet das Aufbrechen von Text in kleinere Einheiten, die als Markierungen bezeichnet werden und die W?rter, Subw?rter oder Zeichen sein k?nnen.

Effiziente Wortsegmentierung ist für die Leistung von Sprachmodellen von entscheidender Bedeutung und macht sie zu einem wichtigen Schritt in einer Vielzahl von NLP -Aufgaben wie Textgenerierung, übersetzung und Abstraktion.

Tiktoken ist ein schneller und effizienter Thesaurus, der von OpenAI entwickelt wurde. Es bietet eine leistungsstarke L?sung zum Konvertieren von Text in Tags und umgekehrt. Seine Geschwindigkeit und Effizienz machen es zu einer hervorragenden Wahl für Entwickler und Datenwissenschaftler, die mit gro?en Datens?tzen und komplexen Modellen arbeiten.

Dieser Leitfaden richtet sich an Entwickler, Datenwissenschaftler und alle, die vorhaben, Tiktoken zu verwenden, und einen praktischen Leitfaden ben?tigt, der Beispiele enth?lt.

Grundlagen von OpenAI

Beginnen Sie mit OpenAI -API und mehr!

Starten Sie jetzt Sie k?nnen den Code für die Tiktoken Open Source Python -Version im folgenden Github -Repository anzeigen.

Um die Bibliothek zu importieren, führen wir aus:

<code>pip install tiktoken</code>

Codierungsmodell

Das Codierungsmodell in Tiktoken bestimmt die Regeln für das Aufbrechen von Text in Tags. Diese Modelle sind entscheidend, da sie definieren, wie Text segmentiert und codiert wird, was die Effizienz und Genauigkeit von Aufgaben der Sprachverarbeitung beeinflusst. Unterschiedliche OpenAI -Modelle verwenden unterschiedliche Kodierungen.

<code>import tiktoken</code>

• O200K_Base: Codierung des neuesten GPT-4O-Mini-Modells.
• CL100K_BASE: Codierungsmodelle für neuere OpenAI-Modelle wie GPT-4 und GPT-3,5-Turbo.
• P50K_Base: Codex -Modelle, die in Codeanwendungen verwendet werden.
• R50K_Base: ?ltere Codierung für verschiedene Versionen von GPT-3.

Alle diese Modelle sind für die OpenAI -API verfügbar. Beachten Sie, dass die API viel mehr Modelle bietet als die hier aufgeführten. Glücklicherweise bietet die Tiktoken -Bibliothek eine einfache M?glichkeit, zu überprüfen, welche Codierung mit welchem ??Modell verwendet werden sollte.

Wenn ich beispielsweise wissen muss, welches Codierungsmodell das textembeding-3-small-Modell verwendet, kann ich den folgenden Befehl ausführen und die Antwort als Ausgabe abrufen:

<code>pip install tiktoken</code>

wir erhalten als Ausgabe. Bevor wir Tiktoken direkt verwenden, m?chte ich erw?hnen, dass OpenAI über eine tokenisierte Webanwendung verfügt, in der Sie sehen k?nnen, wie unterschiedliche Zeichenfolgen tokenisiert sind - Sie k?nnen hier darauf zugreifen. Es gibt auch einen Online-Tagger von Drittanbietern, Tiktokenizer, der nicht offene Modelle unterstützt.

codieren Text als Marker

Um Text als Tag mit Tiktoken zu codieren, müssen Sie zun?chst das codierte Objekt abrufen. Es gibt zwei M?glichkeiten, es zu initialisieren. Zun?chst k?nnen Sie dies mit dem Namen des Tokenizers tun:

<code>import tiktoken</code>

Alternativ k?nnen Sie die zuvor erw?hnte Coding_for_Model -Funktion ausführen, um den Encoder für ein bestimmtes Modell zu erhalten:

<code>print(tiktoken.encoding_for_model('text-embedding-3-small'))</code>

Jetzt k?nnen wir die Encodemethode des Cod -Objekts ausführen, um die Zeichenfolge zu codieren. Zum Beispiel k?nnen wir die Zeichenfolge "Ich liebe DataCamp" wie folgt codieren - hier verwende ich den CL100K_Base -Encoder:

<code>encoding = tiktoken.get_encoding("[標(biāo)記器名稱]")</code>

wir bekommen [40, 3021, 2956, 34955] als Ausgang.

dekodieren Sie die Marke in Text

Um die Marke zurück zum Text zu dekodieren, k?nnen wir die Methode .decode () auf dem codierten Objekt verwenden.

dekodieren wir das folgende Tag [40, 4048, 264, 2763, 505, 2956, 34955]:

<code>encoding = tiktoken.encoding_for_model("[模型名稱]")</code>

Diese Markierungen werden dekodiert als "Ich habe viel aus DataCamp gelernt".

Praktische Anwendungsf?lle und Tipps

Zus?tzlich zu Codierung und Dekodierung dachte ich auch an zwei andere Anwendungsf?lle.

Kostensch?tzung und Verwaltung

Verstehen von Tag -Z?hlen, bevor eine Anfrage an die OpenAI -API gesendet wird, k?nnen Sie die Kosten effizient verwalten. Da die Abrechnung von OpenAI auf der Anzahl der verarbeiteten Tags basiert, k?nnen Sie mit dem vor markierten Text die Kosten der API-Nutzung sch?tzen. Hier erfahren Sie, wie Sie Tags im Text mit Tiktoken berechnen:

<code>print(encoding.encode("我愛 DataCamp"))</code>

Wir müssen nur die L?nge des Arrays überprüfen, um zu sehen, wie viele Markierungen wir erhalten. Indem Sie die Anzahl der Tags im Voraus kennen, k?nnen Sie entscheiden, ob Sie den Text verkürzen oder die Nutzung anpassen sollen, um in Ihrem Budget zu bleiben.

Sie k?nnen mehr über diese Methode in diesem Tutorial zur Sch?tzung der Kosten von GPT mithilfe der Tiktoken -Bibliothek in Python erfahren.

Eingangsl?nge überprüfung

Wenn Sie OpenAI -Modelle aus der API verwenden, sind Sie durch die maximale Anzahl von Markerneingangs- und Ausgaben begrenzt. Das überschreiten dieser Grenzwerte kann zu Fehlern führen oder zugeschnitten werden. Mit Tiktoken k?nnen Sie die Eingangsl?nge überprüfen und sicherstellen, dass sie das Markierungslimit entspricht.

Schlussfolgerung

Tiktoken ist ein Open -Source -Thesaurus, der Geschwindigkeit und Effizienz bietet, die auf das OpenAI -Sprachmodell zugeschnitten sind.

Lernen, wie man Tiktoken verwendet, um Text zu codieren und zu dekodieren, und seine verschiedenen Codierungsmodelle k?nnen Ihre Arbeit mit gro?en Sprachmodellen erheblich verbessern.

Holen Sie sich die Top -AI -Zertifizierung

beweisen Sie, dass Sie AI effektiv und verantwortungsbewusst verwenden k?nnen. Holen Sie sich zertifiziert, werden Sie eingestellt

Das obige ist der detaillierte Inhalt vonTiktoken Tutorial: Openai's Python Library für Tokenisierungstext. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!