分詞是處理自然語言處理 (NLP) 任務(wù)時(shí)的基本步驟。它涉及將文本分解成更小的單元，稱為標(biāo)記，這些單元可以是單詞、子詞或字符。

高效的分詞對於語言模型的性能至關(guān)重要，使其成為各種 NLP 任務(wù)（如文本生成、翻譯和摘要）中的一個(gè)重要步驟。

Tiktoken 是 OpenAI 開發(fā)的一個(gè)快速高效的分詞庫。它提供了一個(gè)強(qiáng)大的解決方案，用於將文本轉(zhuǎn)換為標(biāo)記，反之亦然。其速度和效率使其成為處理大型數(shù)據(jù)集和復(fù)雜模型的開發(fā)人員和數(shù)據(jù)科學(xué)家的絕佳選擇。

本指南專為開發(fā)人員、數(shù)據(jù)科學(xué)家以及任何計(jì)劃使用 Tiktoken 並需要包含示例的實(shí)用指南的人員而設(shè)計(jì)。

OpenAI 基礎(chǔ)知識

開始使用 OpenAI API 及更多功能！

立即開始開始使用 Tiktoken

要開始使用 Tiktoken，我們需要在 Python 環(huán)境中安裝它（Tiktoken 也適用於其他編程語言）?？梢允褂靡韵旅钔瓿纱瞬僮鳎?/p>

<code>pip install tiktoken</code>

您可以在以下 GitHub 存儲庫中查看 Tiktoken 開源 Python 版本的代碼。

要導(dǎo)入庫，我們運(yùn)行：

<code>import tiktoken</code>

編碼模型

Tiktoken 中的編碼模型決定了將文本分解成標(biāo)記的規(guī)則。這些模型至關(guān)重要，因?yàn)樗鼈兌x了文本的分割和編碼方式，從而影響語言處理任務(wù)的效率和準(zhǔn)確性。不同的 OpenAI 模型使用不同的編碼。

Tiktoken 提供了三種針對不同用例優(yōu)化的編碼模型：

• o200k_base：最新 GPT-4o-Mini 模型的編碼。
• cl100k_base：較新 OpenAI 模型（如 GPT-4 和 GPT-3.5-Turbo）的編碼模型。
• p50k_base：Codex 模型的編碼，這些模型用於代碼應(yīng)用程序。
• r50k_base：不同版本的 GPT-3 的較舊編碼。

所有這些模型都可用於 OpenAI 的 API。請注意，API 提供的模型比這裡列出的要多得多。幸運(yùn)的是，Tiktoken 庫提供了一種簡單的方法來檢查應(yīng)將哪個(gè)編碼與哪個(gè)模型一起使用。

例如，如果我需要知道 text-embedding-3-small 模型使用什麼編碼模型，我可以運(yùn)行以下命令並獲得答案作為輸出：

<code>pip install tiktoken</code>

我們得到作為輸出。在我們直接使用 Tiktoken 之前，我想提到 OpenAI 有一個(gè)標(biāo)記化 Web 應(yīng)用程序，您可以在其中查看不同的字符串是如何標(biāo)記化的——您可以在這裡訪問它。還有一個(gè)第三方在線標(biāo)記器 Tiktokenizer，它支持非 OpenAI 模型。

將文本編碼為標(biāo)記

要使用 Tiktoken 將文本編碼為標(biāo)記，您首先需要獲取編碼對象。初始化它有兩種方法。首先，您可以使用標(biāo)記器的名稱來執(zhí)行此操作：

<code>import tiktoken</code>

或者，您可以運(yùn)行前面提到的 encoding_for_model 函數(shù)以獲取特定模型的編碼器：

<code>print(tiktoken.encoding_for_model('text-embedding-3-small'))</code>

現(xiàn)在，我們可以運(yùn)行編碼對象的 encode 方法來編碼字符串。例如，我們可以按照以下方式編碼“我愛 DataCamp”字符串——這裡我使用 cl100k_base 編碼器：

<code>encoding = tiktoken.get_encoding("[標(biāo)記器名稱]")</code>

我們得到[40, 3021, 2956, 34955]作為輸出。

將標(biāo)記解碼為文本

要將標(biāo)記解碼回文本，我們可以在編碼對像上使用 .decode() 方法。

讓我們解碼以下標(biāo)記[40, 4048, 264, 2763, 505, 2956, 34955]：

<code>encoding = tiktoken.encoding_for_model("[模型名稱]")</code>

這些標(biāo)記解碼為“我從 DataCamp 學(xué)到了很多東西”。

實(shí)際用例和技巧

除了編碼和解碼之外，我還想到了另外兩個(gè)用例。

成本估算和管理

在向 OpenAI API 發(fā)送請求之前了解標(biāo)記計(jì)數(shù)可以幫助您有效地管理成本。由於 OpenAI 的計(jì)費(fèi)基於處理的標(biāo)記數(shù)量，因此預(yù)標(biāo)記文本允許您估算 API 使用成本。以下是如何使用 Tiktoken 計(jì)算文本中的標(biāo)記：

<code>print(encoding.encode("我愛 DataCamp"))</code>

我們只需通過檢查數(shù)組的長度來查看我們獲得了多少個(gè)標(biāo)記。通過提前了解標(biāo)記數(shù)量，您可以決定是否縮短文本或調(diào)整使用情況以保持預(yù)算內(nèi)。

您可以在本關(guān)於使用 Python 中的 tiktoken 庫估算 GPT 成本的教程中閱讀更多關(guān)於此方法的信息。

輸入長度驗(yàn)證

當(dāng)使用來自 API 的 OpenAI 模型時(shí)，您受到輸入和輸出最大標(biāo)記數(shù)的限制。超過這些限制會導(dǎo)致錯(cuò)誤或輸出被截?cái)?。使?Tiktoken，您可以驗(yàn)證輸入長度並確保它符合標(biāo)記限制。

結(jié)論

Tiktoken 是一個(gè)開源分詞庫，它提供針對 OpenAI 語言模型量身定制的速度和效率。

了解如何使用 Tiktoken 編碼和解碼文本及其各種編碼模型，可以極大地增強(qiáng)您使用大型語言模型的工作。

獲得頂級 AI 認(rèn)證

證明您可以有效且負(fù)責(zé)任地使用 AI。獲得認(rèn)證，獲得聘用

以上是tiktoken教程：Openai＆＃x27的Python圖書館用於令牌文本的詳細(xì)內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！