沒想到時(shí)至今日，ChatGPT竟然會犯下低階錯(cuò)誤？

吳恩達(dá)大神最新開課就指出來了：

ChatGPT不會反轉(zhuǎn)單字！

例如讓它反轉(zhuǎn)下lollipop這個(gè)詞，輸出是pilollol，完全混亂。

哦豁，這確實(shí)有點(diǎn)大跌眼鏡。

以至於聽課網(wǎng)友在Reddit上發(fā)文後，立刻引來大量圍觀，貼文熱度火速衝到6k。

而且這不是偶然bug，網(wǎng)友們發(fā)現(xiàn)ChatGPT確實(shí)無法完成這個(gè)任務(wù)，我們親測結(jié)果也是如此。

#△實(shí)測ChatGPT（GPT-3.5）

#甚至包括Bard、Bing、文心一言在內(nèi)等一眾產(chǎn)品都不行。

△實(shí)測Bard

#△實(shí)測文心一言

還有人緊跟著吐槽， ChatGPT在處理這些簡單的單字任務(wù)就是很糟糕。

例如玩先前曾經(jīng)爆火的文字遊戲Wordle簡直就是一場災(zāi)難，從來沒有做對過。

誒？這到底是為啥？

關(guān)鍵在於token

之所以有這樣的現(xiàn)象，關(guān)鍵在於token。大型模型通常使用token來處理文本，因?yàn)閠oken是文本中最常見的字元序列。

它可以是整個(gè)單字，也可以是單字一個(gè)片段。大型模型熟悉這些 Token 之間的統(tǒng)計(jì)關(guān)係，並能夠熟練地產(chǎn)生下一個(gè) Token。

因此在處理單字反轉(zhuǎn)這個(gè)小任務(wù)時(shí)，它可能只是將每個(gè)token翻轉(zhuǎn)過來，而不是字母。

這點(diǎn)放在中文語境下體現(xiàn)就更為明顯：一個(gè)字是一個(gè)token，也可能是一個(gè)字是一個(gè)token。

針對開頭的例子，有人嘗試了解下ChatGPT的推理過程。

為了更直覺的了解，OpenAI甚至還出了個(gè)GPT-3的Tokenizer。

例如像lollipop這個(gè)詞，GPT-3會將其理解成I、oll、ipop這三個(gè)部分。

根據(jù)經(jīng)驗(yàn)總結(jié)，也就誕生出這樣一些不成文法。

• 1個(gè)token≈4個(gè)英文字元≈四分之三個(gè)字；
• 100個(gè)token≈75個(gè)單字；
• 1-2句話≈30個(gè)token;
• 一段話≈100個(gè)token，1500個(gè)單字≈2048個(gè)token；

##單字如何分割還取決於語言。先前有人統(tǒng)計(jì)過，中文要用的token數(shù)是英文數(shù)量的1.2到2.7倍。

token-to-char（token到單字）比例越高，處理成本也越高。因此處理中文tokenize要比英文更貴。

可以這樣理解，token是大模型認(rèn)識理解人類現(xiàn)實(shí)世界的方式。它非常簡單，還能大幅降低記憶體和時(shí)間複雜度。

但將單字token化有一個(gè)問題，就會使模型很難學(xué)習(xí)到有意義的輸入表示，最直觀的表示就是不能理解單字的意思。

當(dāng)時(shí)Transformers有做過相應(yīng)優(yōu)化，例如一個(gè)複雜、不常見的單字分成一個(gè)有意義的token和一個(gè)獨(dú)立token。

就如同 "annoyingly" 被分成 "annoying" 和 "ly" 兩個(gè)部分一樣，前一個(gè)保留了其本身的意義，而後一個(gè)則更加常見。

這也成就瞭如今ChatGPT及其他大模型產(chǎn)品的驚艷效果，能很好地理解人類的語言。

至於無法處理單字反轉(zhuǎn)這樣一個(gè)小任務(wù)，自然也有解決之道。

最簡單直接的，就是你先自己把單字分開嘍~

#或者也可以讓ChatGPT一步一步來，先tokenize每個(gè)字母。

又或讓它寫一個(gè)反轉(zhuǎn)字母的程序，然後程式的結(jié)果對了。 （狗頭）

不過也可以使用GPT-4，實(shí)測沒有這樣的問題。

△實(shí)測GPT-4

總之，token就是AI理解自然語言的基石。

而作為AI理解人類自然語言的橋樑，token的重要性也越來越明顯。

它已經(jīng)成為AI模型表現(xiàn)優(yōu)劣的關(guān)鍵決定因素，還是大模型的計(jì)費(fèi)標(biāo)準(zhǔn)。

甚至有了token文學(xué)

如前文所言，token能方便模型捕捉到更細(xì)緻的語意訊息，如詞義、詞序、語法結(jié)構(gòu)等。在序列建模任務(wù)（如語言建模、機(jī)器翻譯、文字生成等）中，位置和順序?qū)赌Ｐ偷慕⒎浅Ｖ匾?

模型只有在準(zhǔn)確了解每個(gè)token在序列中的位置和上下文情況，才能更好正確預(yù)測內(nèi)容，給出合理輸出。

因此，token的品質(zhì)、數(shù)量對模型效果有直接影響。

今年開始，越來越多大模型發(fā)佈時(shí)，都會著重強(qiáng)調(diào)token數(shù)量，例如GooglePaLM 2曝光細(xì)節(jié)中提到，它訓(xùn)練用到了3.6萬億個(gè)token。

以及許多業(yè)界大佬也紛紛表示，token真的很關(guān)鍵！

今年從特斯拉跳槽到OpenAI的AI科學(xué)家安德烈·卡帕斯（Andrej Karpathy）就曾在演講中表示：

更多token能讓模型更好思考。

而且他強(qiáng)調(diào)，模型的效能並不只由參數(shù)規(guī)模來決定。

例如LLaMA的參數(shù)規(guī)模遠(yuǎn)小於GPT-3（65B vs 175B），但由於它用更多token進(jìn)行訓(xùn)練（1.4T vs 300B），所以LLaMA更強(qiáng)大。

而憑藉著對模型表現(xiàn)的直接影響，token還是AI模型的計(jì)費(fèi)標(biāo)準(zhǔn)。

以O(shè)penAI的定價(jià)標(biāo)準(zhǔn)為例，他們以1K個(gè)token為單位進(jìn)行計(jì)費(fèi)，不同模型、不同類型的token價(jià)格不同。

總之，踏進(jìn)AI大模型領(lǐng)域的大門後，就會發(fā)現(xiàn)token是繞不開的知識點(diǎn)。

嗯，甚至衍生出了token文學(xué)……

不過值得一提的是，token在中文世界裡到底該翻譯成啥，現(xiàn)在還沒有完全定下來。

直譯「令牌」總是有點(diǎn)怪怪的。

GPT-4覺得叫「詞元」或「標(biāo)記」比較好，你覺得呢？

參考連結(jié)：
[1]https://www.reddit.com/r/ChatGPT/comments/13xxehx/chatgpt_is_unable_to_reverse_words/
[2]https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-them
[3]https://openai.com /pricing

以上是吳恩達(dá)ChatGPT課爆火：AI放棄了倒寫單詞，但理解了整個(gè)世界的詳細(xì)內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！