利用“設備” AI的力量：建立個人聊天機器人CLI

在最近的過去，個人AI助手的概念似乎是科幻小說。想象一下，科技愛好者亞歷克斯（Alex）夢想著一個聰明的本地AI伴侶 - 不依賴云服務或外部服務器。多虧了小語言模型（SLM）的進步，Alex的夢想現(xiàn)在是現(xiàn)實。本文指導您使用Alex使用Huggingface的Smollm，Langchain的靈活性和Typer的用戶友好界面來創(chuàng)建AI CHAT CLI應用程序的旅程。您將建立一個功能性的AI助手，能夠在終端中聊天，回答問題和節(jié)省對話。讓我們來探索設備AI的世界！

關鍵學習目標：

• 掌握擁抱面Smollm型號的功能和應用。
• 利用SLM型號用于設備AI應用程序。
• 在SLM體系結(jié)構(gòu)中探索分組的疑問注意力（GQA）。
• 使用TYPER和富圖書館開發(fā)交互式CLI應用程序。
• 將擁抱面模型與Langchain集成，以進行健壯的AI應用。

目錄：

• 引入HuggingFace Smollm
• 了解分組的疑問（GQA）
• 深入研究GQA
• 利用Smollm
• 探索泰珀
• 實施Typer
• 項目設置
• 構(gòu)建聊天應用程序
• 常見問題

擁抱面Smollm：近距離看

Smollm是一系列尖端的小語言模型，有三種尺寸（135m，360m和1.7b參數(shù)）。這些模型接受了高質(zhì)量的語料庫（Cosmopedia V2，綜合教科書，教育Python樣本和教育網(wǎng)絡數(shù)據(jù)）的培訓，這些模型以與常識性推理和世界知識相關的基準表現(xiàn)出色，根據(jù)擁抱面的大小類別中的其他模型優(yōu)于其他模型。

性能比較：

主題分布：

135m和360m的參數(shù)模型利用類似Mobillm的架構(gòu)，結(jié)合了GQA并優(yōu)先考慮深度超過寬度。

分組疑問（GQA）：效率重新定義

注意機制有多種形式：

• 多頭注意力（MHA）：每個頭部都有獨立的查詢，鑰匙和價值頭 - 計算昂貴。
• 多傳奇注意（MQA）：分享鑰匙和價值頭，但每個頭保持著自己的查詢 - 比MHA更有效。
• 分組質(zhì)量注意（GQA）：小組注意力頭，分組中的鑰匙和價值頭部共享 - 優(yōu)化速度和效率。將其視為一個合作的團隊，共享資源以提高生產(chǎn)率。

詳細了解GQA

GQA通過對注意力頭進行分組，在每個組中共享密鑰和價值頭來提高處理效率。這與傳統(tǒng)方法形成鮮明對比，每個方法都有自己的鑰匙和值。

主要注意事項：

• GQA-G：與G組的GQA。
• GQS-1：類似于MQA的單組情況。
• GQA-H：組的數(shù)量等于注意力頭的數(shù)量，類似于MHA。

GQA的好處：

• 提高速度：加工更快，尤其是在大型模型中。
• 提高效率：減少數(shù)據(jù)處理，節(jié)省內(nèi)存和處理能力。
• 最佳平衡：在速度和準確性之間取得平衡。

與Smollm一起工作

使用PIP安裝Pytorch和變壓器：

 PIP安裝火炬變壓器

以下代碼段（將放置在main.py中）使用SMOLLM-360M教學模型（您可以適應其他尺寸）：

從變形金剛導入AutomodelForCausAllm，AutoTokenizer

checkpoint =“ huggingfacetb/smollm-360m構(gòu)造”
＃...（與原始文章一樣的其余代碼）

示例輸出：

（繼續(xù)使用其余部分 - 型，項目設置，實現(xiàn)聊天應用程序以及FAQ - 遵循原始文章的結(jié)構(gòu)和內(nèi)容，調(diào)整措辭和句子結(jié)構(gòu)，以改善流量和清晰度，同時保持原始含義。）

以上是如何使用Huggingface Smollm建立個人AI助手的詳細內(nèi)容。更多信息請關注PHP中文網(wǎng)其他相關文章！