オンデバイスAIの力を活用：個(gè)人的なチャットボットCLIの構(gòu)築

最近では、個(gè)人的なAIアシスタントの概念はサイエンスフィクションのように見えました。ハイテク愛好家のアレックスを想像してください。スマートで地元のAIコンパニオンを夢(mèng)見ています。クラウドサービスや外部サーバーに依存していないものです。小言語(yǔ)モデル（SLMS）の進(jìn)歩のおかげで、アレックスの夢(mèng)は現(xiàn)実になりました。この記事では、HuggingfaceのSmollm、Langchainの柔軟性、Typerのユーザーフレンドリーなインターフェイスを使用して、AIチャットCLIアプリケーションを作成するためのAlexの旅を案內(nèi)します。チャット、質(zhì)問への回答、會(huì)話を保存できる機(jī)能的なAIアシスタントを構(gòu)築します。オンデバイスAIの世界を探索しましょう！

主要な學(xué)習(xí)目標(biāo)：

• Huggingface Smollmモデルの機(jī)能とアプリケーションを把握します。
• オンデバイスAIアプリケーションにSLMモデルを利用します。
• SLMアーキテクチャ內(nèi)でグループ化された質(zhì)問（GQA）を探索します。
• Typerおよびリッチライブラリを使用して、インタラクティブCLIアプリケーションを開発します。
• 堅(jiān)牢なAIアプリケーションのために、ハグシングフェイスモデルをLangchainと統(tǒng)合します。

目次：

• Huggingface Smollmの紹介
• グループ化されたクエリの注意を理解する（GQA）
• GQAに深く潛ります
• Smollmを利用します
• Typerの探索
• タイパーの実裝
• プロジェクトのセットアップ
• チャットアプリケーションの構(gòu)築
• よくある質(zhì)問

Huggingface smollm：よく見てください

Smollmは、3つのサイズ（135m、360m、および1.7bパラメーター）が利用できる一連の最先端の小さな言語(yǔ)モデルです。高品質(zhì)のコーパス（Cosmopedia V2-合成教科書、教育的パイソンサンプル、教育Webデータのブレンド）で訓(xùn)練されたこれらのモデルは、常識(shí)の推論と世界の知識(shí)に関連するベンチマークで優(yōu)れており、ハギングフェイスによるとサイズカテゴリの他のモデルを上回ります。

パフォーマンスの比較：

トピック分布：

135mおよび360mのパラメーターモデルは、GQAを組み込み、幅にわたって深さを優(yōu)先するMobilellmのようなアーキテクチャを利用しています。

グループ化されたクエリの注意（GQA）：効率の再定義

注意メカニズムにはさまざまな形があります：

• マルチヘッドの注意（MHA）：各ヘッドには、獨(dú)立したクエリ、キー、バリューヘッドがあります。
• マルチクエリの注意（MQA）：キーヘッドとバリューヘッドを共有しますが、各ヘッドはMHAよりも効率的な獨(dú)自のクエリを維持しています。
• グループ化されたクエリの注意（GQA）：グループ內(nèi)のキーとバリューヘッドをグループ化し、速度と効率を最適化します。それを協(xié)力して働くチームと考えて、生産性を向上させるためのリソースを共有してください。

GQAを詳細(xì)に理解します

GQAは、各グループ內(nèi)の注意ヘッドをグループ化し、キーヘッドとバリューヘッドを共有することにより、処理効率を向上させます。これは、各ヘッドに獨(dú)自のキーと値がある従來の方法とは対照的です。

重要な考慮事項(xiàng)：

• GQA-G： Gグループを持つGQA。
• GQS-1： MQAと同様の単一グループケース。
• GQA-H：グループの數(shù)は、MHAと同様の注意ヘッドの數(shù)に等しくなります。

GQAの利點(diǎn)：

• 速度の向上：特に大規(guī)模なモデルでは、処理が速くなります。
• 効率の向上：データ処理の削減、メモリの保存、処理能力。
• 最適バランス：速度と精度のバランスを達(dá)成します。

Smollmとの作業(yè)

PIPを使用してPytorchとTransformersをインストールします。

ピップインストールトーチトランス

次のコードスニペット（ main.pyに配置される）は、Smollm-360m-Instructモデル（他のサイズに適応できます）を使用します。

 TransformersからAutorodelforcausallm、AutoTokenizerを輸入します

checkpoint = "huggingfacetb/smollm-360m-instruct"
＃...（元の記事のようなコードの殘り）

出力の例：

（Typer、プロジェクトのセットアップ、チャットアプリケーションの実裝、FAQの殘りのセクションを続行します。元の記事の構(gòu)造とコンテンツをフォローし、元の意味を維持しながら、フローと透明度を改善するために言葉遣いと文の構(gòu)造を適応させます。）

以上がHuggingface smollmであなたの個(gè)人的なAIアシスタントを構(gòu)築する方法の詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國(guó)語(yǔ) Web サイトの他の関連記事を參照してください。