顧客フィードバックの分析とテキストデータの主要なテーマの特定は、伝統(tǒng)的に面倒なプロセスです。 データ収集、手動(dòng)ラベル付け、および特殊なモデルの微調(diào)整が含まれます。 ただし、ゼロショットテキスト分類は、大規(guī)模な言語(yǔ)モデル（LLM）の力を活用して、広範(fàn)なモデルトレーニングの必要性をバイパスする合理化されたアプローチを提供します。この記事では、ゼロショット分類がSKLLMライブラリ（SCIKIT-LEARNとLLMSを組み合わせた）を使用して感情分析を簡(jiǎn)素化し、Kaggle Womenのeコマース衣料品レビューデータセットに関するアプリケーションを?qū)g証する方法を説明します。

重要な學(xué)習(xí)成果

このチュートリアルでは、

：

をカバーします

従來(lái)のセンチメント分析ワークフローとその制限。
LLMSによるゼロショットテキスト分類の原則と利點(diǎn)。
• 女性のeコマース衣料品レビューデータセットへのゼロショット分類の実用的なアプリケーション。 実世界のシナリオのゼロショット分類の実踐的なエクスペリエンス。
• *この記事は、***
• データサイエンスブログソンの一部です
目次

ゼロショットテキスト分類とは？ ゼロショットが非常に効率的なのはなぜですか？

データセットの概要

ステップバイステップガイド

• 潛在的な欠點(diǎn)
• 少數(shù)のテキスト分類
• 考えされたテキスト分類
• 要約
• よくある質(zhì)問(wèn)
ゼロショットテキスト分類とは？
オンライン小売業(yè)者が受け取った大量の顧客レビューを分析することは、効率的な感情分析とテーマの識(shí)別に大きな課題を提示します。 従來(lái)の方法は次のとおりです
レビューデータの収集とクリーニング。
數(shù)千のサンプルに手動(dòng)でラベルを付けます（例：「ポジティブ」、「ネガティブ」、「ニュートラル」） このラベル付きデータを使用して、特殊な分類モデルを微調(diào)整します

このプロセスは時(shí)間がかかり、リソース集約型です。ゼロショットテキスト分類にはソリューションが提供されます。LLMSを直接使用して、カスタムトレーニングを必要とせずにテキストを分類します。 記述ラベル（「ポジティブ」、「ネガティブ」、「ニュートラル」など）を提供することにより、モデルは正しいクラスを推進(jìn)します。

ゼロショットが非常に効率的なのはなぜですか？

ゼロショット分類の効率は次のとおりです

• 微調(diào)整の排除：GPT-4のような微調(diào)整LLMの費(fèi)用のかかるプロセスは回避されます。 事前に訓(xùn)練されたLLMは直接使用され、即時(shí)の高品質(zhì)の分類を提供します
• 簡(jiǎn)単なラベルの適応：ラベルセットの変更（たとえば、一般的な感情からより具體的なものへ）の変更には、ラベルリストの更新が必要です。モデル再訓(xùn)練は必要ありません
データ要件の削減：
• 監(jiān)視された學(xué)習(xí)とは異なり、ゼロショット分類には記述ラベルのみが必要であり、限られたデータまたは非標(biāo)識(shí)データを持つ狀況に適しています。 展開の高速：
データアノテーションとモデルトレーニングをスキップすることにより、展開が大幅に加速されます。
• データセットの概要
このチュートリアルでは、女性のeコマース衣料品レビューデータセットが使用されています。

[データセットへのリンク]

キーデータセットの特性：

婦人服に関する數(shù)千の顧客レビューが含まれています。

「レビューテキスト」列には、メインテキストデータが含まれています

追加のメタデータ（ "Title、" "lating、" "推奨Ind、"など）は利用可能ですが、ゼロショット分類には不可欠ではありません。

• ステップバイステップガイド
このセクションでは、LLMSおよびSKLLMライブラリを使用したゼロショット分類を使用して、感情分析とテーマ検出を?qū)g行する方法について詳しく説明しています。
• ステップ1：インストールとセットアップ
• Python 3.7がインストールされていることを確認(rèn)し、SKLLM：
をインストールします

LLMプロバイダーの有効なAPIキー（Openaiなど）を取得し、環(huán)境に設(shè)定してください。

ステップ2：ライブラリをインポートし、データをロードします

ステップ3：ラベルを定義します

センチメント分類の場(chǎng)合、使用：

。 これは、必要に応じてカスタマイズできます。

pip install scikit-llm

ステップ4：ゼロショット分類

from skllm.config import SKLLMConfig

# Replace with your OpenAI API key
SKLLMConfig.set_openai_key("your_openai_api_key")

instantiate

（

または別の適切なモデルを使用）：

import pandas as pd
from skllm.models.gpt.classification.zero_shot import ZeroShotGPTClassifier

# Load dataset
df = pd.read_csv("Womens Clothing E-Commerce Reviews.csv")

# Handle missing review texts
df = df.dropna(subset=["Review Text"]).reset_index(drop=True)
X = df["Review Text"].tolist()

トレーニングデータが不要であることを示します。分類器は、ラベルセットで初期化されています ["positive", "negative", "neutral"]ステップ5：レビューを分類

これは、最初の5つのレビューとそれらの予測(cè)された感情を表示します。

結(jié)果の比較ZeroShotGPTClassifier gpt-4o従來(lái)のMLアプローチでは、ラベル付け、モデルトレーニング、検証、および継続的な更新が必要です。 Zero-Shotはこのオーバーヘッドを大幅に削減し、ラベル付きデータと簡(jiǎn)単なラベルの改良なしで即座に結(jié)果を提供します。

潛在的な欠點(diǎn)

• 精度の変動(dòng)：精度は、テキストの複雑さとドメイン固有の専門用語(yǔ)を解釈するモデルの能力によって異なります。
• コストに関する考慮事項(xiàng)： GPT-4のような強(qiáng)力なモデルの使用API??コストが発生します。
データのプライバシー：
• 外部APIにデータを送信する際にデータプライバシー規(guī)制のコンプライアンスを確保します。 少數(shù)のテキスト分類

少數(shù)のショット分類では、クラスごとに少數(shù)のラベル付けされた例を使用して、モデルをガイドします。 SKLLM推定器は、トレーニングセット全體を使用して、少數(shù)のショットの例を作成します。 大規(guī)模なデータセットについては、データの分割と小さなトレーニングサブセット（クラスごとに10の例以下）を使用して、例をシャッフルすることを検討してください。

考えされたテキスト分類

考え方の分類は、中間推論の手順を生成し、正確性を改善する可能性がありますが、トークンの使用とコストが増加します。

pip install scikit-llm

少數(shù)のショットとチェーンのアプローチを?qū)g験すると、ベースラインゼロショットメソッドよりも良い結(jié)果が得られる可能性があります。

要約

SKLLMライブラリは、カスタムセンチメント分析パイプラインを構(gòu)築するための高速かつ効率的な代替品を提供します。 ゼロショット分類により、手動(dòng)のラベル付けやモデルトレーニングを必要とせずに、顧客フィードバックを迅速に分析できます。 これは、反復(fù)タスクやラベルの拡張に特に価値があります。

from skllm.config import SKLLMConfig

# Replace with your OpenAI API key
SKLLMConfig.set_openai_key("your_openai_api_key")

キーポイント

ゼロショット分類は、手動(dòng)のラベル付けやモデルトレーニングなしで感情分析を簡(jiǎn)素化します。

SKLLMは、SCIKIT-LEARNをLLMSと統(tǒng)合して、効率的なテキスト分類を統(tǒng)合します GPT-4のような

llmsは、すぐに高品質(zhì)の分類結(jié)果を提供します。

ゼロショット分類は高速で適応性があり、最小限のデータが必要です

よくある質(zhì)問(wèn)
• Q1。ゼロショット、少數(shù)のショット、およびチェーンの選択を選択する：
ゼロショットは、迅速なプロトタイピングと限られたデータに最適です。少數(shù)のショットは、小さなラベル付きデータセットで精度を向上させます。考え方はパフォーマンスを向上させますが、コストが増加します
q2。少數(shù)のショットの例の數(shù)：クラスごとに最大10の例をお?jiǎng)幛幛筏蓼?。バイアスを避けるためのシャッフルの?
q3。精度へのチェーンの影響：

精度を改善することは保証されていません。有効性は、タスクの複雑さと迅速な明確さに依存します

Q4。大規(guī)模なコスト：

コストは、トークンの使用、モデルの選択、プロンプトの長(zhǎng)さ、およびデータセットサイズに依存します。 考え方のチェーンは、より長(zhǎng)いプロンプトのためにコストを増加させます。

メモ：

この記事で使用されている畫像は、著者が所有しておらず、許可を得て使用されます。

以上がScikit-llmを使用したゼロショットと少數(shù)のテキスト分類の詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國(guó)語(yǔ) Web サイトの他の関連記事を參照してください。