この記事では、テキストデータを分析するための自然言語(yǔ)処理（NLP）の重要なツールである周波數(shù)逆文書(shū)頻度（TF-IDF）手法について説明します。 TF-IDFは、ドキュメント內(nèi)の頻度とドキュメントのコレクション全體にわたって希少性に基づいて項(xiàng)を重み付けすることにより、基本的な言葉の袋のアプローチの制限を上回ります。この強(qiáng)化された重み付けにより、テキスト分類が改善され、機(jī)械學(xué)習(xí)モデルの分析機(jī)能が向上します。 TF-IDFモデルをPythonでゼロから構(gòu)築し、數(shù)値計(jì)算を?qū)g行する方法を示します。

目次

• TF-IDFの重要な用語(yǔ)
• 用語(yǔ)頻度（TF）が説明しました
• ドキュメント頻度（DF）が説明しました
• 逆ドキュメント頻度（IDF）が説明しました
• TF-IDFの理解
  • 數(shù)値TF-IDF計(jì)算
  • ステップ1：ターム周波數(shù)の計(jì)算（TF）
  • ステップ2：逆ドキュメント頻度の計(jì)算（IDF）
  • ステップ3：TF-IDFの計(jì)算
• 內(nèi)蔵データセットを使用したPython実裝
  • ステップ1：必要なライブラリのインストール
  • ステップ2：ライブラリのインポート
  • ステップ3：データセットのロード
  • ステップ4： TfidfVectorizerの初期化
  • ステップ5：ドキュメントの取り付けと変換
  • ステップ6：TF-IDFマトリックスの検査
• 結(jié)論
• よくある質(zhì)問(wèn)

TF-IDFの重要な用語(yǔ)

先に進(jìn)む前に、重要な用語(yǔ)を定義しましょう。

• T ：用語(yǔ)（個(gè)々の単語(yǔ)）
• D ：ドキュメント（単語(yǔ)のセット）
• N ：コーパス內(nèi)のドキュメントの総數(shù)
• コーパス：ドキュメントのコレクション全體

用語(yǔ)頻度（TF）が説明しました

用語(yǔ)頻度（TF）は、特定のドキュメントに用語(yǔ)が表示される頻度を定量化します。より高いTFは、そのドキュメント內(nèi)でより重要性を示しています。式は次のとおりです。

ドキュメント頻度（DF）が説明しました

ドキュメント頻度（DF）は、特定の用語(yǔ)を含むコーパス內(nèi)のドキュメントの數(shù)を測(cè)定します。 TFとは異なり、その発生ではなく、用語(yǔ)の存在をカウントします。式は次のとおりです。

df（t）=用語(yǔ)tを含むドキュメントの數(shù)

逆ドキュメント頻度（IDF）が説明しました

逆ドキュメント頻度（IDF）は、単語(yǔ)の情報(bào)性を評(píng)価します。 TFはすべての用語(yǔ)を平等に扱いますが、IDFのダウンウェイトは一般的な単語(yǔ)（停止単語(yǔ)など）と高級(jí)の希少な用語(yǔ)を扱います。式は次のとおりです。

ここで、nはドキュメントの総數(shù)とdf（t）は、用語(yǔ)tを含むドキュメントの數(shù)です。

TF-IDFの理解

TF-IDFは、用語(yǔ)頻度と逆文書(shū)頻度を組み合わせて、コーパス全體に比べてドキュメント內(nèi)の用語(yǔ)の重要性を決定します。式は次のとおりです。

數(shù)値TF-IDF計(jì)算

例のドキュメントを使用して、數(shù)値TF-IDF計(jì)算を説明しましょう。

文書(shū)：

1. 「空は青い?！?/li>
2. 「今日の太陽(yáng)は明るいです?！?/li>
3. 「空の太陽(yáng)は明るいです?！?/li>
4. 「輝く太陽(yáng)、明るい太陽(yáng)が見(jiàn)えます?！?/li>

元のテキストで概説されている手順に従って、各ドキュメントの各用語(yǔ)のTF、IDF、およびTF-IDFを計(jì)算します。 （Brevityのために詳細(xì)な計(jì)算はここでは省略されていますが、元の例を反映しています。）

內(nèi)蔵データセットを使用したPython実裝

このセクションでは、SCIKIT-LEARNのTfidfVectorizerおよび20のNewsGroups Datasetを使用したTF-IDF計(jì)算を示します。

ステップ1：必要なライブラリのインストール

ピップインストールScikit-Learn

ステップ2：ライブラリのインポート

PDとしてパンダをインポートします
sklearn.datasetsからfetch_20newsgroupsをインポートします
Sklearn.feature_extraction.textからtfidfvectorizerをインポートします

ステップ3：データセットのロード

newsgroups = fetch_20newsgroups（subset = 'train'）

ステップ4： TfidfVectorizerの初期化

vectorizer = tfidfvectorizer（stop_words = 'inglish'、max_features = 1000）

ステップ5：ドキュメントの取り付けと変換

tfidf_matrix = vectorizer.fit_transform（newsgroups.data）

ステップ6：TF-IDFマトリックスの検査

df_tfidf = pd.dataframe（tfidf_matrix.toarray（）、columns = vectorizer.get_feature_names_out（）））
df_tfidf.head（） 

結(jié)論

20のNewsGroups DatasetとTfidfVectorizerを使用して、テキストドキュメントをTF-IDFマトリックスに効率的に変換します。このマトリックスは、各用語(yǔ)の重要性を表し、テキスト分類やクラスタリングなどのさまざまなNLPタスクを可能にします。 Scikit-LearnのTfidfVectorizer 、このプロセスを大幅に簡(jiǎn)素化します。

よくある質(zhì)問(wèn)

FAQSセクションは、IDFの対數(shù)性、大規(guī)模なデータセットへのスケーラビリティ、TF-IDFの制限（語(yǔ)順とコンテキストを無(wú)視）、および一般的なアプリケーション（検索エンジン、テキスト分類、クラスタリング、要約）の制限に対処することはほとんど変わらないままです。

以上がTFIDFVectorizerを使用して、テキストドキュメントをTF-IDFマトリックスに変換しますの詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國(guó)語(yǔ) Web サイトの他の関連記事を參照してください。