In diesem Artikel werden die TF-IDF-Technik (Frequenz-Inverse-Dokumentfrequenz) erl?utert, ein entscheidendes Werkzeug in der natürlichen Sprachverarbeitung (NLP) zur Analyse von Textdaten. TF-IDF übertrifft die Einschr?nkungen der Basis-W?rter-Ans?tze, indem sie Begriffe basierend auf ihrer H?ufigkeit innerhalb eines Dokuments und ihrer Seltenheit über eine Sammlung von Dokumenten gewichtet werden. Diese verbesserte Gewichtung verbessert die Textklassifizierung und erh?ht die analytischen F?higkeiten von maschinellen Lernmodellen. Wir werden demonstrieren, wie ein TF-IDF-Modell in Python von Grund auf neu erstellt und numerische Berechnungen durchgeführt werden.

Inhaltsverzeichnis

• Schlüsselbegriffe in TF-IDF
• Term Frequenz (TF) erkl?rt
• Dokumentfrequenz (DF) erl?utert
• Inverse Dokumentfrequenz (IDF) erl?utert
• TF-IDF verstehen
  • Numerische TF-IDF-Berechnung
  • Schritt 1: Berechnung der Termfrequenz (TF)
  • Schritt 2: Berechnung der inversen Dokumentfrequenz (IDF)
  • Schritt 3: Berechnung von TF-IDF
• Python-Implementierung mit einem integrierten Datensatz
  • Schritt 1: Installation der erforderlichen Bibliotheken
  • Schritt 2: Bibliotheken importieren
  • Schritt 3: Laden des Datensatzes
  • Schritt 4: Initialisieren von TfidfVectorizer
  • Schritt 5: Anpassen und Transformieren von Dokumenten
  • Schritt 6: Untersuchung der TF-IDF-Matrix untersuchen
• Abschluss
• H?ufig gestellte Fragen

Schlüsselbegriffe in TF-IDF

Definieren wir vor dem Fortfahren die wichtigsten Begriffe:

• T : Begriff (individuelles Wort)
• D : Dokument (eine Reihe von W?rtern)
• N : Gesamtzahl der Dokumente im Korpus
• Corpus : Die gesamte Sammlung von Dokumenten

Term Frequenz (TF) erkl?rt

Die Term Frequenz (TF) quantifiziert, wie oft ein Begriff in einem bestimmten Dokument erscheint. Ein h?herer TF zeigt eine gr??ere Bedeutung in diesem Dokument an. Die Formel lautet:

Dokumentfrequenz (DF) erl?utert

Dokumentfrequenz (DF) misst die Anzahl der Dokumente innerhalb des Korpus, der einen bestimmten Term enth?lt. Im Gegensatz zu TF z?hlt es das Vorhandensein eines Begriffs und nicht des Vorkommens. Die Formel lautet:

Df (t) = Anzahl der Dokumente, die Begriff t enthalten

Inverse Dokumentfrequenz (IDF) erl?utert

Die inverse Dokumentfrequenz (IDF) bewertet die Informativit?t eines Wortes. W?hrend TF alle Begriffe gleich behandelt, sind IDF -Abf?lle gemeinsame W?rter (wie Stoppw?rter) und seltenere Begriffe. Die Formel lautet:

wobei n die Gesamtzahl der Dokumente ist und DF (t) die Anzahl der Dokumente, die Begriff t enthalten.

TF-IDF verstehen

TF-IDF kombiniert Term H?ufigkeit und umgekehrte Dokumentfrequenz, um die Signifikanz eines Begriffs innerhalb eines Dokuments relativ zum gesamten Korpus zu bestimmen. Die Formel lautet:

Numerische TF-IDF-Berechnung

Veranschaulichen Sie die numerische TF-IDF-Berechnung mit Beispieldokumenten:

Unterlagen:

1. "Der Himmel ist blau."
2. "Die Sonne ist heute hell."
3. "Die Sonne am Himmel ist hell."
4. "Wir k?nnen die leuchtende Sonne sehen, die helle Sonne."

Befolgen Sie die im Originaltext beschriebenen Schritte, wir berechnen TF, IDF und dann TF-IDF für jeden Begriff in jedem Dokument. (Die detaillierten Berechnungen werden hier für die Kürze weggelassen, spiegeln jedoch das ursprüngliche Beispiel wider.)

Python-Implementierung mit einem integrierten Datensatz

In diesem Abschnitt wird die TF-IDF-Berechnung unter Verwendung von TfidfVectorizer von Scikit-Learn und dem 20 Newsgroups-Datensatz angezeigt.

Schritt 1: Installation der erforderlichen Bibliotheken

 PIP Installieren Sie Scikit-Learn

Schritt 2: Bibliotheken importieren

 Pandas als PD importieren
Aus sklearn.datasets importieren Sie Fetch_20newsgroups
von sklearn.feature_extraction.text import tfidfVectorizer

Schritt 3: Laden des Datensatzes

 Newsgroups = Fetch_20NewsGroups (Subset = 'Train')

Schritt 4: Initialisieren von TfidfVectorizer

 vectorizer = tfidfVectorizer (stop_words = 'englisch', max_features = 1000)

Schritt 5: Anpassen und Transformieren von Dokumenten

 tfidf_matrix = vectorizer.fit_transform (newsgroups.data)

Schritt 6: Untersuchung der TF-IDF-Matrix untersuchen

 df_tfidf = pd.dataframe (tfidf_matrix.toarray (), columns = vectorizer.get_feature_names_out ()))
df_tfidf.head () 

Abschluss

Unter Verwendung des 20 Newsgroups-Datensatzes und TfidfVectorizer transformieren wir Textdokumente effizient in eine TF-IDF-Matrix. Diese Matrix stellt die Bedeutung jedes Begriffs dar und erm?glicht verschiedene NLP -Aufgaben wie die Klassifizierung und Clusterbildung von Text. Der TfidfVectorizer von Scikit-Learn vereinfacht diesen Prozess erheblich.

H?ufig gestellte Fragen

Der FAQS-Abschnitt bleibt weitgehend unver?ndert und adressiert die logarithmische Natur der IDF, die Skalierbarkeit gro?er Datens?tze, Einschr?nkungen von TF-IDF (ignorierende Wortreihenfolge und Kontext ignorieren) und gemeinsame Anwendungen (Suchmaschinen, Textklassifizierung, Clustering, Zusammenfassung).

Das obige ist der detaillierte Inhalt vonKonvertieren Sie Textdokumente in eine TF-IDF-Matrix mit TFIDFVectorizer. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!