MicrosoftのTNT-LLM：分類學(xué)の生成とテキスト分類の革命

Microsoftは、速度と精度の両方で従來(lái)の方法を上回る、分類法の作成とテキスト分類を自動(dòng)化する畫期的なシステムであるTNT-LLMを発表しました。 この革新的なアプローチは、大規(guī)模な言語(yǔ)モデル（LLM）の力を活用して、分類剤と分類器の生成を合理化および拡大し、手動(dòng)介入を最小限に抑えます。 これは、動(dòng)的で多様なテキストデータの管理が最重要であるBing Copilotのようなアプリケーションにとって特に有益です。 この記事では、効率的なニュース記事クラスタリングのためにGPT-4OとLanggraphを使用したTNT-LLMの実裝を示しています。 GPT-4OとLanggraphの詳細(xì)については、これらのリソースを參照してください。

Openaiのgpt-4o？

とは何ですか

GPT-4O APIチュートリアル：OpenAIのAPIを始めましょう
langgraphチュートリアル：ランググラフとは何ですか？
元のTNT-LLM研究論文「TNT-LLM：大規(guī)模な言語(yǔ)モデルを使用したテキストマイニング」は、システムに関する包括的な詳細(xì)を提供します。
• Tnt-llm
を理解します

tnt-llm（大規(guī)模な言語(yǔ)モデルを使用した分類法とテキスト分類）は、テキストデータから分類法を生成および分類するために設(shè)計(jì)された2段階のフレームワークです。

フェーズ1：分類生成

この初期フェーズでは、テキストドキュメントのサンプルと特定の指示を使用します（たとえば、「ニュース記事をクラスターするために分類法を生成する」）。 LLMは各ドキュメントを要約し、重要な情報(bào)を抽出します。 反復(fù)改良を通じて、LLMは分類法を構(gòu)築、修正、および改良し、効果的なニュース記事分類のためのラベルの構(gòu)造化された階層と説明をもたらします。

出典：wan et al。

フェーズ2：テキスト分類

第2フェーズでは、生成された分類法を使用して、より大きなデータセットにラベルを付けます。 LLMはこれらのラベルを適用し、軽量分類器（ロジスティック回帰など）のトレーニングデータを作成します。このトレーニングされた分類器は、データセット全體を効率的にラベル付けするか、リアルタイム分類を?qū)g行します。

出典：wan et al。

TNT-LLMの適応性のある性質(zhì)により、意図の検出やトピックの分類など、さまざまなテキスト分類タスクに適しています。 TNT-llm

の利點(diǎn)

tnt-llmは、大規(guī)模なテキストマイニングと分類に大きな利點(diǎn)を提供します：

• 自動(dòng)化された分類版生成：生のテキストから詳細(xì)で解釈可能な分類法の作成を自動(dòng)化し、広範(fàn)な手動(dòng)努力とドメインの専門知識(shí)の必要性を排除します。
• スケーラブルな分類：大きなデータセットとリアルタイム分類を効率的に処理する軽量モデルを使用して、スケーラブルなテキスト分類を有効にします。
• 費(fèi)用対効果：高品質(zhì)の出力：
繰り返しの分類學(xué)的生成により、高品質(zhì)、関連性、正確な分類が保証されます。
• 最小限の人間の介入：手動(dòng)入力を減らし、潛在的なバイアスと矛盾を最小限に抑えます。
• 柔軟性：さまざまなテキスト分類タスクとドメインに適応し、さまざまなLLMとの統(tǒng)合、埋め込み方法、および分類器をサポートします。 TNT-llm
の実裝
• 段階的な実裝ガイドが次のとおりです インストール：

必要なパッケージをインストール：

APIキーとモデル名の環(huán)境変數(shù)を設(shè)定します：

コアコンセプト：

pip install langgraph langchain langchain_openai

ドキュメント：

クラスを使用して構(gòu)造化された生のテキストデータ（記事、チャットログ）。

export AZURE_OPENAI_API_KEY='your_api_key_here'
export AZURE_OPENAI_MODEL='your_deployment_name_here'
export AZURE_OPENAI_ENDPOINT='deployment_endpoint'

分類法：

クラスによって管理されている分類された意図またはトピックのクラスター。

単純なTNT-LLMアプリケーションの構(gòu)築：

• 次のセクションでは、コードスニペットを使用して重要なプロセスを説明する実裝手順を詳しく説明します。 元のコードの長(zhǎng)さにより、ここでの完全な複製は実用的ではありません。 ただし、以下はプロセスの構(gòu)造化された概要を提供します。 Doc
• ステップ0：グラフ狀態(tài)クラスを定義し、データセットをロードし、GPT-4Oを初期化します。これには、データ構(gòu)造の定義とニュース記事データセットのロードが含まれます。 GPT-4Oモデルは、パイプライン全體で使用するために初期化されます。 TaxonomyGenerationState
ステップ1：ドキュメントを要約する：

各ドキュメントはLLMプロンプトを使用して要約されています。

ステップ2：ミニバッチの作成：

要約ドキュメントは、並列処理のためにミニバッチに分割されます。

• ステップ3：初期分類法を生成：最初のミニバッチから初期分類法が生成されます。

• ステップ4：分類法の更新：後続のミニバッチが処理されると、分類法が繰り返し更新されます。

• ステップ5：レビュー分類法：最終的な分類法の正確性と関連性についてレビューされています。

• ステップ6：Tnt-llmパイプラインをStategraphで調(diào)整します：a Stategraphは、さまざまなステップの実行を調(diào)整します。

• ステップ7：TNT-llmのニュース記事分類法のクラスタリングと表示

結(jié)論

TNT-LLMは、大規(guī)模なテキストマイニングと分類のための強(qiáng)力で効率的なソリューションを提供します。その自動(dòng)化機(jī)能は、構(gòu)造化されていないテキストデータの分析に必要な時(shí)間とリソースを大幅に削減し、さまざまなドメインでデータ駆動(dòng)型の意思決定を可能にします。 業(yè)界全體のさらなる開発と適用の可能性は実質(zhì)的です。 さらなるLLMアプリケーション開発に興味がある人には、「Langchainを使用したLLMアプリケーションの開発」に関するコースが推奨されます。

以上がGPT-4OおよびLanggraphチュートリアル：TNT-LLMアプリケーションを構(gòu)築しますの詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國(guó)語(yǔ) Web サイトの他の関連記事を參照してください。