オーストラリアの技術(shù)者であるジェレミー?ハワードは、新しい標(biāo)準(zhǔn)であるllms.txtを提案しています。これは、言語(yǔ)モデル（LLM）アクセスとインデックスのWebサイトコンテンツを改善するために設(shè)計(jì)されています。この標(biāo)準(zhǔn)は、 robots.txtおよびX(jué)ML Sitemapsと同様に、LLMSのプロセスを合理化し、ウェブサイトの所有者により多くの制御を提供しながら、リソースの負(fù)擔(dān)を軽減することを目指しています。重要な機(jī)能は、「完全なコンテンツフラッティング」であり、ブランドとコンテンツクリエイターの両方にメリットを提供します。

この提案はかなりの関心を生み出していますが、批判にも直面しています。ただし、AIに生成されたコンテンツの急速な進(jìn)化を考えると、 llms.txt慎重に検討する必要があります。

AI Webサイトのコンテンツアクセシビリティの新しい標(biāo)準(zhǔn)

特にLLMトレーニングデータに関するコンテンツ作成者の権利とデータ制御に関する議論は、SXSW Interactive 2024で勢(shì)いを増しました。他の提案は存在しますが、以前に導(dǎo)入されたllms.txtは、コンテンツ制御の増加に対する潛在的に簡(jiǎn)単なソリューションを提供します。これらの提案は相互に排他的ではありませんが、 llms.txt開(kāi)発がより高度に見(jiàn)えます。

ハワードの提案は、Simple Markdownを利用して、Webサイトクロールとインデックス標(biāo)準(zhǔn)を作成します。 LLMが膨大な量のWebコンテンツを消費(fèi)して生成することで、Webサイトの所有者は、データの使用方法をますますより良い制御を求めています。 llms.txt 、LLMSがクロールにあまり集中しないようにすることにより、これに対処することを目指しています。

この記事では、

• llms.txtとその機(jī)能。
• 実際にどのように機(jī)能するか。
• その価値に関するさまざまな視點(diǎn)。
• LLMSおよびWebサイトの所有者における現(xiàn)在の採(cǎi)用率。
• なぜそれが注意に値するのか。

llms.txtとその機(jī)能の理解

Howardの提案は次のように述べています?！弗ΕД芝单ぅ惹閳?bào)にますます依存していますが、重大な制限に直面しています。コンテキストウィンドウは、ほとんどのWebサイト全體を処理できません。 /llms.txt 、広告、JavaScriptを使用して複雑なHTMLページをLLMに優(yōu)しいプレーンテキストに変換することは困難であり、不正確です。

llms.txt使用すると、Webサイトの所有者は、AIモデルがコンテンツにアクセスして使用する方法を指定できます。 robots.txtとは異なり、アクセスをブロックするのではなく、コンテンツがAIプラットフォームにどのように表示されるかをガイドします。これには、Webサイト構(gòu)造に従って編成された1つまたは複數(shù)のファイルで、特定のセクション、要約、または完全なWebサイトテキストのURLを提供することが含まれます。

1つの例は、Webサイト全體の平らなテキストを含む100,000語(yǔ)を超えるllms.txtファイルを示しています。ただし、ファイルサイズは、Webサイトのコンテンツによって大きく異なる場(chǎng)合があります。個(gè)々のページのMarkDown（.MD）バージョンも作成できます。

llms.txtまたはllms-full.txtファイルの生成

プロセスのシンプルさは注目に値します。ウェブサイトをコアテキストの本質(zhì)に削減し、コンテンツ開(kāi)発、サイト分析、エンティティ調(diào)査など、さまざまなアプリケーションの解析を簡(jiǎn)素化します。標(biāo)準(zhǔn)化された方法により、Webサイトの所有者はLLMSがコンテンツを使用する方法を制御できます。

このプロトコルは、技術(shù)リーダーとSEOの専門(mén)家の間で牽引力を獲得しています。関連性を強(qiáng)化する可能性は、LLMS、ウェブサイトの所有者、およびより正確な情報(bào)を求めているユーザーに利益をもたらします。 llms.txt 、Webサイトのルートディレクトリで単純なテキストファイルを使用してrobots.txtと同様に機(jī)能しますが、 robots.txtディレクティブがllms.txtに含まれていないことを理解することが重要です。

llms.txt実裝の例：

いくつかの著名な組織が、人類(lèi)、抱きしめの顔、困惑、Zapierなど、 llms.txtを採(cǎi)用または調(diào)査しています。 llms.txtハブは、この標(biāo)準(zhǔn)を使用してAI開(kāi)発者を識(shí)別するためのリソースとして機(jī)能します。

llms.txtファイルを生成するためのツール：

いくつかのツールは、小さなWebサイト用の無(wú)料オプションから、より大きなソリューションのカスタムソリューションに至るまで、 llms.txtファイルの生成を支援します。ウェブサイトの所有者は、獨(dú)自のツールを開(kāi)発することもできます。ただし、外部ツールの徹底的なセキュリティ審査は、展開(kāi)前に重要です。例には、Markdoderer、Appify、WebサイトLLMS（WordPressプラグイン）、Firecrawlが含まれます。

SEOとGeoの重要性

AIモデルがWebサイトのコンテンツとどのように相互作用するかを制御することが重要です。フラット化されたWebサイトバージョンは、AIの抽出、トレーニング、および分析を簡(jiǎn)素化します。利點(diǎn)は次のとおりです。

• 獨(dú)自のコンテンツを保護(hù)する:(準(zhǔn)拠のLLMのため）
• ブランド評(píng)判管理：理論的には、AIの生成された応答で情報(bào)がどのように表示されるかを制御します。
• 強(qiáng)化された言語(yǔ)およびコンテンツ分析：キーワード頻度やエンティティ分析など、さまざまな分析を促進(jìn)します。
• 改善されたAI相互作用： LLMが正確で関連する情報(bào)を取得できるようにします。
• コンテンツの可視性の向上： AI搭載の検索結(jié)果の可視性が潛在的に向上します。
• AIパフォーマンスの向上： LLMSが貴重なコンテンツにアクセスし、より正確な応答につながるようにします。
• 競(jìng)爭(zhēng)上の優(yōu)位性： WebサイトをよりAIの準(zhǔn)備を整えています。

課題と制限

その可能性にもかかわらず、 llms.txt課題に直面しています：

• AI企業(yè)による採(cǎi)用：すべてのAI企業(yè)が遵守するわけではありません。
• ウェブサイトの採(cǎi)用：ウェブサイトの所有者による広範(fàn)な採(cǎi)用は、成功に不可欠です。
• 他のプロトコルと重複する： robots.txtおよびX(jué)MLサイトマップとの潛在的な競(jìng)合。
• 誤用の可能性：キーワードの詰め物やその他の操作技術(shù)の可能性。
• 競(jìng)合他社への露出：競(jìng)爭(zhēng)の容易な分析を促進(jìn)します。

一部のSEO/GEOの専門(mén)家は留保を表明し、LLMSと検索エンジンの區(qū)別がぼやけていると主張しており、 llms.txtの関連性が低下していると主張しています。他の人は、 robots.txtやXMLサイトマップなどの既存のプロトコルで十分であると考えています。

llms.txtおよびAIコンテンツガバナンスの將來(lái)

llms.txt 、AIのイノベーションとコンテンツの所有権のバランスをとる初期の試みを表しています。その広範(fàn)な採(cǎi)用は、業(yè)界のサポート、ウェブサイトの所有者の參加、規(guī)制の開(kāi)発、およびAI會(huì)社のコンプライアンスに依存します。情報(bào)に基づいていることとコンテンツ戦略の適応は、ウェブサイトの所有者にとって重要です。

llms.txt 、より透明で制御されたAIコンテンツエコシステムに貢獻(xiàn)します。プロアクティブな実裝は、デジタル資産を保護(hù)し、WebサイトとのLLM相互作用を改善します。 AI相互作用のための定義された戦略は、オンライン検索とコンテンツの分布の進(jìn)化する狀況に不可欠です。

llms.txt 、現(xiàn)在確立された基準(zhǔn)と慣行が不足しているGEOにある程度の科學(xué)的厳密さを?qū)毪工毪长趣扦蓼埂Ｇ閳?bào)の検索のために、LLMSにますます依存する世界で潛在的な利點(diǎn)を提供します。広範(fàn)囲にわたる採(cǎi)用は不確実なままですが、潛在的な利益は考慮と実施を保証するのに十分なほど重要です。

以上がAI Webサイトのコンテンツクロールの提案された標(biāo)準(zhǔn)であるLLMS.TXTに會(huì)いますの詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國(guó)語(yǔ) Web サイトの他の関連記事を參照してください。