Google對其爬網(wǎng)和用戶觸發(fā)的Fetterers文檔進(jìn)行了一系列更新，主要將單頁文檔分為多個(gè)頁面和文檔。但是Google還擴(kuò)展了每個(gè)爬行者在每個(gè)爬網(wǎng)旁邊的新部分影響的產(chǎn)品，并添加了一個(gè)機(jī)器人。txt代碼段，以供每個(gè)搜尋器，以演示如何使用每個(gè)crawler使用用戶代理令牌。

Google說的是什么。 Google發(fā)布了有關(guān)這些更改的信息：

“對Google的爬行者和用戶觸發(fā)的Fetterers進(jìn)行了重新組織。我們還添加了有關(guān)每個(gè)搜尋器會影響哪種產(chǎn)品的明確說明，并添加了一個(gè)機(jī)器人。

“文檔越來越長，這限制了我們擴(kuò)展有關(guān)爬行者和用戶觸發(fā)的Fetterers的內(nèi)容的能力。”

什么是新的。除了移動(dòng)大量內(nèi)容以組織內(nèi)容。 Google還添加了“受影響的產(chǎn)品”部分，以及“示例Robots.txt組”部分。這是適用于Googlebot Crawler的屏幕截圖，但已添加到每個(gè)橫梁：

我為你拿出每個(gè)人：

• GoogleBot：爬網(wǎng)偏好的偏好是Googlebot用戶代理影響Google搜索（包括Discover和所有Google搜索功能），以及其他產(chǎn)品，例如Google Images，Google Video，Google News和Discover。
• GoogleBot圖像：爬網(wǎng)偏好的偏好寄給Googlebot-Image用戶代理影響Google Images，Discover，Google Video和Google搜索中的所有功能，其中顯示了圖像，徽標(biāo)和粉絲。
• GoogleBot視頻：爬網(wǎng)偏好的偏好寄給了Googlebot-Video用戶代理會影響與視頻相關(guān)的Google搜索功能和其他依賴視頻的產(chǎn)品。
• GoogleBot新聞：爬網(wǎng)偏好的偏好是Googlebot-News用戶代理會影響Google新聞的所有表面（例如，Google Search中的“新聞”選項(xiàng)卡和Google News應(yīng)用程序）。
• Google StoreBot：爬網(wǎng)偏好的偏好是sorebot-google用戶代理會影響Google購物的所有表面（例如，Google Search和Google Shopping中的“購物”選項(xiàng)卡）。
• Google-InspectionTool：爬網(wǎng)偏好的偏好是搜索搜索測試工具，例如搜索控制臺中的富含結(jié)果測試和URL檢查。它對Google搜索或其他產(chǎn)品沒有影響。
• Google Othere：抓取涉及Google Other用戶代理的爬網(wǎng)偏好不會影響任何特定產(chǎn)品。 GoogleOther是一名通用爬網(wǎng)，各種產(chǎn)品團(tuán)隊(duì)可以使用，從網(wǎng)站獲取可公開訪問的內(nèi)容。例如，它可用于一次性爬網(wǎng)，用于內(nèi)部研發(fā)。它對Google搜索或其他產(chǎn)品沒有影響。
• Google hother-image：抓取涉及Google hother-image用戶代理的抓取首選項(xiàng)不會影響任何特定產(chǎn)品，類似于Google Other。 Google hother-image是優(yōu)化用于獲取公開訪問圖像URL的Google Other版本。
• Google hother-Video：抓取涉及Google hother-Video用戶代理的抓取首選項(xiàng)不會影響任何特定產(chǎn)品，類似于Google Other。 Google hother-Video是優(yōu)化用于獲取公開訪問的視頻URL的Google Other版本。
• Google-cloudvertexbot：爬網(wǎng)偏好的偏好，涉及Google-cloudvertexbot用戶代理會影響網(wǎng)站所有者為構(gòu)建Vertex AI代理所要求的爬網(wǎng)。它對Google搜索或其他產(chǎn)品沒有影響。
• Google擴(kuò)展： Google-Extended是一種獨(dú)立的產(chǎn)品令牌，Web發(fā)布者可以用來管理其網(wǎng)站是否有助于改善Gemini Apps和Vertex AI Generative API，包括為這些產(chǎn)品供電這些產(chǎn)品的后代模型。 Google擴(kuò)展不會影響網(wǎng)站在Google搜索中的包含或排名。
• API-GOOGLE：抓取針對API-Google用戶代理的爬網(wǎng)偏好會影響Google API的推送通知消息。
• ADSBOT移動(dòng)網(wǎng)絡(luò)：爬網(wǎng)偏好的偏好，請?jiān)L問ADSBOT-GOOGLE-MOBILE用戶代理會影響Google Ads查看網(wǎng)頁廣告質(zhì)量的能力。
• ADSBOT：抓取有關(guān)Adsbot-Google用戶代理的爬行偏好會影響Google Ads檢查網(wǎng)頁廣告質(zhì)量的能力。
• Adsense：抓取介紹給MediaPartner-Google用戶代理的爬行偏好會影響Google Adsense。 Adsense爬網(wǎng)訪問參與站點(diǎn)，以便為其提供相關(guān)的廣告。
• Google安全： Google安全用戶代理處理特定濫用的爬網(wǎng)，例如針對Google Properties公開發(fā)布的鏈接的惡意軟件發(fā)現(xiàn)。因此，它不受爬行偏好的影響。
• feedfetcher： feedfetcher用于抓取Google News和Pubsubhubbub的RSS或原子飼料。
• Google Publisher Center： Google Publisher Center獲取和流程提要，出版商明確提供了用于Google News Landing Pages的產(chǎn)品。
• Google大聲朗讀：根據(jù)用戶請求，Google大聲朗讀并使用文本到語音（TTS）讀取網(wǎng)頁。
• Google站點(diǎn)驗(yàn)證者： Google站點(diǎn)驗(yàn)證器獲取搜索控制臺驗(yàn)證令牌。

為什么我們在乎。通過這些受影響的產(chǎn)品部分閱讀可以幫助您更好地了解每個(gè)爬行者如何影響Google的各個(gè)方面。有些根本不會影響Google搜索，而另一些則對Google搜索的工作方式至關(guān)重要。

另外，新的機(jī)器人示例可能對您和您的開發(fā)團(tuán)隊(duì)非常有用。

以上是Google更新了爬網(wǎng)和用戶觸發(fā)的Fetchers文檔的詳細(xì)內(nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！