Google對其爬網(wǎng)和用戶觸發(fā)的Fetterers文檔進行了一系列更新，主要將單頁文檔分為多個頁面和文檔。但是Google還擴展了每個爬行者在每個爬網(wǎng)旁邊的新部分影響的產(chǎn)品，並添加了一個機器人。 txt代碼段，以供每個搜尋器，以演示如何使用每個crawler使用用戶代理令牌。

Google說的是什麼。 Google發(fā)布了有關(guān)這些更改的信息：

“對Google的爬行者和用戶觸發(fā)的Fetterers進行了重新組織。我們還添加了有關(guān)每個搜尋器會影響哪種產(chǎn)品的明確說明，並添加了一個機器人。

“文檔越來越長，這限制了我們擴展有關(guān)爬行者和用戶觸發(fā)的Fetterers的內(nèi)容的能力。”

什麼是新的。除了移動大量內(nèi)容以組織內(nèi)容。 Google還添加了“受影響的產(chǎn)品”部分，以及“示例Robots.txt組”部分。這是適用於Googlebot Crawler的屏幕截圖，但已添加到每個橫梁：

我為你拿出每個人：

• GoogleBot：爬網(wǎng)偏好的偏好是Googlebot用戶代理影響Google搜索（包括Discover和所有Google搜索功能），以及其他產(chǎn)品，例如Google Images，Google Video，Google News和Discover。
• GoogleBot圖像：爬網(wǎng)偏好的偏好寄給Googlebot-Image用戶代理影響Google Images，Discover，Google Video和Google搜索中的所有功能，其中顯示了圖像，徽標和粉絲。
• GoogleBot視頻：爬網(wǎng)偏好的偏好寄給了Googlebot-Video用戶代理會影響與視頻相關(guān)的Google搜索功能和其他依賴視頻的產(chǎn)品。
• GoogleBot新聞：爬網(wǎng)偏好的偏好是Googlebot-News用戶代理會影響Google新聞的所有表面（例如，Google Search中的“新聞”選項卡和Google News應(yīng)用程序）。
• Google StoreBot：爬網(wǎng)偏好的偏好是sorebot-google用戶代理會影響Google購物的所有表面（例如，Google Search和Google Shopping中的“購物”選項卡）。
• Google-InspectionTool：爬網(wǎng)偏好的偏好是搜索搜索測試工具，例如搜索控制臺中的富含結(jié)果測試和URL檢查。它對Google搜索或其他產(chǎn)品沒有影響。
• Google Othere：抓取涉及Google Other用戶代理的爬網(wǎng)偏好不會影響任何特定產(chǎn)品。 GoogleOther是一名通用爬網(wǎng)，各種產(chǎn)品團隊可以使用，從網(wǎng)站獲取可公開訪問的內(nèi)容。例如，它可用於一次性爬網(wǎng)，用於內(nèi)部研發(fā)。它對Google搜索或其他產(chǎn)品沒有影響。
• Google hother-image：抓取涉及Google hother-image用戶代理的抓取首選項不會影響任何特定產(chǎn)品，類似於Google Other。 Google hother-image是優(yōu)化用於獲取公開訪問圖像URL的Google Other版本。
• Google hother-Video：抓取涉及Google hother-Video用戶代理的抓取首選項不會影響任何特定產(chǎn)品，類似於Google Other。 Google hother-Video是優(yōu)化用於獲取公開訪問的視頻URL的Google Other版本。
• Google-cloudvertexbot：爬網(wǎng)偏好的偏好，涉及Google-cloudvertexbot用戶代理會影響網(wǎng)站所有者為構(gòu)建Vertex AI代理所要求的爬網(wǎng)。它對Google搜索或其他產(chǎn)品沒有影響。
• Google擴展： Google-Extended是一種獨立的產(chǎn)品令牌，Web發(fā)布者可以用來管理其網(wǎng)站是否有助於改善Gemini Apps和Vertex AI Generative API，包括為這些產(chǎn)品供電這些產(chǎn)品的後代模型。 Google擴展不會影響網(wǎng)站在Google搜索中的包含或排名。
• API-GOOGLE：抓取針對API-Google用戶代理的爬網(wǎng)偏好會影響Google API的推送通知消息。
• ADSBOT移動網(wǎng)絡(luò)：爬網(wǎng)偏好的偏好，請訪問ADSBOT-GOOGLE-MOBILE用戶代理會影響Google Ads查看網(wǎng)頁廣告質(zhì)量的能力。
• ADSBOT：抓取有關(guān)Adsbot-Google用戶代理的爬行偏好會影響Google Ads檢查網(wǎng)頁廣告質(zhì)量的能力。
• Adsense：抓取介紹給MediaPartner-Google用戶代理的爬行偏好會影響Google Adsense。 Adsense爬網(wǎng)訪問參與站點，以便為其提供相關(guān)的廣告。
• Google安全： Google安全用戶代理處理特定濫用的爬網(wǎng)，例如針對Google Properties公開發(fā)布的鏈接的惡意軟件發(fā)現(xiàn)。因此，它不受爬行偏好的影響。
• feedfetcher： feedfetcher用於抓取Google News和Pubsubhubbub的RSS或原子飼料。
• Google Publisher Center： Google Publisher Center獲取和流程提要，出版商明確提供了用於Google News Landing Pages的產(chǎn)品。
• Google大聲朗讀：根據(jù)用戶請求，Google大聲朗讀並使用文本到語音（TTS）讀取網(wǎng)頁。
• Google站點驗證者： Google站點驗證器獲取搜索控制臺驗證令牌。

為什麼我們在乎。通過這些受影響的產(chǎn)品部分閱讀可以幫助您更好地了解每個爬行者如何影響Google的各個方面。有些根本不會影響Google搜索，而另一些則對Google搜索的工作方式至關(guān)重要。

另外，新的機器人示例可能對您和您的開發(fā)團隊非常有用。

以上是Google更新了爬網(wǎng)和用戶觸發(fā)的Fetchers文檔的詳細內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！