Google已向其Googlebot家族介紹了兩個(gè)新的Web爬蟲：

• Google hother-image
• Google hother-Video

根據(jù)Google的說法，這些爬網(wǎng)是專門設(shè)計(jì)用于檢索圖像和視頻內(nèi)容的Google Other的專業(yè)版。 Google other crawler于2023年4月首次引入了Google團(tuán)隊(duì)的內(nèi)部用途，以訪問公共網(wǎng)絡(luò)內(nèi)容，從而減少了主要的Googlebot爬網(wǎng)載荷的負(fù)載。

Google hother-image
根據(jù)文檔，Google hother-image是優(yōu)化用于獲取公開可用圖像URL的Google Hother版本。它將使用用戶代理令牌Google-other-image和Google Orother來識(shí)別自己。完整的用戶代理字符串將是： GoogleOther-Image/1.0 。

Google hother-Video
同樣，Google hother-Video是針對(duì)獲取公開訪問的視頻URL量身定制的Google Opher版本。它將使用用戶代理令牌Google hother-Video和Google hother，完整的用戶代理字符串為： GoogleOther-Video/1.0 。

這些新爬行者的目的
Google表示，這些新爬行者是為了更好地支持研究和開發(fā)目的的二進(jìn)制數(shù)據(jù)的檢索。

有關(guān)Google爬蟲的更多信息
目前，不同類型的Googlebot爬行者包括：

• Googlebot ：這是用于Google搜索產(chǎn)品的主要攻擊者。 Google強(qiáng)調(diào)，這個(gè)爬網(wǎng)一直尊重robots.txt規(guī)則。
• 特殊案例爬行者：這些是專為特定任務(wù)（例如ADSBOT）設(shè)計(jì)的爬行者，并且可能尊重也可能不會(huì)尊重機(jī)器人.txt指令。
• 用戶觸發(fā)的fetchers ：用戶操作啟動(dòng)爬網(wǎng)請(qǐng)求的工具或產(chǎn)品功能。例如，基于用戶請(qǐng)求的Google站點(diǎn)驗(yàn)證器行為，或者某些Google搜索控制臺(tái)工具可以在用戶交互后觸發(fā)Google獲取頁(yè)面。

Google還為每種爬網(wǎng)類型提供IP地址范圍和反向DNS掩碼：

• GoogleBot ： GoogleBot.json （ crawl-**–**–**–**.googlebot.com geo-crawl-**–**–**–**.geo.googlebot.com 。
• 特殊案例爬行者： Special-Crawlers.json （ rate-limited-proxy-**–**–**–**.google.com ）
• 用戶觸發(fā)的fetchers ：用戶觸發(fā)fetchers.json （ **–**–**–**.gae.googleusercontent.com 。

為什么這很重要
許多網(wǎng)站所有者通過日志文件監(jiān)視機(jī)器人活動(dòng)和爬行行為。如果您在日志中注意到這些新的Google其他爬行者，則無需擔(dān)心 - 它們是合法的Google爬網(wǎng)。

以上是Google添加了兩個(gè)新的Googlebot爬網(wǎng)：Google-other-image和Google hother-Video的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！