robots.txt是搜索引擎訪問網(wǎng)站時(shí)要查看的第一個(gè)文件，是用于規(guī)定搜索引擎對網(wǎng)站內(nèi)容抓取范圍的文本文件。當(dāng)一個(gè)搜索蜘蛛訪問一個(gè)站點(diǎn)時(shí)，它會(huì)首先檢查該站點(diǎn)根目錄下是否存在robots.txt，如果存在，則會(huì)按照文件中的內(nèi)容來確定訪問的范圍。

在網(wǎng)站建設(shè)過程中我們會(huì)有一部分內(nèi)容不希望被搜索引擎抓取到或者不希望其在互聯(lián)網(wǎng)中出現(xiàn)，那么要怎么辦呢？我要怎么跟搜索引擎說你不要抓取我的xx內(nèi)容呢？這時(shí)候robots就派上用場了。

robots.txt是搜索引擎中訪問網(wǎng)站的時(shí)候要查看的第一個(gè)文件。Robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的。

當(dāng)一個(gè)搜索蜘蛛訪問一個(gè)站點(diǎn)時(shí)，它會(huì)首先檢查該站點(diǎn)根目錄下是否存在robots.txt，如果存在，搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容來確定訪問的范圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護(hù)的頁面。

語法：最簡單的 robots.txt 文件使用兩條規(guī)則：

? User-Agent: 適用下列規(guī)則的漫游器

? Disallow: 要攔截的網(wǎng)頁

但是我們需要注意的幾點(diǎn)：

1.robots.txt必須存放在網(wǎng)站的根目錄下，

2.其命名必須為robots.txt，且文件名必須全部小寫。

3.Robots.txt是搜索引擎訪問網(wǎng)站的第一個(gè)頁面

4.Robots.txt中必須指明user-agent

robots.txt使用誤區(qū)

?誤區(qū)一：我的網(wǎng)站上的所有文件都需要蜘蛛抓取，那我就沒必要在添加robots.txt文件了。反正如果該文件不存在，所有的搜索蜘蛛將默認(rèn)能夠訪問網(wǎng)站上所有沒有被口令保護(hù)的頁面。

?每當(dāng)用戶試圖訪問某個(gè)不存在的URL時(shí)，服務(wù)器都會(huì)在日志中記錄404錯(cuò)誤（無法找到文件）。每當(dāng)搜索蜘蛛來尋找并不存在的robots.txt文件時(shí)，服務(wù)器也將在日志中記錄一條404錯(cuò)誤，所以你應(yīng)該做網(wǎng)站中添加一個(gè)robots.txt。

?誤區(qū)二：在robots.txt文件中設(shè)置所有的文件都可以被搜索蜘蛛抓取，這樣可以增加網(wǎng)站的收錄率。

?網(wǎng)站中的程序腳本、樣式表等文件即使被蜘蛛收錄，也不會(huì)增加網(wǎng)站的收錄率，還只會(huì)浪費(fèi)服務(wù)器資源。因此必須在robots.txt文件里設(shè)置不要讓搜索蜘蛛索引這些文件。

?具體哪些文件需要排除， 在robots.txt使用技巧一文中有詳細(xì)介紹。

?誤區(qū)三：搜索蜘蛛抓取網(wǎng)頁太浪費(fèi)服務(wù)器資源，在robots.txt文件設(shè)置所有的搜索蜘蛛都不能抓取全部的網(wǎng)頁。

?如果這樣的話，會(huì)導(dǎo)致整個(gè)網(wǎng)站不能被搜索引擎收錄。

robots.txt使用技巧

?1. 每當(dāng)用戶試圖訪問某個(gè)不存在的URL時(shí)，服務(wù)器都會(huì)在日志中記錄404錯(cuò)誤（無法找到文件）。每當(dāng)搜索蜘蛛來尋找并不存在的robots.txt文件時(shí)，服務(wù)器也將在日志中記錄一條404錯(cuò)誤，所以你應(yīng)該在網(wǎng)站中添加一個(gè)robots.txt。

?2. 網(wǎng)站管理員必須使蜘蛛程序遠(yuǎn)離某些服務(wù)器上的目錄——保證服務(wù)器性能。比如：大多數(shù)網(wǎng)站服務(wù)器都有程序儲(chǔ)存在“cgi-bin”目錄下，因此在robots.txt文件中加入“Disallow: /cgi-bin”是個(gè)好主意，這樣能夠避免將所有程序文件被蜘蛛索引，可以節(jié)省服務(wù)器資源。一般網(wǎng)站中不需要蜘蛛抓取的文件有：后臺(tái)管理文件、程序腳本、附件、數(shù)據(jù)庫文件、編碼文件、樣式表文件、模板文件、導(dǎo)航圖片和背景圖片等等。

?下面是VeryCMS里的robots.txt文件：

?User-agent: *

?Disallow: /admin/ 后臺(tái)管理文件

?Disallow: /require/ 程序文件

?Disallow: /attachment/ 附件

?Disallow: /images/ 圖片

?Disallow: /data/ 數(shù)據(jù)庫文件

?Disallow: /template/ 模板文件

?Disallow: /css/ 樣式表文件

?Disallow: /lang/ 編碼文件

?Disallow: /script/ 腳本文件

?3. 如果你的網(wǎng)站是動(dòng)態(tài)網(wǎng)頁，并且你為這些動(dòng)態(tài)網(wǎng)頁創(chuàng)建了靜態(tài)副本，以供搜索蜘蛛更容易抓取。那么你需要在robots.txt文件里設(shè)置避免動(dòng)態(tài)網(wǎng)頁被蜘蛛索引，以保證這些網(wǎng)頁不會(huì)被視為含重復(fù)內(nèi)容。

?4. robots.txt文件里還可以直接包括在sitemap文件的鏈接。就像這樣：

?Sitemap: http://www.***.com/sitemap.xml

?目前對此表示支持的搜索引擎公司有Google, Yahoo, Ask and MSN。而中文搜索引擎公司，顯然不在這個(gè)圈子內(nèi)。這樣做的好處就是，站長不用到每個(gè)搜索引擎的站長工具或者相似的站長部分，去提交自己的sitemap文件，搜索引擎的蜘蛛自己就會(huì)抓取robots.txt文件，讀取其中的sitemap路徑，接著抓取其中相鏈接的網(wǎng)頁。

?5. 合理使用robots.txt文件還能避免訪問時(shí)出錯(cuò)。比如，不能讓搜索者直接進(jìn)入購物車頁面。因?yàn)闆]有理由使購物車被收錄，所以你可以在robots.txt文件里設(shè)置來阻止搜索者直接進(jìn)入購物車頁面

以上是什么是robots.txt？的詳細(xì)內(nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！