日本大香蕉,精品无码一区二区三区之,国产免费久久精品99丫丫,亚洲色精品VR一区二区

一．什么是robots.txt文件?

搜索引擎通過(guò)一種程序robot（又稱(chēng)spider），自動(dòng)訪(fǎng)問(wèn)互聯(lián)網(wǎng)上的網(wǎng)頁(yè)并獲取網(wǎng)頁(yè)信息。spider在訪(fǎng)問(wèn)一個(gè)網(wǎng)站時(shí)，會(huì)首先會(huì)檢查該網(wǎng)站的根域下是否有一個(gè)叫做robots.txt的純文本文件。您可以在您的網(wǎng)站中創(chuàng)建一個(gè)純文本文件robots.txt，在文件中聲明該網(wǎng)站中不想被robot訪(fǎng)問(wèn)的部分或者指定搜索引擎只收錄特定的部分。

請(qǐng)注意，robots.txt是一個(gè)純文本文件，是搜索引擎蜘蛛爬行網(wǎng)站的時(shí)候要訪(fǎng)問(wèn)的第一個(gè)文件，當(dāng)蜘蛛訪(fǎng)問(wèn)一個(gè)站點(diǎn)時(shí)，它會(huì)首先檢查該站點(diǎn)根目錄下是否存在robots.txt，如果存在，搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容來(lái)確定訪(fǎng)問(wèn)的范圍，相當(dāng)于網(wǎng)站與搜索引蜘蛛遵循協(xié)議，如果該文件不存在，所有的搜索蜘蛛將能夠訪(fǎng)問(wèn)網(wǎng)站上所有沒(méi)有被屏蔽的網(wǎng)頁(yè)，作為站長(zhǎng)，我們就可以通過(guò)robots.txt文件屏蔽掉錯(cuò)誤的頁(yè)面和一些不想讓蜘蛛爬取和收錄的頁(yè)面。

二．robots.txt放置位置

robots.txt文件應(yīng)該放置在網(wǎng)站根目錄下。舉例來(lái)說(shuō)，當(dāng)spider訪(fǎng)問(wèn)一個(gè)網(wǎng)站(比如http://m.teemart.cn)時(shí)，首先會(huì)檢查該網(wǎng)站中是否存在http://m.teemart.cn/robots.txt這個(gè)文件，如果Spider找到這個(gè)文件，它就會(huì)根據(jù)這個(gè)文件的內(nèi)容，來(lái)確定它訪(fǎng)問(wèn)權(quán)限的范圍。

三．robots.txt作用

第一，Robots.txt文件大大節(jié)省服務(wù)器寬帶
我們都知道像email retrievers、image strippers這類(lèi)搜索引擎都耗用大量寬帶，而且對(duì)網(wǎng)站沒(méi)有什么太大的意義，而通過(guò)Robots.txt就可以制止不必要的爬行工作，如果你的網(wǎng)站是圖片站的話(huà)，沒(méi)有設(shè)置好Robots.txt文件的話(huà)，就會(huì)浪費(fèi)大量的服務(wù)器寬帶。

第二、方便搜索引擎爬起工作
如果你的網(wǎng)站內(nèi)容豐富，頁(yè)面很多，設(shè)置Robots.txt文件更為重要，比如你有個(gè)網(wǎng)站，整個(gè)站有50多個(gè)G，打開(kāi)頁(yè)面可能會(huì)比較慢，如果不配置好Robots.txt文件的話(huà)，蜘蛛爬行工作就會(huì)很費(fèi)力，而且如果太多的蜘蛛爬行，以至?xí)绊懩憔W(wǎng)站的正常訪(fǎng)問(wèn)。

第三、聲明該網(wǎng)站中不想被robot訪(fǎng)問(wèn)的部分或者指定搜索引擎只收錄特定的部分，優(yōu)化蜘蛛訪(fǎng)問(wèn)效率，蜘蛛抓取更頻繁。

第四、引導(dǎo)蜘蛛爬網(wǎng)站地圖