欧美性猛交XXXX免费看蜜桃,成人网18免费韩国,亚洲国产成人精品区综合,欧美日韩一区二区三区高清不卡,亚洲综合一区二区精品久久

很多建站新手對robots.txt文件的重要作用不是很清楚，利用這篇文章普及一下WordPress站點(diǎn)robots.txt文件編寫(xiě)知識。

Robots協(xié)議（也稱(chēng)為爬蟲(chóng)協(xié)議、機器人協(xié)議等）的全稱(chēng)是“網(wǎng)絡(luò )爬蟲(chóng)排除標準”（Robots Exclusion Protocol），網(wǎng)站通過(guò)Robots協(xié)議告訴搜索引擎哪些頁(yè)面可以抓取，哪些頁(yè)面不能抓取。

搜索引擎機器人訪(fǎng)問(wèn)網(wǎng)站時(shí)，首先會(huì )尋找站點(diǎn)根目錄有沒(méi)有 robots.txt文件，如果有這個(gè)文件就根據文件的內容確定收錄范圍，如果沒(méi)有就按默認訪(fǎng)問(wèn)以及收錄所有頁(yè)面。另外，當搜索蜘蛛發(fā)現不存在robots.txt文件時(shí)，會(huì )產(chǎn)生一個(gè)404錯誤日志在服務(wù)器上，從而增加服務(wù)器的負擔，因此為站點(diǎn)添加一個(gè)robots.txt文件還是很重要的。

知道Robots協(xié)議的作用后，下面具體說(shuō)一下WordPress站點(diǎn)如何編寫(xiě)robots.txt文件。

WordPress站點(diǎn)默認在瀏覽器中輸入：http://你的域名/robots.txt，會(huì )顯示如下內容：

這是由WordPress自動(dòng)生成的，意思是告訴搜索引擎不要抓取后臺程序文件。

但這是遠遠不夠的，比較完整的WordPress站點(diǎn)robots.txt文件內容如下：

使用方法：新建一個(gè)名稱(chēng)為robots.txt文本文件，將上面的內容放進(jìn)去，然后上傳到網(wǎng)站根目錄即可。

下面分別解釋一下各項的作用：

1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/

用于告訴搜索引擎不要抓取后臺程序文件頁(yè)面。

2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*

禁止搜索引擎抓取評論分頁(yè)等相關(guān)鏈接。

3、Disallow: /category/*/page/和Disallow: /tag/*/page/

禁止搜索引擎抓取收錄分類(lèi)和標簽的分頁(yè)。

4、Disallow: /*/trackback

禁止搜索引擎抓取收錄trackback等垃圾信息

5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed

禁止搜索引擎抓取收錄feed鏈接，feed只用于訂閱本站，與搜索引擎無(wú)關(guān)。

6、Disallow: /?s=*和Disallow: /*/?s=*

禁止搜索引擎抓取站內搜索結果

7、Disallow: /*?*

禁止搜索抓取動(dòng)態(tài)頁(yè)面

8、Disallow: /attachment/

禁止搜索引擎抓取附件頁(yè)面，比如毫無(wú)意義的圖片附件頁(yè)面。

上面只是些基本的寫(xiě)法，當然還有很多，不過(guò)夠用了。