欧美性猛交XXXX免费看蜜桃,成人网18免费韩国,亚洲国产成人精品区综合,欧美日韩一区二区三区高清不卡,亚洲综合一区二区精品久久

Robots文件是位于網(wǎng)站根目錄下的文件名為robots.txt的文本文件，用于聲明網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。

從上面這段定義中，可以提煉出以下幾個(gè)部分：

• Robots.txt文件的存放位置：根目錄。
• Robots.txt文件的文件名：robots.txt。命名不允許出現任何錯誤，必須小寫(xiě)，不要忘記字母's'，命名錯誤 Robots文件將失去對搜索引擎的限制作用。
• Robots.txt文件的格式：文本文件。
• Robots.txt文件的作用：引導搜索引擎只收錄我們希望他們收錄的內容。這一點(diǎn)非常重要，可以從很大程度上提高蜘蛛爬行的效率。

這里需要注意的一點(diǎn)是，僅當網(wǎng)站包含不希望被搜索引擎收錄的內容時(shí)，才需要使用Robots.txt文件。如果你希望搜索引擎收錄網(wǎng)站上所有內容，請勿建立Robots.txt文件，或建立一個(gè)為空的文本文件，詳細操作請閱讀教程Robots.txt怎么寫(xiě)。

除此之外，還有一種方法可以禁止搜索引擎收錄所規定的網(wǎng)頁(yè)，即Meta Robots，這里不做詳細介紹，具體可閱讀相關(guān)教程。