有趣的是，這種特性往往用來(lái)作為參考資料，猜測網(wǎng)站又有什么新動(dòng)向上馬，而不想讓別人知道。例如通過(guò)分析Google的robots.txt變化來(lái)預測Google將要推出何種服務(wù)。
有興趣的讀者可以看一下Google的robots.txt文件，注意到前幾行就有“Disallow: /search”，而結尾新加上了“Disallow: /base/s2”。
現在來(lái)做個(gè)測試，按照規則它所隱藏的地址是http://www.Google.com/base/s2，打開(kāi)之后發(fā)現Google給出了一個(gè)錯誤提示：“服務(wù)器遇到一個(gè)暫時(shí)性問(wèn)題不能響應您的請求，請30秒后再試。”
圖1
但是把s2最后的數字換成1、3或者別的什么數字的時(shí)候，錯誤提示又是另一個(gè)樣子：“我們不知道您為什么要訪(fǎng)問(wèn)一個(gè)不存在的頁(yè)面。”
圖2
User-agent: Baiduspider
Disallow: /baidu
User-agent: *
Disallow: /shifen/dqzd.html
第一段就不用說(shuō)了，第二段也遇到了同樣打不開(kāi)的錯誤，不過(guò)，按以前的資料來(lái)看，這是百度曾經(jīng)的競價(jià)排名的區域核心代理一覽表以及地區總代理一覽表，出于某些可以理解的原因做了模糊處理。
圖3
聯(lián)系客服
