百度和google在處理死鏈接的效率上差別很大。尤其對于被黑而導致掛上大量垃圾頁(yè)面的站點(diǎn)來(lái)說(shuō),如何盡快清除這些垃圾收錄很成問(wèn)題。
google一般對于失效的垃圾頁(yè)面,處理速度較快,蜘蛛大量爬行到404頁(yè)面后,便會(huì )停止收錄這些頁(yè)面,并逐步在索引上將其刪除。而百度則會(huì )效率低很多,以本站為例,一年前被掛了個(gè)垃圾頁(yè),生成了大量的垃圾動(dòng)態(tài)頁(yè)面,發(fā)現后將該頁(yè)面刪除,搜索引擎收錄的垃圾頁(yè)在google很快就消失了,從日志看,百度蜘蛛也是每天到訪(fǎng),肯定也抓取不到之前的垃圾頁(yè)面,但收錄卻遲遲不刪除。

也許百度也意識到了自身處理死鏈存在一定問(wèn)題,所以特別在百度站長(cháng)工具中提供了死鏈提交的功能:

提交死鏈的注意事項:
1、將提交的鏈接頁(yè)面狀態(tài)設置為404 ,尤其要注意404頁(yè)面設置好以后,要避免404頁(yè)面返回200狀態(tài)碼;
2、定期新增死鏈,用新xml文件提交最佳,不要在已有xml中更新;(這是因為txt的文本由于沒(méi)有代碼分隔,不規范的URL、帶連接符或參數的URL等有可能會(huì )造成抓取錯誤)
3、每個(gè)地址文件最多包含50,000個(gè)網(wǎng)址且需小于10MB;(這與sitemap的要求是一樣的)
4、如果驗證了網(wǎng)站的主域,那么Sitemap文件中可包含該網(wǎng)站主域下的所有網(wǎng)址。(二級域名的死鏈也可以在此提交)
提交死鏈的操作流程并不復雜,可參考百度官方死鏈提交工具幫助,但對于死鏈文件卻沒(méi)有現成的工具可使用,那么如何制作百度死鏈的xml文件呢?
1、在搜索引擎site收錄到的失效頁(yè)面,全部貼到excel中
2、前后補齊xml格式所必須的標簽,參考下圖
3、復制到編輯器中,按xml格式補齊相應代碼,參考XML格式及規范說(shuō)明
4、完成死鏈文件并上傳到網(wǎng)站根目錄
5、在站長(cháng)工具后臺提交并后期管理

聯(lián)系客服