動(dòng)態(tài)網(wǎng)頁(yè)的搜索引擎優(yōu)化

作者：不詳
日期：2005-8-25
來(lái)自： 搜索引擎排名研究

編譯：Karen
動(dòng)態(tài)生成的網(wǎng)頁(yè)：
　　對于那些動(dòng)態(tài)生成網(wǎng)頁(yè)，我們這些實(shí)際的訪(fǎng)問(wèn)者可以通過(guò)肉眼看到。但對于大多數搜索引擎的蜘蛛程序卻往往是不可見(jiàn)的，這也就是動(dòng)態(tài)網(wǎng)頁(yè)很難被搜索引擎的SPIDER檢索的原因。因而，要想讓你的動(dòng)態(tài)網(wǎng)頁(yè)能夠出現在搜索引擎的搜索結果中，只要保證你的網(wǎng)站內容對搜索引擎是可見(jiàn)的，即搜索引擎的Spider程序能夠看到你網(wǎng)站的內容就可以了。
　　所謂動(dòng)態(tài)網(wǎng)頁(yè)一般指的是采用ASP，PHP，Cold Fusion，CGI等程序動(dòng)態(tài)生成的頁(yè)面，該網(wǎng)頁(yè)中的大部分內容來(lái)自與網(wǎng)站相連的數據庫。在網(wǎng)絡(luò )空間中并不存在這個(gè)頁(yè)面，只有接到用戶(hù)的訪(fǎng)問(wèn)要求后才生成并傳輸到用戶(hù)的瀏覽器中。而且由于訪(fǎng)問(wèn)者能夠實(shí)時(shí)得到他們想要的數據，動(dòng)態(tài)網(wǎng)頁(yè)往往容易給人留下深刻的印象。此外，動(dòng)態(tài)網(wǎng)頁(yè)還具有容易維護和更新的優(yōu)點(diǎn)。例如，對于一個(gè)新產(chǎn)品或價(jià)格的調整。網(wǎng)站管理員只要對數據庫做一下簡(jiǎn)單的改動(dòng)就可以了，根本不需要去修改每個(gè)單獨的靜態(tài)頁(yè)面。
　　我們可以看出，從用戶(hù)角度來(lái)考慮，動(dòng)態(tài)網(wǎng)頁(yè)確實(shí)非常棒。但如果在搜索引擎的角度來(lái)看，結論卻不同了。
動(dòng)態(tài)網(wǎng)頁(yè)的問(wèn)題所在：
　　問(wèn)題就出在這些動(dòng)態(tài)網(wǎng)頁(yè)在網(wǎng)絡(luò )空間中并不是實(shí)際存在的，只有當用戶(hù)在變量區中輸入一個(gè)值以后它們才會(huì )生成。而我們大家也都知道，搜索引擎的Spider再聰明，它也只是一個(gè)搜索程序，它們無(wú)法象真正的人那樣選擇變量并輸入數值。
　　亦可將查詢(xún)編入主頁(yè)上的一個(gè)鏈接中，使得該鏈接成為一個(gè)預先定義的網(wǎng)站目錄的查詢(xún)。用戶(hù)可在一個(gè)搜索表格中鍵入查詢(xún)條件來(lái)查詢(xún)，通常動(dòng)態(tài)腳本需要某些信息來(lái)返回頁(yè)面內容，最常見(jiàn)的如Cookie數據，Session ID或一個(gè)環(huán)境變量。但對搜索引擎的Spider程序來(lái)說(shuō)，它們壓根不可能知道去使用你的搜索功能，或者該問(wèn)什么問(wèn)題。就是因為如此，Spider對網(wǎng)站的檢索往往會(huì )在一個(gè)動(dòng)態(tài)站點(diǎn)前不得不止步。
　　此外，在動(dòng)態(tài)頁(yè)的URL中包含了問(wèn)號(?)和百分號(%)。還有一些符號諸如&，%，+和$等在一個(gè)動(dòng)態(tài)頁(yè)的URL中也經(jīng)常能看到。這樣的URL被稱(chēng)作“環(huán)境變量”(query string)。不過(guò)大多數SPIDER都無(wú)法解讀符號“?”后的字符。例如，對于這樣一個(gè)URL：http://www.americanbooks.com/cgi-bin/items.cgi?name=naturaldiet大多數SPIDER都只能讀取符號“?”之前的字符。URL中的“?”對它們來(lái)說(shuō)是一個(gè)“停止標記”，這樣它們最終檢索到的URL只能是：http://www.americanbooks.com/cgi-bin/items.cgi
　　很顯然，由于這個(gè)URL并不實(shí)際存在，所以它們一無(wú)所獲。因此，如果你的整個(gè)網(wǎng)站或網(wǎng)站上有大部分網(wǎng)頁(yè)都是采用動(dòng)態(tài)來(lái)生成的，為了使SPIDER易于讀取你網(wǎng)站上的內容，你需要對網(wǎng)站做一定的修改。
　　還有一些搜索引擎在對頁(yè)面進(jìn)行檢索時(shí)往往也會(huì )拒絕對cgi-bin目錄下的靜態(tài)頁(yè)面(即被保存成靜態(tài)頁(yè)面的動(dòng)態(tài)頁(yè))URL進(jìn)行檢索。例如，對下面兩個(gè)URL它們就不提供檢索：
　　http://www.americanbooks.com/cgi-bin/items.html
　　http://www.americanbooks.com/cgi/items.html
搜索引擎為何不讀取符號“?”后的內容：
　　搜索引擎的SPIDER不愿意讀取放在cgi-bin目錄下的網(wǎng)頁(yè)，或是URL中包含了符號“?”的字符。其原因就在于，如果在CGI中提供了“無(wú)窮”數量的URL，那么SPIDER往往就會(huì )因為對這些“無(wú)窮”網(wǎng)頁(yè)的檢索而被牢牢套住，陷入死循環(huán)。這就是所謂的蜘蛛陷阱(spider traps)。數據庫程序對SPIDER亦有可能創(chuàng )建一個(gè)與此類(lèi)似的情形。因而為避開(kāi)可能的陷阱，Spider對于那些帶有符號“?”的URL中的“?”之后的字符一概不予讀取。
　　倘若Spider被你的服務(wù)器套住，不只是對Spider本身不妙，Spider對你網(wǎng)站頁(yè)面的重復訪(fǎng)問(wèn)請求也會(huì )導致你的服務(wù)器系統徹底癱瘓。
動(dòng)態(tài)網(wǎng)頁(yè)的優(yōu)化方案：
　　以http://www.americanbooks.com/cgi-bin/items.cgi?name=naturaldiet 為例：從其URL中我們可以看出，它表明網(wǎng)站americanbooks.com中提供有天然減肥產(chǎn)品相關(guān)的內容。遺憾的是，由于Spider不支持動(dòng)態(tài)生成頁(yè)，從而導致了該動(dòng)態(tài)頁(yè)上的相關(guān)內容無(wú)法得到搜索引擎的索引。假設現在有一個(gè)競爭者，他也有一個(gè)與天然減肥產(chǎn)品類(lèi)似內容的網(wǎng)頁(yè)，但由于他的網(wǎng)頁(yè)是靜態(tài)頁(yè)面，所以能夠得到搜索引擎的索引。那么可想而知，那些搜索“天然減肥產(chǎn)品”的用戶(hù)最后訪(fǎng)問(wèn)的會(huì )是誰(shuí)的網(wǎng)站。而且，就算americanbooks.com上提供的具體內容比它的競爭者再好又能怎樣呢？就因為它無(wú)法出現在搜索引擎的搜索結果中，所以只能把網(wǎng)上銷(xiāo)售的好機會(huì )拱手讓給他的競爭者了。
　　對這個(gè)問(wèn)題的解決方案可以遵循一個(gè)思想：即更改動(dòng)態(tài)網(wǎng)頁(yè)的URL，使URL中不再包含符號“?”“=”和其它類(lèi)似的符號，看起來(lái)象一個(gè)靜態(tài)的URL。
不同程序開(kāi)發(fā)的動(dòng)態(tài)頁(yè)的不同解決方案：
CGI/ Perl
　　如果你在網(wǎng)站中使用的是CGI或者Perl，可用一個(gè)腳本拾取環(huán)境變量前的所有字符，再將URL中剩余的字符賦值給一個(gè)變量。這樣，你就可以在URL中使用該變量了。
　　路徑信息(或腳本名稱(chēng))是動(dòng)態(tài)應用程序中的一個(gè)變量，該變量包含了完整的URL地址和環(huán)境變量信息。這樣，腳本就從路徑信息變量中獲取環(huán)境變量前的字符，并將剩余字符代入一變量。
　　不過(guò)，對于那些內置了部分SSI(Server-Side Include：服務(wù)器端嵌入)內容的網(wǎng)頁(yè)，主要的搜索引擎都能夠提供索引支持。那些以.shtml為后綴名的網(wǎng)頁(yè)也被解析成SSI文件，相當于通常的.html文件。但如果這些網(wǎng)頁(yè)在其URL中使用的是cgi-bin路徑，則仍有可能不被搜索引擎索引。
ASP
　　ASP(Active Server Pages: Web 服務(wù)器端動(dòng)態(tài)網(wǎng)頁(yè)開(kāi)發(fā)技術(shù))被用于基于微軟的網(wǎng)絡(luò )服務(wù)器中。使用ASP開(kāi)發(fā)的網(wǎng)頁(yè)，一般后綴名為.asp。ASP 由于其簡(jiǎn)單功能實(shí)用等方面受到廣大朋友的喜歡，再加上微軟的強大支持，可說(shuō)是時(shí)下網(wǎng)頁(yè)開(kāi)發(fā)最為流行的語(yǔ)言之一。只要避免在URL中使用符號“?”，大多數搜索引擎都能夠支持用ASP開(kāi)發(fā)的動(dòng)態(tài)網(wǎng)頁(yè)。
　　那么對用了“?”的URL怎么辦呢？針對這個(gè)問(wèn)題，有家名叫“Exception Digital Enterprise Solutions”的公司推出了他們的解決方案 –xqasp。這是一個(gè)升級軟件。它允許將URL中的符號“?”通過(guò)網(wǎng)絡(luò )服務(wù)器轉換為“/”。更多相關(guān)信息請訪(fǎng)問(wèn)：http://www.xde.net/products/product_xqasp.htm 還有一些價(jià)格相對低廉一些的解決方案，象ASPSpiderBait和 PortalPageFilter。
Cold Fusion
　　如果你使用的是Cold Fusion，那么你就需要在你的服務(wù)器端重新對其進(jìn)行配置。用Cold Fusion進(jìn)行開(kāi)發(fā)的網(wǎng)頁(yè)一般都以.cfm為文件擴展名。一般情況下，數據庫使用符號“?”來(lái)取回網(wǎng)頁(yè)。你可對Cold Fusion設置重新進(jìn)行配置，使其能夠將一個(gè)環(huán)境變量中的符號“?”用符號“/”代替，并將替換后的數值傳給URL。這樣一來(lái)，最后到達瀏覽器端的就是一個(gè)靜態(tài)的URL頁(yè)。即對于URLhttp://www.americanbooks.com/items.cfm?item_id=11667，最后返回瀏覽器的將是 http://www.americanbooks.com/items.cfm/11667，當搜索引擎對該轉換后的文件進(jìn)行檢索時(shí)，它不會(huì )遭遇“?”，因而可繼續對整個(gè)動(dòng)態(tài)頁(yè)的索引，從而使你的動(dòng)態(tài)網(wǎng)頁(yè)對搜索引擎仍然具有可讀性。
Apache 服務(wù)器
　　Apache是最流行的HTTP服務(wù)器軟件之一。它有一個(gè)叫做 mod_rewrite的重寫(xiě)模塊，該模塊能夠使你將包含環(huán)境變量的URL轉換為能夠為搜索引擎支持的URL類(lèi)型。不過(guò)Mod_rewrite不是Apache軟件安裝中的缺省模塊，所以你應當與你的主機托管公司進(jìn)行協(xié)商，看看在你的服務(wù)器上是否有此模塊。
　　還是用上面的URL作為例子：使用mod_rewrite模塊后，該URL http://www.americanbooks.com/items.htm?cat=natural_diet 就變成了如下格式： http://www.americanbooks.com/natural_diet/index.htm 欲了解更多該模塊的相關(guān)信息，請訪(fǎng)問(wèn)http://httpd.apache.org/docs/mod/mod_rewrite.html
可通過(guò)付費收錄程序直接提交動(dòng)態(tài)網(wǎng)頁(yè)：
　　直接將動(dòng)態(tài)網(wǎng)站提交到AltaVista可增加你的網(wǎng)站為其收錄的機會(huì )。如果將其經(jīng)由AltaVista或Inktomi的付費收錄程序進(jìn)行提交，就一定能夠保證網(wǎng)站的收錄。
文件擴展名：
　　如今，你的文件名后綴是什么。對搜索引擎來(lái)說(shuō)已經(jīng)不再是問(wèn)題了，即使你的網(wǎng)頁(yè)不是以.html或.htm為擴展名的，只要在URL中不包含符號“?”，仍有可能得到索引。相形之下，搜索引擎Northern ight尤為靈活，它能夠索引任何以.html, .htm, .shtml, .stm, .asp, .phtml, .cfm, .php3, .php, .jsp, .jhtml, .asc, .text和.txt為擴展名的文件。不過(guò)它對后綴是.cgi的文件仍然不提供支持。如果你的網(wǎng)站上存在它不支持的擴展名文件，它會(huì )在網(wǎng)站提交的過(guò)程中通知你。
結束語(yǔ)：
　　問(wèn)問(wèn)你自己，是不是確實(shí)需要使用動(dòng)態(tài)網(wǎng)頁(yè)？數據庫通常用作頁(yè)面生成工具，你可以用它創(chuàng )建靜態(tài)頁(yè)面，尤其對于網(wǎng)站上不常更動(dòng)的那些區域，可以考慮使用數據庫來(lái)生成靜態(tài)的頁(yè)面內容。為了保證搜索引擎的索引，你也可以考慮為你的動(dòng)態(tài)內容創(chuàng )建鏡象靜態(tài)的網(wǎng)頁(yè)。
　　大多數的搜索引擎還是不習慣對動(dòng)態(tài)網(wǎng)頁(yè)的索引，到現在也如此。這是由于對一個(gè)動(dòng)態(tài)生成網(wǎng)頁(yè)的檢索可能會(huì )導致搜索引擎的Spider掉進(jìn)死循環(huán)的“陷阱”中而無(wú)法脫身。不過(guò)現在情況正在逐漸得到改善。 最先支持動(dòng)態(tài)網(wǎng)頁(yè)的搜索引擎是Google，在兩千年底它已經(jīng)能夠索引動(dòng)態(tài)頁(yè)面(包括URL中的“?”)。此外，HotBot及其它一些搜索引擎也開(kāi)始支持動(dòng)態(tài)頁(yè)面。
　　雖然這些搜索引擎能夠支持動(dòng)態(tài)網(wǎng)頁(yè)，但為了確保其Spider程序免遭死循環(huán)之災，搜索引擎將不會(huì )對來(lái)自動(dòng)態(tài)生成頁(yè)面中的鏈接進(jìn)行深入訪(fǎng)問(wèn)。所以我建議大家要稍微多花點(diǎn)時(shí)間在你的動(dòng)態(tài)生成網(wǎng)頁(yè)上，并確保它們中的每一個(gè)都能夠被搜索引擎索引到。事實(shí)上，最后你會(huì )發(fā)現，你所花費的這些時(shí)間絕對是一個(gè)非常棒的投資－同時(shí)它還能夠為你的網(wǎng)站帶來(lái)更多的訪(fǎng)問(wèn)量。