行業(yè)搜索引擎簡(jiǎn)介
演示WSSE 是北京西方源點(diǎn)軟件技術(shù)有限公司剛剛開(kāi)發(fā)完成的一款新型web搜索引擎。主要用于建設行業(yè)縱向專(zhuān)業(yè)搜索引擎。
WSSE致力于讓每個(gè)人能很容易, 同時(shí)花費很少就可以配置世界一流的Web搜索引擎. 為了完成這一宏偉的目標, WSSE必須能夠做到:
每個(gè)月取幾十億網(wǎng)頁(yè)
為這些網(wǎng)頁(yè)維護一個(gè)索引
對索引文件進(jìn)行每秒上千次的搜索
提供高質(zhì)量的搜索結果
以最小的成本運作
隨著(zhù)互聯(lián)網(wǎng)技術(shù)和互聯(lián)網(wǎng)應用的發(fā)展，網(wǎng)上內容極大豐富，信息海量化正在導致信息垃圾化，信息本身的價(jià)值正在被創(chuàng )造海量信息的網(wǎng)絡(luò )本身所消減。搜索引擎的價(jià)值就在于從海量的信息中搜集、分析、甄別、加工、整理、提取出我們所需要的有用的信息。
一、 建設行業(yè)主題搜索引擎的必要性
1、搜索催生互聯(lián)網(wǎng)革命
互聯(lián)網(wǎng)發(fā)展的初期，強調信息本身的價(jià)值，認為只要解決信息資源的短缺問(wèn)題就會(huì )帶來(lái)價(jià)值提升；而經(jīng)過(guò)十多年發(fā)展的今天，則認為信息本身并不稀缺，只有解決了信息的甄別、加工、提純和挖掘，只有從海量形如垃圾的信息中發(fā)現真正的知識，才能帶來(lái)價(jià)值的提升。
互聯(lián)網(wǎng)發(fā)展的重心和焦點(diǎn)經(jīng)歷了網(wǎng)絡(luò )、溝通、內容和搜索這么幾個(gè)階段：互聯(lián)網(wǎng)的發(fā)展促進(jìn)了信息溝通，信息溝通的便利促進(jìn)了網(wǎng)上內容的豐富，網(wǎng)上內容的豐富又促進(jìn)了搜索引擎的發(fā)展和應用。這個(gè)自然而然的發(fā)展過(guò)程提示我們：在網(wǎng)上內容極大豐富的今天，搜索引擎將比以往任何一個(gè)時(shí)候都更加重要。
在網(wǎng)絡(luò )尤其是網(wǎng)上內容已經(jīng)極大豐富的今天，忽視或者不充分重視這一動(dòng)向必將付出極大的代價(jià)，不論他是從事網(wǎng)絡(luò )媒體，還是電子商務(wù)。
搜索催生的互聯(lián)網(wǎng)革命的第一個(gè)標志是互聯(lián)網(wǎng)已經(jīng)從“內容為王”（在經(jīng)歷了“網(wǎng)絡(luò )為王”和“溝通為王”之后）走進(jìn)“搜索為王”的時(shí)代。是的，任何對搜索無(wú)動(dòng)于衷或者投入不力的網(wǎng)站，無(wú)論在內容時(shí)代如何杰出，都必然為搜索催生的互聯(lián)網(wǎng)革命所淘汰。
除此以外，搜索催生的互聯(lián)網(wǎng)革命還表現在互聯(lián)網(wǎng)的“商務(wù)模式”和“業(yè)務(wù)形態(tài)”等方面。
商務(wù)模式：
隨著(zhù)互聯(lián)網(wǎng)發(fā)展的焦點(diǎn)從“內容”升華到“搜索”和“搜索增值服務(wù)”，互聯(lián)網(wǎng)商務(wù)模式的基本結構也必然隨之發(fā)生根本性的變革——在新的層次上回歸yahoo曾經(jīng)的以搜索為基礎的商務(wù)模式。
搜索將不再只是網(wǎng)站（特別是門(mén)戶(hù)網(wǎng)站）一個(gè)附屬的甚至可有可無(wú)、錦上添花的工具，搜索將成為網(wǎng)站一切服務(wù)和功能的基礎，將居于網(wǎng)站商務(wù)模式架構的中心位置；離開(kāi)搜索，網(wǎng)站的服務(wù)和功能至少不能以有競爭力的滿(mǎn)意度提供。
互聯(lián)網(wǎng)商務(wù)模式變革的另一支力量來(lái)自專(zhuān)業(yè)搜索引擎（如google）的“綜合化”（如前所述）。以強大的搜索引擎為技術(shù)支撐，這些專(zhuān)業(yè)搜索引擎將大力擴展和整合，發(fā)展一系列以搜索為核心和基礎的協(xié)同業(yè)務(wù)——如google推出（包括收購）的廣告、新聞、blog和Email等，從而構建嶄新的具備強大競爭力的互聯(lián)網(wǎng)商務(wù)模式。
業(yè)務(wù)形態(tài)：
網(wǎng)上搜索或搜索引擎改變了眾多互聯(lián)網(wǎng)業(yè)務(wù)的面貌，也創(chuàng )新了一批原來(lái)所沒(méi)有的新的互聯(lián)網(wǎng)業(yè)務(wù)，搜索催生了互聯(lián)網(wǎng)業(yè)務(wù)形態(tài)的巨大變革。
網(wǎng)絡(luò )廣告的歷史可謂早矣，即使在中國也有十年的歷史。然而，直到2001年前后，網(wǎng)絡(luò )廣告依然沒(méi)有擺脫傳統廣告的基本模式，依然與傳統的電視廣告、報刊廣告沒(méi)有本質(zhì)上的區別，唯一的不同僅僅表現在媒體上——從傳統媒體到網(wǎng)絡(luò )媒體。網(wǎng)絡(luò )廣告的真正創(chuàng )新是從與搜索的結合開(kāi)始了，有了搜索，網(wǎng)絡(luò )廣告才第一次真正有了屬于自己的業(yè)務(wù)形態(tài)或商務(wù)模式，才第一次有可能從根本上與傳統廣告區別開(kāi)來(lái)，才第一次踏上向傳統廣告夢(mèng)寐以求而不得其門(mén)的廣告“精準化”的歷程。競價(jià)排名廣告是這樣，內容關(guān)聯(lián)廣告也是這樣......。
Google、百度等一大批專(zhuān)業(yè)搜索引擎憑此敲開(kāi)了互聯(lián)網(wǎng)財富之門(mén)，開(kāi)創(chuàng )了搜索引擎引領(lǐng)互聯(lián)網(wǎng)發(fā)展的新時(shí)代。
變革所及已經(jīng)超出網(wǎng)絡(luò )廣告的范圍：基于搜索引擎的信息增值業(yè)務(wù)——競爭情報系統、阿里巴巴網(wǎng)商搜索、8848的購物搜索、google的基于搜索和網(wǎng)絡(luò )廣告的大容量電子郵箱業(yè)務(wù)，等等。
事實(shí)上，幾乎所有互聯(lián)網(wǎng)業(yè)務(wù)形態(tài)都或多或少地在搜索的巨大影響下或者改變形態(tài)，或者被創(chuàng )新出來(lái)。
2、搜索的價(jià)值
電子郵件和搜索引擎長(cháng)期以來(lái)一直是兩項最受歡迎、最熱門(mén)的互聯(lián)網(wǎng)業(yè)務(wù)。中國互聯(lián)網(wǎng)絡(luò )信息中心（CNNIC）截止2004年6月底的統計表明，互聯(lián)網(wǎng)用戶(hù)使用電子郵件和搜索引擎的比率分別為84.3%和64.4%，在30余種網(wǎng)絡(luò )服務(wù)中高居前三位。用戶(hù)對搜索引擎的滿(mǎn)意度也很高，其中，對搜索引擎服務(wù)表示非常滿(mǎn)意和比較滿(mǎn)意的分別為26.9%和52.5%（居各項服務(wù)之首），表示不太滿(mǎn)意和很不滿(mǎn)意的僅為2.8%和0.6%（居各項服務(wù)之末）。搜索引擎在互聯(lián)網(wǎng)世界的重要地位由來(lái)已久。當年，Yahoo作為門(mén)戶(hù)網(wǎng)站奇跡般崛起所仰仗的正是搜索引擎。在日益復雜的互聯(lián)網(wǎng)世界里，面對日益繁雜和海量的網(wǎng)上信息，Yahoo的搜索引擎曾經(jīng)為人們在互聯(lián)網(wǎng)世界遨游、沖浪提供了幾乎無(wú)可替代的工具和手段。Yahoo在通過(guò)搜索引擎為用戶(hù)提供價(jià)值的同時(shí)，也極大地贏(yíng)得和提升了自身的價(jià)值。
今天，搜索引擎的地位不僅沒(méi)有被削弱，反而更加強化了。繼Yahoo之后，Google又以其搜索引擎的技術(shù)創(chuàng )新、競價(jià)排名和專(zhuān)業(yè)風(fēng)格等創(chuàng )造了新的奇跡。在國內，百度、慧聰也在很短時(shí)間里憑借搜索引擎取得很大成功。隨著(zhù)互聯(lián)網(wǎng)行業(yè)的持續發(fā)展，隨著(zhù)搜索引擎技術(shù)和業(yè)務(wù)模式的持續創(chuàng )新（尤其是與網(wǎng)絡(luò )廣告的整合和贏(yíng)利模式的創(chuàng )新），2002年下半年以來(lái)，搜索引擎又一次引起了全球互聯(lián)網(wǎng)行業(yè)的高度關(guān)注，一場(chǎng)由搜索引擎創(chuàng )新引發(fā)的互聯(lián)網(wǎng)行業(yè)大變局正在醞釀和發(fā)生之中。
歷史和現實(shí)一再證明：搜索是互聯(lián)網(wǎng)世界的制高點(diǎn)。
這是一個(gè)無(wú)可爭議的事實(shí)。這個(gè)事實(shí)也是另一個(gè)事實(shí)的必然結果，這就是：世界正在通過(guò)互聯(lián)網(wǎng)非常急速地從“信息時(shí)代”走進(jìn)“信息經(jīng)濟時(shí)代”。今天，如果還在津津樂(lè )道于“信息時(shí)代”，還在不知疲倦地重復“信息就是金錢(qián)”的口號，肯定（至少在許多地方）是過(guò)時(shí)了。“信息時(shí)代”與“信息經(jīng)濟時(shí)代”的重大區別在于：前者強調信息本身的價(jià)值，認為只要解決信息資源的短缺問(wèn)題就會(huì )帶來(lái)價(jià)值的提升；后者認為信息并不稀缺，相反，信息技術(shù)特別是互聯(lián)網(wǎng)的出現正在使信息泛濫，以前視為寶貝的信息正在走向“垃圾化”，只有解決了信息的甄別、加工、提純和挖掘，只有從巨量的、形如垃圾的信息中發(fā)現真正的知識，才能帶來(lái)價(jià)值的提升。
Yahoo和Google的成功說(shuō)明深刻理解互聯(lián)網(wǎng)并占據其制高點(diǎn)是多么的關(guān)鍵。什么叫深刻？深刻就是能夠透過(guò)事物暫時(shí)和表面的現象把握長(cháng)久和內在的東西?；ヂ?lián)網(wǎng)是一種信息提供和傳遞的工具，是一種新的信息媒介，這是顯而易見(jiàn)的。但是，隱藏在這些顯而易見(jiàn)的表象背后的則是一些非常不同的東西：互聯(lián)網(wǎng)的發(fā)展正在導致信息提供和傳遞的“公共化”，信息提供和傳遞的商業(yè)價(jià)值正在消減，事情的關(guān)鍵不是能否快速、海量地提供和傳遞信息，而是能否在期望的時(shí)間和地點(diǎn)，以期望的方式和成本，獲取所期望的信息；也就是說(shuō)，商業(yè)價(jià)值的重點(diǎn)正在從信息的“發(fā)送端”向“接收端”延伸和轉移；或者說(shuō)，在當今的互聯(lián)網(wǎng)上，幫人有效地接收信息較之幫人有效地發(fā)送信息至少同等重要。
3、未來(lái)發(fā)展
搜索引擎已成為一個(gè)新的研究、開(kāi)發(fā)領(lǐng)域。因為它要用到信息檢索、人工智能、計算機網(wǎng)絡(luò )、分布式處理、數據庫、數據挖掘、數字圖書(shū)館、自然語(yǔ)言處理等多領(lǐng)域的理論和技術(shù)，所以具有綜合性和挑戰性。又由于搜索引擎有大量的用戶(hù)，有很好的經(jīng)濟價(jià)值，所以引起了世界各國計算機科學(xué)界和信息產(chǎn)業(yè)界的高度關(guān)注，目前的研究、開(kāi)發(fā)十分活躍，并出現了很多值得注意的動(dòng)向。
提高信息查詢(xún)結果的精度，提高檢索的有效性—用戶(hù)在搜索引擎上進(jìn)行信息查詢(xún)時(shí)，并不十分關(guān)注返回結果的多少，而是看結果是否和自己的需求吻合。對于一個(gè)查詢(xún)，傳統的搜索引擎動(dòng)輒返回幾十萬(wàn)、幾百萬(wàn)篇文檔，用戶(hù)不得不在結果中篩選。解決查詢(xún)結果過(guò)多的現象目前出現了幾種方法：一是通過(guò)各種方法獲得用戶(hù)沒(méi)有在查詢(xún)語(yǔ)句中表達出來(lái)的真正用途，包括使用智能代理跟蹤用戶(hù)檢索行為，分析用戶(hù)模型；使用相關(guān)度反饋機制，使用戶(hù)告訴搜索引擎哪些文檔和自己的需求相關(guān)（及其相關(guān)的程度），哪些不相關(guān)，通過(guò)多次交互逐步求精。二是用正文分類(lèi)（Text Categorization）技術(shù)將結果分類(lèi)，使用可視化技術(shù)顯示分類(lèi)結構，用戶(hù)可以只瀏覽自己感興趣的類(lèi)別。三是進(jìn)行站點(diǎn)類(lèi)聚或內容類(lèi)聚，減少信息的總量。
基于智能代理的信息過(guò)濾和個(gè)性化服務(wù)—信息智能代理是另外一種利用互聯(lián)網(wǎng)信息的機制。它使用自動(dòng)獲得的領(lǐng)域模型（如Web知識、信息處理、與用戶(hù)興趣相關(guān)的信息資源、領(lǐng)域組織結構）、用戶(hù)模型（如用戶(hù)背景、興趣、行為、風(fēng)格）知識進(jìn)行信息搜集、索引、過(guò)濾（包括興趣過(guò)濾和不良信息過(guò)濾），并自動(dòng)地將用戶(hù)感興趣的、對用戶(hù)有用的信息提交給用戶(hù)。智能代理具有不斷學(xué)習、適應信息和用戶(hù)興趣動(dòng)態(tài)變化的能力，從而提供個(gè)性化的服務(wù)。智能代理可以在用戶(hù)端進(jìn)行，也可以在服務(wù)器端運行。
采用分布式體系結構提高系統規模和性能—搜索引擎的實(shí)現可以采用集中式體系結構和分布式體系結構，兩種方法各有千秋。但當系統規模到達一定程度（如網(wǎng)頁(yè)數達到億級）時(shí)，必然要采用某種分布式方法，以提高系統性能。搜索引擎的各個(gè)組成部分，除了用戶(hù)接口之外，都可以進(jìn)行分布：搜索器可以在多臺機器上相互合作、相互分工進(jìn)行信息發(fā)現，以提高信息發(fā)現和更新速度；索引器可以將索引分布在不同的機器上，以減小索引對機器的要求；檢索器可以在不同的機器上進(jìn)行文檔的并行檢索，以提高檢索的速度和性能。
事實(shí)上，搜索引擎要解決的基本問(wèn)題仍然準、全、快。其中“快”是最好解決的，通過(guò)增加設備、帶寬等網(wǎng)絡(luò )資源，能大體上滿(mǎn)足用戶(hù)的要求。而要解決“準和全”的問(wèn)題就沒(méi)有那么簡(jiǎn)單了。除去改進(jìn)算法、提高系統容量外，更加有效的方法是開(kāi)發(fā)建設所謂垂直內容的搜索引擎—行業(yè)主題搜索引擎。
在Google、百度等專(zhuān)業(yè)搜索引擎服務(wù)商在搜索服務(wù)行業(yè)形成壟斷地位后，留下的更加寬廣的發(fā)展空間正是向深度發(fā)展的行業(yè)主題搜索引擎。
二、 建設行業(yè)主題搜索引擎的可行性
到目前為止，國內還沒(méi)有被廣泛認可的專(zhuān)注于行業(yè)的專(zhuān)業(yè)搜索引擎。而行業(yè)所具有的從業(yè)人員多、廠(chǎng)商多、產(chǎn)品多、專(zhuān)業(yè)化程度高、知識更新快等特點(diǎn)，決定了該行業(yè)對互聯(lián)網(wǎng)的依賴(lài)程度高，從業(yè)人員需要通過(guò)互聯(lián)網(wǎng)獲取各種專(zhuān)業(yè)知識、專(zhuān)業(yè)信息，用戶(hù)需要通過(guò)互聯(lián)網(wǎng)享受各種服務(wù)。
符合互聯(lián)網(wǎng)發(fā)展方向—互聯(lián)網(wǎng)正快速的從“內容”朝著(zhù)“搜索”的方向發(fā)展，網(wǎng)站本身的體系結構也逐步的從內容為主、搜索為輔向搜索為主、內容為輔過(guò)渡；
相關(guān)技術(shù)基本成熟—在建設行業(yè)搜索引擎的第一階段，我們建議盡量采用成熟技術(shù)，減少技術(shù)風(fēng)險。搜索引擎開(kāi)發(fā)建設中涉及到網(wǎng)頁(yè)蜘蛛、關(guān)鍵詞管理、目錄分類(lèi)、索引排序、信息檢索等技術(shù)；
建設速度快—采用元搜索與目錄搜索混合技術(shù)方案，能大大加快系統建設速度。包括軟件開(kāi)發(fā)調試、行業(yè)關(guān)鍵詞庫建設和行業(yè)目錄分類(lèi)庫建設等工作，預計六個(gè)自然月能完成全部軟件和調試工作；
市場(chǎng)潛力大—行業(yè)涉及的設備廠(chǎng)商和增值服務(wù)廠(chǎng)商眾多，最終用戶(hù)量大，因此未來(lái)的市場(chǎng)潛力巨大。因行業(yè)從業(yè)人員和其最終用戶(hù)對互聯(lián)網(wǎng)（信息）的依賴(lài)較大，因此，行業(yè)搜索引擎的開(kāi)發(fā)建設，能大幅提高網(wǎng)站的人氣和網(wǎng)站訪(fǎng)問(wèn)流量；
投資風(fēng)險小—可采用分階段投資、滾動(dòng)開(kāi)發(fā)的模式，也可采用合作開(kāi)發(fā)運營(yíng)的模式，能有效的降低投資風(fēng)險。
三、 行業(yè)主題搜索引擎建設的關(guān)鍵技術(shù)
開(kāi)發(fā)、建設行業(yè)主題搜索引擎涉及到多項復雜的計算機技術(shù)，包括網(wǎng)絡(luò )技術(shù)、分布式處理技術(shù)、多文字解析處理技術(shù)等。
科學(xué)準確的行業(yè)主題關(guān)鍵詞庫—關(guān)鍵詞庫建立的好壞，在一定程度上決定了該行業(yè)搜索引擎的成敗。索引庫的建立、中文目標詞的切分等都依賴(lài)于關(guān)鍵詞庫。關(guān)鍵詞庫的規模與準確性，直接決定搜索服務(wù)的精準和全面（限定范圍的全?。?；
重點(diǎn)突出的網(wǎng)站目錄集合—在有限資源投入的前提下，必須限定網(wǎng)絡(luò )蜘蛛的搜索范圍，從而保證信息的質(zhì)量，并做到及時(shí)更新；
高效的元搜索引擎技術(shù)—為彌補有限范圍搜索的不足，采用元搜索技術(shù)，直接其它搜索引擎中抓取信息，并進(jìn)行必要的分析、過(guò)濾、排序處理，存入索引數據庫。元搜索引擎中采用先進(jìn)的數據排序、匹配算法，剔除重復數據；
快速實(shí)用的信息檢索算法—采用合理切分、分布檢索技術(shù)，保證檢索的快速準確；
模塊化、分布式體系結構—整個(gè)應用軟件由定向信息采集模塊、目錄網(wǎng)站信息采集模塊（蜘蛛程序）、信息分類(lèi)處理與索引模塊、檢索信息分析模塊、模式匹配處理模塊、查詢(xún)結果輸出處理模塊等組成。關(guān)鍵模塊均支持分布式處理。
