(2005.03.07) 來(lái)自：pconline ddbee
Google將其成功部分地歸功于公司所發(fā)明的獨有運算機制，令其搜索引擎可以在極短時(shí)間內對數以百萬(wàn)計的網(wǎng)絡(luò )用戶(hù)的搜索請求提供答案。
上周三，Google副總裁Urs Hoelzle在Eclipse會(huì )議上的一番發(fā)言，令與會(huì )者有機會(huì ) 了解Google的搜索技術(shù)是如何產(chǎn)生以及該技術(shù)現在是如何運作的。
Hoelzle對與會(huì )者說(shuō)，要發(fā)明Google的技術(shù)，開(kāi)發(fā)者必須拋棄過(guò)去大型數據庫所使用技術(shù)的思維定勢。由于一天里面所有搜索請求的內容都是不可預計的，因此手頭上就必須擁有100億左右的網(wǎng)頁(yè)數據，這是確實(shí)是很大的挑戰。
Hoelzle出示了一系列早期Google硬件數據中心的照片。1997年拍的照片中是兩臺破舊的臺式電腦。1999年，是數臺Intel服務(wù)器，機器后面露出一堆亂七八糟的數據線(xiàn)。2000年的數據中心內，擺放的是1000臺排列整齊的雙處理器服務(wù)器。
Hoelzle表示，“底層的硬件價(jià)格十分低廉，但卻完成了許多工作。”同時(shí)，使用如此多的服務(wù)器，可靠性是Google關(guān)心的另一重點(diǎn)。Hoelzle表示，“Google使用自動(dòng)控制的機制進(jìn)行運作。否則，工程師們需要為重啟服務(wù)器而疲于奔命。”
為了抵抗不可抗力帶來(lái)的影響，Google搭建了Google文件系統，該系統與Google的搜索運算系統緊密結合，并且對服務(wù)器故障有很高的承受能力。
Google的所有操作均基于一系列的大容量文件，這些文件被拆分為64M大小的數據包，分布在多個(gè)“數據包服務(wù)器”中。文件的描述、數據包的數目和數據包的位置等資料都存放在中央服務(wù)器中。每一個(gè)64M的數據包都會(huì )在另外兩個(gè)服務(wù)器上備份，三份拷貝的路徑亦存放在中央服務(wù)器中。
由于所有的文件都存放在Red Hat Linux服務(wù)器中，Google以很低的成本就保證了服務(wù)的可靠性。中央服務(wù)器會(huì )定時(shí)向數據包服務(wù)器發(fā)出脈沖信號，確定數據包服務(wù)器是否在正常運作。如果沒(méi)有收到應答信號，又或者應答信號中顯示某臺數據包服務(wù)器的數據受到損害，中央服務(wù)器會(huì )從其他數據包服務(wù)器上取出數據包修復受損的服務(wù)器。這一工作通常在一分鐘內則可以完成。
Hoelzle指出，只有三臺服務(wù)器上的拷貝同時(shí)受損，才會(huì )對Google的服務(wù)有所影響。這時(shí)候，就需要用一段長(cháng)時(shí)間去收集互聯(lián)網(wǎng)的數據以重建受損文件。
Google會(huì )對Web Crawler收集到的網(wǎng)頁(yè)進(jìn)行索引， Web Crawler亦會(huì )對這些網(wǎng)頁(yè)的作出描述。Hoelzle表示，建立網(wǎng)頁(yè)的索引是很艱巨的一項工作，需要數百臺計算機運算數天。同時(shí)，索引必須經(jīng)常地更新。
為了高速地對索引進(jìn)行檢索，Google將其分成許多稱(chēng)為“碎片”的小塊，分布在不同的服務(wù)器中，以便進(jìn)行并行搜索。每一臺服務(wù)器都搜索出一部分結果，然后再整合在一起成為完整的答案。
Hoelzle表示，Google的文件系統、索引技術(shù)及商用服務(wù)器的網(wǎng)格令每一次搜索的平均時(shí)間四分之一秒。而文件系統的定時(shí)脈沖信號機制，則給予Google很高的可靠性和可用性。
同時(shí)，當Google的服務(wù)器分析搜索請求的時(shí)候，會(huì )將該搜索請求拆分，然后再從數據庫中找出令大部分用戶(hù)滿(mǎn)意的結果，這一過(guò)程稱(chēng)為“map reduction”。Hoelzle表示，“Google曾經(jīng)在一次大型維護意外事故中失去了2000臺map reduction服務(wù)器中的1800臺。”但由于系統的負載均衡機制，將未完成的搜索任務(wù)合理分配，Google仍然能完成所有的搜索請求。
Hoelzle指出，“這一機制使我們能很快從故障中復原，并不影響我們的服務(wù)。”
