Google成功秘密：構筑基于PC機的IT基礎設施
Google在搜索領(lǐng)域的成功無(wú)疑離不開(kāi)其先進(jìn)的搜索算法，然而在背后卻存在著(zhù)一些鮮為人知的秘密：其實(shí)Google在運行數據中心方面的經(jīng)驗比其搜索算法更寶貴。
Google并沒(méi)有耗資能夠數千萬(wàn)甚至上億美元的資金來(lái)購買(mǎi)昂貴的設備，而是僅有數百萬(wàn)美元購置的廉價(jià)計算機來(lái)構筑其基礎設施。通過(guò)研究硬件成本，Google的技術(shù)人員發(fā)現，購買(mǎi)一些高端服務(wù)器的成本要遠高于數十臺更簡(jiǎn)單的"大眾化"服務(wù)器。
但是購買(mǎi)廉價(jià)服務(wù)器后，難題就在于如何協(xié)調這些硬件的運行，確保一臺計算機的故障不會(huì )影響到整個(gè)系統，能正常完成任務(wù)如返回搜索結果或顯示廣告。
為此Google考慮采用家用PC機，畢竟家用PC因軟件和硬件缺陷而造成的崩潰每3年才會(huì )發(fā)生一次。以Google的規模，如果擁有數千臺PC，每天有一臺PC崩潰是很正常的。因此，最好是能夠以自動(dòng)的方式解決這一問(wèn)題，否則服務(wù)肯定會(huì )出現問(wèn)題。
為此，吸引全球最優(yōu)秀計算機頭腦的Google公司已經(jīng)開(kāi)發(fā)了大量的軟件工具，來(lái)完成計算設備的安裝。
Google擁有自己的文件系統，稱(chēng)為"Google文件系統"，這一系統專(zhuān)門(mén)針對處理大型數據進(jìn)行了優(yōu)化，它能夠處理64MB大小的數據塊。更為重要的是，它能夠應付隨時(shí)可能發(fā)生的磁盤(pán)或網(wǎng)絡(luò )故障。外Google的數據被復制三份，并存放在不同地方，這樣確保萬(wàn)無(wú)一失。憑借這些應付故障的措施，PC就完全可以擔負互聯(lián)網(wǎng)搜索服務(wù)的重任。
Google數以千計的PC服務(wù)器運行一種基于Red Hat版本的簡(jiǎn)化版Linux，該系統內核已經(jīng)針對Google的特殊應用進(jìn)行了修改。
Google還設計了一種能夠處理大量數據而迅速響應查詢(xún)的系統。Google將整個(gè)Web劃分為數以百萬(wàn)計的碎片，以Google的技術(shù)術(shù)語(yǔ)這些碎片被稱(chēng)為shard，它能在系統出錯的時(shí)候被復制。
Google創(chuàng )建了一個(gè)出現在Web上的詞匯索引，而且它還有文檔服務(wù)器存儲著(zhù)Google現在的頁(yè)面。
Google在數據中心管理方面另一個(gè)重要的技術(shù)創(chuàng )新是編寫(xiě)出能夠在數以千計的服務(wù)器上平滑運行的軟件系統。通常情況下，開(kāi)發(fā)在多個(gè)服務(wù)器上并行運行的軟件系統需要專(zhuān)門(mén)的編程工具和機巧。
Google的編程工具稱(chēng)為MapReduce，在系統出錯的情況下，它能自動(dòng)恢復整個(gè)程序，而這對削減成本至關(guān)重要。從去年開(kāi)始，Google已經(jīng)開(kāi)始大規模使用MapReduce編程工具。
此外，Google還開(kāi)發(fā)了批量任務(wù)調度軟件Global Work Queue，能對上百萬(wàn)的操作進(jìn)行調度安排。該軟件系統能夠將任務(wù)分解成許多更小的計算操作，并將它們分配給各臺計算機完成。
為了解決緊急災難性問(wèn)題，Google還準備了6輛救火車(chē)，以應對Google數據中心發(fā)生的緊急事件。此外，電力成本是Google數據中心設計中的另一個(gè)重要因素。由于采購了更多廉價(jià)計算設備，整體功耗就會(huì )增加，為此控制電力開(kāi)支也是Google設計數據中心必須考慮的一個(gè)主要問(wèn)題。
本站僅提供存儲服務(wù)，所有內容均由用戶(hù)發(fā)布，如發(fā)現有害或侵權內容，請
點(diǎn)擊舉報。
