加利福尼亞州山景城(Mountain View)谷歌公司(Google,下稱(chēng)谷歌)總部有一個(gè)43號大樓,該建筑的中央大屏幕上顯示著(zhù)一個(gè)與谷歌地球(Google Earth)相仿的世界地圖,一個(gè)轉動(dòng)的地球上不停地閃動(dòng)著(zhù)五顏六色的光點(diǎn),恍如羅馬宮廷的千萬(wàn)燭燈,每一次閃動(dòng)標志著(zhù)地球的這個(gè)角落一名谷歌用戶(hù)發(fā)起了 一次新的搜索.這同時(shí)意味著(zhù)谷歌又一次滿(mǎn)足了人們對未知信息的好奇與渴望.
谷歌是與眾不同的.它的獨特不僅僅表現于革新的思維和充滿(mǎn)創(chuàng )意的應用 (比如那個(gè)大堂里的地球模型),更在于其有別常規的IT策略.從人們的常理來(lái)看,簡(jiǎn)單的硬件商品和免費軟件是無(wú)法構建出一個(gè)帝國的,但是谷歌做到了.在性能調整后,谷歌把它們變成一個(gè)無(wú)可比擬的分布式計算平臺,該平臺能夠支持大規模的搜索和不斷涌現的新興應用.我們原本認為這些應用都是個(gè)人消費級別的,但是谷歌改變了這一切.現在商業(yè)世界也在使用它們,這就令這家搜索公司顯得那么與眾不同.
谷歌Web服務(wù)背后的IT架構對無(wú)數使用搜索引擎的用戶(hù)來(lái)說(shuō)也許并不是非常重要,但它是谷歌幾百位致力于把全球信息組織起來(lái),實(shí)現“隨處可達,隨時(shí)可用”目標的工程師們的最核心工作.這就需要一個(gè)在覆蓋范圍和野心上都與谷歌的商業(yè)愿景完全相符的IT藍圖作為支撐.
谷歌的經(jīng)理們一直對公司的IT策略話(huà)題保持沉默,他們厭惡談及特定的廠(chǎng)商或者產(chǎn)品,當被問(wèn)到他們的服務(wù)器和數據中心時(shí),他們總是閉口不談.但與幾位谷歌的IT領(lǐng)導一起呆了一天后,我們最終得以揭示該公司的IT是如何運作的,那可不僅僅是一個(gè)運行在無(wú)數服務(wù)器集群上的、表面看來(lái)非常簡(jiǎn)單的搜索引擎.在其簡(jiǎn)單的外表下,蘊涵著(zhù)許多內部研發(fā)軟件、定制硬件、人工智能,以及對性能的執著(zhù)追求和打破常規的人力管理模式.
IT理念方面,谷歌對同行有一條建議:盡量避免那些人人都在使用的系統和軟件,以自己的方式做事會(huì )更有獨特的競爭優(yōu)勢.
“企業(yè)文化決定了你的做事方式.”道格拉斯"美林(Douglas Merrill),這位谷歌工程副總裁和事實(shí)上的首席信息官(CIO) 指出,“到了我們這樣的發(fā)展階段,企業(yè)觀(guān)念和文化非常與眾不同,這也反過(guò)來(lái)鞭策我們必須要采用與眾不同的方式來(lái)運行那些他人看來(lái)很常規的系統.”
谷歌最大的IT優(yōu)勢在于它能建造出既富于性?xún)r(jià)比(并非廉價(jià))又能承受極高負載的高性能系統.因此IT顧問(wèn)史蒂芬"阿諾德(Stephen Arnold)指出,谷歌與競爭對手,如亞馬遜網(wǎng)站(Amazon)、電子港灣公司(eBay)、微軟公司(Microsoft,下稱(chēng)微軟)和雅虎公司 (Yahoo,下稱(chēng)雅虎)等公司相比,具有更大的成本優(yōu)勢.谷歌程序員的效率比其他Web公司同行們高出50%～100%,原因是谷歌已經(jīng)開(kāi)發(fā)出了一整套專(zhuān)用于支持大規模并行系統編程的定制軟件庫.據他估算,其他競爭公司可能要花上四倍的時(shí)間才能獲得同等的效果.
打造服務(wù)器
谷歌究竟是怎樣做到這點(diǎn)的呢?其中一個(gè)手段,美林認為,“是因為我們自己動(dòng)手打造硬件.”谷歌并不制造計算機系統,但它根據自己的參數定制硬件,然后像MTV的節目“靚車(chē)打造”(Pimp My Ride)那樣自己安裝和調整硬件系統.開(kāi)源程序經(jīng)理克里斯"迪博納(Chris DiBona)評論道:“我們很善于購買(mǎi)商業(yè)服務(wù)器,并且改造他們?yōu)槲覀兯?最后把性能壓榨和發(fā)揮到極致,以致有時(shí)候他們熱得像要融化了似的.”
這種親手打造的方式,來(lái)源于谷歌從車(chē)庫誕生時(shí)與生俱來(lái)的節儉風(fēng)格,更與谷歌那超大型的系統規模息息相關(guān),良好的習慣一直延續至今.據說(shuō)谷歌在 65個(gè)數據中心擁有20萬(wàn)～45萬(wàn)臺服務(wù)器—這個(gè)數目會(huì )有偏差(取決于你如何定義服務(wù)器和由誰(shuí)來(lái)做這項統計).但是,不變的是持續上升的趨勢.
谷歌不會(huì )去討論這些資產(chǎn),因為它認為保密也是一種競爭優(yōu)勢.事實(shí)上,谷歌之所以喜歡開(kāi)源軟件也是因為它的私密性.“如果我們購買(mǎi)了軟件許可或代碼許可,人們只要對號入座,就可以猜出谷歌的IT基礎架構.”迪博納分析說(shuō), “使用開(kāi)源軟件,就使我們多了一條把握自己命運的途徑.”
谷歌喜歡規?；姆?wù)器運行方式.當有成百上千臺機器時(shí),定制服務(wù)器的優(yōu)勢也會(huì )成倍增加,效果也會(huì )更趨明顯.谷歌正在俄勒岡州哥倫比亞河邊的達勒斯市建造一個(gè)占地30畝的數據中心,在那兒它可以獲得運算和降溫需要的低價(jià)水力電力能源(參見(jiàn)邊欄《谷歌數據中心自有一套》).
谷歌以“單元”(Cell)的形式組織這些運行Linux操作系統的服務(wù)器,迪博納把這種形式比喻成互聯(lián)網(wǎng)服務(wù)的“磁盤(pán)驅動(dòng)器”(但別和一直謠傳的谷歌存儲服務(wù)Gdrive混淆了,“并沒(méi)有Gdrive這回事.”一位谷歌女發(fā)言人明確表示.),公司的軟件程序都駐扎在這些并不昂貴的電腦機箱里,由程序員決定它們的冗余工作量.這種由很多單元組成的文件系統代替了商業(yè)存儲設備;迪博納表示谷歌這些單元設備更易于建造和維護,他還暗示他們能處理更大規模的數據.
谷歌不會(huì )漏過(guò)對任何技術(shù)細節的關(guān)注.多年來(lái),公司的工程師就在研究微處理器的內部工作機制,隨著(zhù)谷歌規模的持續壯大,必然會(huì )用到特別定制和調節過(guò)的芯片.知名工程師路易斯"巴羅索(Luiz Barroso)去年在一篇發(fā)表在工業(yè)雜志上的論文中證實(shí),近年來(lái)谷歌的主要負荷都由單核設計的系統承擔著(zhù).但許多服務(wù)器端的應用,如谷歌搜索索引服務(wù),所需的并行計算在單核芯片的指令級別上執行得并不好.
曾在數據設備公司(Digital Equipment)和康柏公司(Compaq)當過(guò)芯片設計師的巴羅索認為,隨著(zhù)AMD公司、英特爾公司(Intel)、太陽(yáng)計算機系統公司(Sun)開(kāi)始制造多核芯片,必將會(huì )出現越來(lái)越多芯片級別的并行計算.
谷歌也曾考慮過(guò)自己制造計算機芯片,但從業(yè)界潮流來(lái)看,這個(gè)冒險的舉動(dòng)似乎不是很必要.“微處理器的設計非常復雜而且成本昂貴,”運營(yíng)高級副總裁烏爾斯"霍爾茨勒(Urs Holzle)表示.谷歌寧愿與芯片制造商合作,讓他們去理解自己的應用并設計適合的芯片.這是一種客戶(hù)建議式的設計,其關(guān)注點(diǎn)在于總體吞吐量、效能,以及耗電比,而不是看單線(xiàn)程的峰值性能.霍爾茨勒表示,“這也是最近多核CPU的設計潮流與未來(lái)方向.”
裁縫般地定制軟件
為了能盡量壓榨硬件性能,谷歌開(kāi)發(fā)了相當數量的定制軟件.創(chuàng )新產(chǎn)品主要包括用于簡(jiǎn)化處理和創(chuàng )建大規模數據集的編程模型MapReduce;用于存儲和管理大規模數據的系統BigTable;分析分布式運算環(huán)境中大規模數據集的解釋編程語(yǔ)言Sawzall;用于數據密集型應用的分布式文件系統的 “谷歌文件系統”(Google File System);還有為處理分布式系統隊列分組和任務(wù)調度的“谷歌工作隊列”(Google Workqueue).
正是從Sawzall這些工具里體現出谷歌對計算效率的執著(zhù)關(guān)注.并不是每家公司都能從底層去解決效率問(wèn)題,但是對谷歌來(lái)說(shuō),為常規關(guān)系型數據庫無(wú)法容納的大規模數據集專(zhuān)門(mén)設計一種編程語(yǔ)言是完全合理的.即使其他編程工具可以解決問(wèn)題,谷歌的工程師們仍然會(huì )為了追求效率而另外開(kāi)發(fā)一套定制方案.谷歌工程師認為,Sawzall能與C++中的MapReduce相媲美,而且它更容易編寫(xiě)一些.
谷歌對效率的關(guān)注使它不可能對標準Linux內核感到滿(mǎn)意;谷歌會(huì )根據自己的需要運行修改過(guò)的內核版本.通過(guò)調整Linux的底層性能,谷歌工程師們在提高了整體系統可靠性的基礎上,還一并解決了數據損壞和數據瓶頸等一系列棘手問(wèn)題.對內核的修改也使谷歌的計算機集群系統因為通信效率的提高而運行得更快.
當然,谷歌偶爾也會(huì )出現系統故障,情況一旦發(fā)生,無(wú)數的用戶(hù)就會(huì )受到影響了.三年前一次持續30分鐘的系統故障使20%的搜索流量受到影響.
谷歌開(kāi)發(fā)了自己的網(wǎng)站服務(wù)器卻沒(méi)有使用開(kāi)源的Apache服務(wù)器,盡管它在網(wǎng)站服務(wù)器的市場(chǎng)占有率超過(guò)60%.迪博納認為,谷歌的網(wǎng)站服務(wù)器可以運行在更多數量的主機上,對谷歌站點(diǎn)上內容龐大又彼此互相依賴(lài)的應用程序來(lái)說(shuō),這種服務(wù)器的負載均衡能力遠比Apache的能力更高.同時(shí),在用標準公共網(wǎng)關(guān)接口(CGI)訪(fǎng)問(wèn)數據庫動(dòng)態(tài)網(wǎng)頁(yè)方面,谷歌服務(wù)器的編程難度要比 Apache更高,但是最終運行速度卻更快.“如果我們能夠壓榨出10%～20%的性能,我們就可以節省出更多系統資源、電量和人力了.”迪博納在總結中指出.
谷歌還設計了自己的客戶(hù)關(guān)系管理(CRM)系統用于支持自己基于競價(jià)和點(diǎn)擊的互聯(lián)網(wǎng)廣告收費業(yè)務(wù).但對是否需要設計自己的工具,谷歌的態(tài)度也不是一成不變的.比如在財會(huì )軟件上,它就使用了甲骨文公司(Oracle)的Financials軟件.
美林拿著(zhù)一只叉子舉例說(shuō)明現成的產(chǎn)品也可以帶來(lái)價(jià)值.但在有些場(chǎng)合現成的軟件產(chǎn)品就不一定適用了.“我們的文化在各個(gè)層面對我們的運作都有深遠影響,”他表示,“所以我們不想讓購買(mǎi)所得的工具改變我們的工作方式和文化層面.”
保持活潑
谷歌沒(méi)有透露它在IT上的開(kāi)銷(xiāo).Susquehanna 金融集團(Susquehanna Financial Group)分析師瑪麗安"沃爾克(Marianne Wolk)估計今年上半年谷歌在IT上的花費高達三億美元,相當于在此期間谷歌全部收入的30%.而在過(guò)去幾年間,谷歌把全部收入的50%花在了IT上.現在,隨著(zhù)公司的發(fā)展,IT開(kāi)銷(xiāo)比例正在下降,其他領(lǐng)域如房地產(chǎn)業(yè)的投入正在增加.
非正統的科研人員管理方式使谷歌沒(méi)法和大多數科技公司一樣把研究和開(kāi)發(fā)的預算分離開(kāi)來(lái).高級工程和研發(fā)副總裁阿蘭"尤斯塔斯(Alan Eustace)解釋說(shuō):“在許多大公司你會(huì )發(fā)現研究和工程是分離的.”但是把這兩部分預算分離開(kāi)來(lái),他認為“就等于從制度上遏制了把各項工作變得更加有趣的可能.”
谷歌的IT是“去中心化”(Decentralized)的管理方式.公司沒(méi)有CIO或首席技術(shù)官(CTO),但它擁有一大群高級工程師和技術(shù)人員.這中間包括主管系統基礎設施工程的副總裁比爾"庫格倫(Bill Coughran),他負責掌管和支撐谷歌在線(xiàn)應用的大型分布式運算程序,而尤斯塔斯則負責產(chǎn)品的研發(fā).謝爾蓋"布林(Sergey Brin)的身份并不僅是谷歌的創(chuàng )始人之一,他的日常工作是技術(shù)總裁.美林在三年前作為信息系統高級主管加入谷歌,現在負責內部工程部門(mén)的管理和全球技術(shù)支持.
谷歌采用的是矩陣式管理系統,每位經(jīng)理都有好幾位直接匯報的上司,每位工程師也可以同時(shí)向幾個(gè)人匯報.多數情況下,工程師們從共同工作的項目領(lǐng)導人處獲得指導和評價(jià).但每隔三個(gè)月工程師們就可以自發(fā)調換項目,因此谷歌改變了傳統意義上的項目運作和績(jì)效考評模式.如同處理其他技術(shù)問(wèn)題一樣,谷歌用人工智能和計算機自動(dòng)化的方式來(lái)處理一些日常工作.“我們的目標是盡量自主運作,以免工作變得乏味.”美林表示,“沒(méi)有人會(huì )喜歡乏味的工作,對嗎?”
此外,谷歌的招聘跟蹤系統能自動(dòng)聚合應聘者的各種信息,為招聘經(jīng)理提供候選人的工作簡(jiǎn)歷,建議的面試問(wèn)題,在招聘之后還會(huì )自動(dòng)發(fā)送電子郵件詢(xún)問(wèn)招聘方對應聘人選的意見(jiàn).工作面試包括邏輯問(wèn)題、編寫(xiě)代碼、討論軟件架構,和其他任何可以使谷歌相信應聘者具有快速學(xué)習新技術(shù)能力的證明,因為谷歌是不會(huì )讓它的員工長(cháng)時(shí)間只干一件事情的.
許多小型和短期的項目意味著(zhù)基于任務(wù)表的傳統項目管理方式的軟件不適用于谷歌.比如,他們的技術(shù)人員都不擅于總結自己的時(shí)間分配計劃.他們更擅長(cháng)的是寫(xiě)下每日工作相關(guān)的簡(jiǎn)短介紹或是代碼片斷.這些內容會(huì )定期和小組領(lǐng)導提交的項目更新信息一起匯編到數據庫里,項目管理系統根據輸入內容的主題,加上標簽把它們轉發(fā)給相關(guān)人員.美林認為,“這樣的系統還算不上真正的人工智能.” 但是,除了谷歌還有哪家公司會(huì )這樣管理員工呢?
績(jì)效考核也采用了類(lèi)似的技術(shù)機制.谷歌的“Perf績(jì)效”系統讓經(jīng)理們寫(xiě)電子郵件(當然還是先由電腦而非人工進(jìn)行分析),郵件描述了員工在項目中表現的優(yōu)劣.同事們則會(huì )收到另一封來(lái)自系統的電子郵件要求他們對比該員工與其他谷歌員工.Perf系統自動(dòng)分析所有反饋信息,對員工對比結果進(jìn)行評估,并把結果公開(kāi).這正是美林想要的效果,技術(shù)讓工作關(guān)系變得更加透明和人性化.可以預見(jiàn),雖然打開(kāi)窗戶(hù)的同時(shí)也會(huì )放進(jìn)蒼蠅,但美林表示凡事總有缺憾.“飛速發(fā)展的同時(shí),還必須保護我們的企業(yè)文化,”他說(shuō),“這能讓我們保持清醒.”
對谷歌的方式,有人持不同意見(jiàn).2004年因兼并加入谷歌市場(chǎng)部門(mén)的某工作人員,就由于缺乏資源和支持而辭職.“從IT工程師角度看,谷歌的確是個(gè)了不起的地方,”這位前雇員說(shuō),“但是,從商業(yè)或市場(chǎng)角度看,它就未見(jiàn)得如人們想象的那么出色.”
谷歌對市場(chǎng)的理解力,還遠跟不上它的技術(shù)實(shí)力.除了搜索引擎和廣告系統,谷歌大量的在線(xiàn)應用項目目前的作用還很有限.谷歌的Gmail服務(wù)面臨著(zhù)長(cháng)期霸主雅虎和微軟免費電子郵件服務(wù)強有力的挑戰.它的在線(xiàn)金融門(mén)戶(hù) Google Finance系統也存在類(lèi)似的問(wèn)題.谷歌地圖也遠遠落后于MapQuest和雅虎地圖,位居第三.
甄選企業(yè)文化
谷歌員工可以按照自己的需要和興趣選擇PC的操作系統,包括 Linux、Mac OS和Windows.很多人使用公司自產(chǎn)的程序,如谷歌桌面(Google Desktop)、谷歌地圖、購并的在線(xiàn)Writely 文字處理軟件,以及最近研發(fā)的谷歌電子數據表(Google Spreadsheets).在一般情況下,如果公司的某位員工需要某種特定軟件,他不用費太多周折就可以通過(guò)公司內部網(wǎng)提出申請而獲準使用.
當被問(wèn)及谷歌在使用哪些商業(yè)PC軟件時(shí),美林閃爍其辭.“重要的不是我們在每臺桌面電腦上安裝了什么程序,而是我們對安裝了什么電腦程序所持的態(tài)度,”他含糊地表示,“谷歌的原則是自由選擇永遠優(yōu)于簡(jiǎn)單控制.嚴格的集中化管理會(huì )妨礙創(chuàng )新.”
接著(zhù),美林對其他公司的CIO制度略有非議,他認為這是老式公司才用的頭銜.“大多數在我這個(gè)位置的人都在勉強控制局面,他們會(huì )說(shuō)'你只能購買(mǎi)這三樣產(chǎn)品'.”美林解釋說(shuō),“我會(huì )盡可能縮小控制范圍,試著(zhù)簡(jiǎn)化工作,把相關(guān)制約因素限制在我比較有把握的范圍之內.
在告訴別人做什么和阻止別人做什么之間,美林很清楚兩者的區別.例如,他注意到有些金融服務(wù)機構禁止員工使用即時(shí)通信(IM)軟件,因為他們就是這樣詮釋自己的規章制度.美林指出“這不是正確的方法”.
在美林的觀(guān)點(diǎn)中,正確的做法是:允許充分討論,暢用數據,拒絕直覺(jué),盡量自動(dòng)化.
集思廣益
去年工程副總裁亞當"伯斯沃斯(Adam Bosworth)在提到谷歌的文檔排名算法(PageRank)時(shí)說(shuō),谷歌的搜索結果比別人更準確,是因為其得益于“大眾智慧的力量”.[引自詹姆士" 蘇羅維奇(James Surowiechi)所著(zhù)《大眾的智慧》,2004年由蘭登書(shū)屋(Random House)出版.]公司創(chuàng )始人拉里"佩奇(Larry Page)和謝爾蓋"布林(Sergey Brin)正是從PageRank開(kāi)創(chuàng )了事業(yè),PageRank通過(guò)分析網(wǎng)頁(yè)上人工生成的鏈接結構來(lái)決定網(wǎng)頁(yè)的相關(guān)重要性.對PageRank來(lái)說(shuō),越多人鏈接到一個(gè)特定網(wǎng)頁(yè),這個(gè)網(wǎng)頁(yè)很可能越重要.
這樣,人力和機器得到了完美分工:人類(lèi)擅于內容評估,計算機則可輕松分析大規模數據集.通過(guò)嫁接集體的智慧與自動(dòng)化處理,佩奇和布林建立了一家由人工智能驅動(dòng)的公司.“人工智能是個(gè)了不起的工具,它可以幫助人們更好地做決定,”美林說(shuō),“但是它不適合做復雜的決定.”
通過(guò)機器收集和提煉的集體智慧對谷歌非常重要.就像美林指出的那樣, “集體比個(gè)體更聰明”.“這個(gè)見(jiàn)解也許已不像當初那樣令人耳目一新,因為維基百科(Wikipedia)和Digg.com已一再證明了這點(diǎn).但是對于很多其他同類(lèi)公司來(lái)說(shuō),對于這個(gè)觀(guān)點(diǎn)的理解仍然有限.”美林解釋說(shuō).
但在谷歌,相關(guān)的例子比比皆是,比如公司選擇新員工的方式.“這里沒(méi)有人有權聘用任何人,”美林堅稱(chēng),“聘用由公開(kāi)的集體決定.是我們所有人聘用了所有其他人.”
對集體智慧的堅持也體現在谷歌的午餐文化.谷歌為雇員提供免費午餐作為激勵和提高效率的方式,但同時(shí)也是為了鼓勵員工之間的互動(dòng).這是杯盤(pán)交錯之間的交流.“如果你希望人們說(shuō)話(huà),希望人們投入,你會(huì )怎樣做?”美林反問(wèn)道,“你得給他們提供午餐.”
關(guān)于企業(yè)內部公開(kāi)討論的方式,谷歌有一條口號:暢所欲言.“在其他地方私下討論的東西在這里變得公開(kāi)了.”美林說(shuō).(仿佛為了說(shuō)明這一點(diǎn),美林在我們拍照時(shí)還脫掉T恤展示他的刺青.)“我們的決議都是公開(kāi)討論的結果.我們歡迎辯論.我們期待每個(gè)人的參與,渴望不同的觀(guān)點(diǎn).”美林這樣說(shuō)道.
當然,凡事都有底線(xiàn).美林也同意有些事情仍然需要保密.“用戶(hù)數據的私密性對我們顯然非常重要,所以我們對這類(lèi)數據資料會(huì )嚴加看管.”他表示,“但是某些常規商業(yè)領(lǐng)域里的秘密我們反而認為并非真的那么需要保密.”常規商業(yè)領(lǐng)域?那就包括了99%的其他公司.
谷歌目前面臨的挑戰就是保持其獨特性—這恰恰也正是它的核心競爭力—同時(shí)它也堅持承擔了組織全球信息的責任,使之隨時(shí)隨地可以被訪(fǎng)問(wèn)和利用,不受任何限制.可以想象,其他公司會(huì )密切關(guān)注和學(xué)習這家特立獨行的企業(yè)的一舉一動(dòng).
金璞@IT專(zhuān)家網(wǎng)編譯
聯(lián)系客服
