神譯局是36氪旗下編譯團隊，關(guān)注科技、商業(yè)、職場(chǎng)、生活等領(lǐng)域，重點(diǎn)介紹國外的新技術(shù)、新觀(guān)點(diǎn)、新風(fēng)向。
編者按：使用不同的搜索引擎搜索出來(lái)的內容是不一樣的，用哪個(gè)搜索引擎搜出來(lái)的東西又多又好，在客戶(hù)一端，當然就會(huì )傾向于一直用這個(gè)搜索引擎。而在網(wǎng)站一端，網(wǎng)站的擁有者也會(huì )選擇允許用戶(hù)規模大的搜索引擎來(lái)爬取自己的網(wǎng)頁(yè)，所以有些網(wǎng)站只有用Google才能搜到。網(wǎng)站和搜索引擎是共生的。網(wǎng)站的流量依賴(lài)于搜索引擎，而搜索引擎需要訪(fǎng)問(wèn)網(wǎng)站，為用戶(hù)提供相關(guān)的結果。這是一個(gè)正反饋循環(huán)，其結果就是，谷歌搜索引擎越來(lái)越強大，在國外只有微軟的必應能夠稍微與之較量一下。但其背后是存在問(wèn)題的，谷歌搜索引擎的權力太大，它能決定你能搜到什么，這種權利應該得到監管和限制。本文經(jīng)授權譯自New York Times，作者Daisuke Wakabayashi，原標題為" Google Dominates Thanks to an Unrivaled View of the Web"，希望對您有所啟發(fā)。
2000年，谷歌成立僅兩年后，就達到了一個(gè)里程碑，為其在未來(lái)20年的主導地位奠定了基礎：它成為了世界上最大的搜索引擎，擁有超過(guò)10億個(gè)網(wǎng)頁(yè)索引。隨著(zhù)時(shí)間推移，谷歌的網(wǎng)頁(yè)索引變得越來(lái)越龐大。如今，據估計，谷歌可以檢索到大約有5000億到6000億個(gè)網(wǎng)頁(yè)。
現在，世界各地的監管機構都在研究如何遏制谷歌的權力，包括預計將由多州總檢察長(cháng)提起的搜索壟斷案，以及司法部在10月份提起的反壟斷訴訟。這些監管部門(mén)正在與一家科技巨頭對陣，谷歌的規模已經(jīng)完全壓制了競爭對手。在反擊中，這些競爭對手正將調查人員的焦點(diǎn)引向了谷歌搜索龐大的索引。
2020年10月20日，位于加州山景城的谷歌總部。谷歌相對于競爭對手的搜索引擎有巨大的優(yōu)勢，因為它的受歡迎程度不斷增加，它了解消費者想要什么。(勞拉·莫頓/《紐約時(shí)報》)
大約20年前創(chuàng )辦搜索引擎Gigablast馬特·威爾斯（Matt Wells）說(shuō)：“如果人們使用索引較小的搜索引擎，他們不會(huì )總是得到想要的結果，然后他們就會(huì )去谷歌，并成為忠實(shí)用戶(hù)。像我這樣的小公司，大約可以檢索50億個(gè)網(wǎng)頁(yè)，根本無(wú)法與谷歌競爭?！?br>
了解谷歌的搜索是如何運作的，是弄清楚為何這么多公司發(fā)現幾乎無(wú)法與之競爭的關(guān)鍵。事實(shí)上，他們會(huì )不遺余力地迎合谷歌的需求。
每次搜索請求都會(huì )為谷歌提供更多數據，使其搜索算法更加智能化。谷歌的搜索量比其他任何搜索引擎都要多，因此在了解消費者需求方面，它比競爭對手有更大的優(yōu)勢。這一領(lǐng)先優(yōu)勢只會(huì )繼續擴大，因為谷歌擁有約90%的市場(chǎng)份額。
谷歌將數十億用戶(hù)引導到互聯(lián)網(wǎng)上的各個(gè)網(wǎng)頁(yè)，而渴望獲得流量的網(wǎng)站則為該公司創(chuàng )造了一套不同的規則。網(wǎng)站經(jīng)常提供對谷歌所謂的“網(wǎng)絡(luò )爬蟲(chóng)”(自動(dòng)搜索互聯(lián)網(wǎng)并掃描網(wǎng)頁(yè)的計算機)的更大、更頻繁的訪(fǎng)問(wèn)支持，使該公司能夠提供關(guān)于互聯(lián)網(wǎng)上可用內容的更廣泛、更新的索引。
在音樂(lè )網(wǎng)站工作時(shí)，軟件工程師扎克·馬里爾(Zack Maril)開(kāi)始擔心谷歌的主導地位會(huì )對網(wǎng)站造成什么影響。2018年，當谷歌表示其爬蟲(chóng)程序Googlebot在的一個(gè)頁(yè)面上出現問(wèn)題時(shí)，馬里爾馬上把解決這個(gè)問(wèn)題作為當務(wù)之急，因為谷歌對該網(wǎng)站的流量至關(guān)重要。當其他爬蟲(chóng)遇到問(wèn)題時(shí)，BandCamp通常會(huì )阻止它們。
馬里爾（Maril）繼續研究網(wǎng)站為谷歌打開(kāi)大門(mén)和為其他人關(guān)閉大門(mén)的不同方式。去年，他向眾議院反壟斷小組委員會(huì )遞交了一份20頁(yè)的報告《理解谷歌》(Understanding Google)，然后與調查人員會(huì )面，解釋為什么其他公司不能重建谷歌索引。
29歲的馬里爾（Maril）就職于另一家不直接與谷歌競爭的科技公司，他說(shuō)：“這在很大程度上是其壟斷地位不受約束的權力來(lái)源?！彼蟆都~約時(shí)報》不要透露他的雇主的身份，因為他的立場(chǎng)不代表公司。
軟件工程師扎克·馬里爾，于2020年11月13日攝于華盛頓。(賈里德·蘇亞雷斯/《紐約時(shí)報》)
美國眾議院小組委員會(huì )今年的一份報告引用了馬里爾對谷歌的研究，他詳細闡述了谷歌創(chuàng )建互聯(lián)網(wǎng)實(shí)時(shí)地圖的努力以及如何“鎖定其主導地位”。雖然美國司法部正在尋求解除谷歌的商業(yè)交易，這些交易將谷歌的搜索引擎置于數十億部智能手機和電腦的前沿，但馬里爾敦促政府干預和監管谷歌的索引。谷歌發(fā)言人拒絕置評。
網(wǎng)站和搜索引擎是共生的。網(wǎng)站的流量依賴(lài)于搜索引擎，而搜索引擎需要訪(fǎng)問(wèn)網(wǎng)站，為用戶(hù)提供相關(guān)的結果。但是，每一個(gè)爬蟲(chóng)都會(huì )對網(wǎng)站的服務(wù)器資源和帶寬成本造成壓力，一些侵略性的爬蟲(chóng)甚至可以使網(wǎng)站癱瘓。
由于抓取網(wǎng)頁(yè)是要花錢(qián)的，網(wǎng)站更希望只讓有足夠流量的搜索引擎來(lái)做這件事。在目前的搜索領(lǐng)域，這就剩下了谷歌。在某些情況下，還有微軟的必應。
谷歌和微軟是僅有的兩家每年花費數億美元來(lái)維護英文互聯(lián)網(wǎng)實(shí)時(shí)地圖的搜索引擎。此外，根據英國競爭與市場(chǎng)管理局今年夏天的一份報告稱(chēng)，這兩家公司多年來(lái)還花費了數十億美元來(lái)建立自己的索引。
谷歌在市場(chǎng)份額上遠遠領(lǐng)先于微軟。英國競爭主管部門(mén)表示，谷歌的索引包含約5,000億至6,000億個(gè)網(wǎng)頁(yè)，而微軟的索引包含1,000億至2,000億個(gè)網(wǎng)頁(yè)。
其他大型科技公司也會(huì )為其他目的部署爬蟲(chóng)程序。比如，Facebook有一個(gè)爬蟲(chóng)程序，可以抓取出現在其網(wǎng)站或服務(wù)上的鏈接。亞馬遜表示，它的爬蟲(chóng)程序有助于改進(jìn)語(yǔ)音助手Alexa。蘋(píng)果也有自己的爬蟲(chóng)程序Applebot，這引發(fā)了人們的猜測，認為蘋(píng)果可能正在尋求建立自己的搜索引擎。
但對財力不雄厚的公司來(lái)說(shuō)，建立索引一直是一項挑戰。十多年前，注重保護用戶(hù)隱私的搜索引擎DuckDuckGo決定停止在整個(gè)網(wǎng)絡(luò )上檢索，現在從微軟那里獲取搜索結果。DuckDuckGo仍然會(huì )檢索維基百科等網(wǎng)站，為答案框提供結果，但維持自己的索引通常對公司來(lái)說(shuō)沒(méi)有經(jīng)濟意義。
加布里埃爾·溫伯格(Gabriel Weinberg)，賓夕法尼亞州Paoli DuckDuckGo搜索引擎公司的首席執行官。2019年7月7日。十多年前，這個(gè)注重隱私的搜索引擎決定停止在整個(gè)網(wǎng)絡(luò )上執行爬蟲(chóng)程序，現在將來(lái)自微軟的搜索結果整合在一起。(米歇爾·古斯塔夫森/紐約時(shí)報)
DuckDuckGo首席執行官加布里埃爾·溫伯格(Gabriel Weinberg)表示：“它的成本超出了我們的承受能力?！痹谌ツ晏峤唤o眾議院反壟斷小組委員會(huì )的一份書(shū)面聲明中，該公司表示，“如今，以及在可預見(jiàn)的未來(lái)，一家有抱負的搜索引擎初創(chuàng )公司不可避免地要向微軟或谷歌尋求搜索結果?！?br>
2015年，當FindX開(kāi)始開(kāi)發(fā)谷歌的替代品時(shí)，這家丹麥公司開(kāi)始創(chuàng )建自己的索引，并提供了一種可以提供個(gè)性化結果的算法。
不過(guò)，FindX很快就遇到了問(wèn)題。Yelp和LinkedIn等大型網(wǎng)站運營(yíng)商不允許這個(gè)羽翼未豐的搜索引擎抓取他們的網(wǎng)站。由于代碼中的一個(gè)漏洞，FindX在互聯(lián)網(wǎng)上檢索的計算機被標記為存在安全風(fēng)險，并被許多基礎設施提供商屏蔽。他們收集的網(wǎng)頁(yè)經(jīng)常是垃圾網(wǎng)頁(yè)或惡意網(wǎng)頁(yè)。
FindX于2018年關(guān)閉，其聯(lián)合創(chuàng )始人布萊恩·斯喬特·勞爾森(Brian Sschilt Laursen)說(shuō)：“建立索引是最難做的事情?！眲跔柹ツ晖瞥隽诵碌乃阉饕鍳ivero，用戶(hù)可以選擇將公司收入的一部分捐給慈善事業(yè)。當他創(chuàng )辦Givero時(shí)，整合了微軟的搜索結果。
大多數大型網(wǎng)站對于誰(shuí)可以抓取他們的頁(yè)面都很謹慎?？偟膩?lái)說(shuō)，谷歌和微軟獲得更多的訪(fǎng)問(wèn)權限是因為它們擁有更多的用戶(hù)，而較小的搜索引擎則需要申請許可。
德國搜索引擎Cliqz聯(lián)席首席執行官馬克·哈姆斯(Marc Al-Hames)說(shuō)：“你需要流量來(lái)說(shuō)服網(wǎng)站允許你復制和檢索其網(wǎng)頁(yè)，但你也需要內容來(lái)擴大你的索引并拉動(dòng)流量?！痹谶\營(yíng)了七年之后，Cliqz于今年關(guān)閉?！斑@是一個(gè)先有雞還是先有蛋的問(wèn)題?！?/p>
在歐洲，一個(gè)名為開(kāi)放搜索基金會(huì )(Open Search Foundation)的組織提出了一項計劃，要創(chuàng )建一個(gè)共同的互聯(lián)網(wǎng)索引，為許多歐洲搜索引擎提供支持。該組織的主席和創(chuàng )始人斯特凡·福格特(Stefan Voigt)說(shuō)，提供多樣化的搜索結果選項非常重要，因為只有少數幾家公司才能決定用戶(hù)顯示和不顯示哪些鏈接。
福格特說(shuō)：“我們不能把這個(gè)問(wèn)題的決定權交給一兩家公司?！?/p>
Science Direct是一個(gè)同行評議論文的網(wǎng)站，只允許谷歌的爬蟲(chóng)訪(fǎng)問(wèn)包含PDF文檔的鏈接。只有谷歌的電腦才能訪(fǎng)問(wèn)PBS Kids上的列表。在中國電子商務(wù)巨頭阿里巴巴(Alibaba)的美國網(wǎng)站Alibaba.com上，只有谷歌的爬蟲(chóng)才能訪(fǎng)問(wèn)列出產(chǎn)品的頁(yè)面。
今年，馬里爾（Maril）創(chuàng )辦了一個(gè)組織，名為“傻瓜俱樂(lè )部”(“因為只有傻瓜才會(huì )挑戰谷歌”)，還創(chuàng )建了一個(gè)網(wǎng)站，以提高人們對谷歌網(wǎng)絡(luò )爬行壟斷地位的認識。
馬里爾（Maril）說(shuō)：“谷歌在社會(huì )上擁有強大的力量，但是我認為應該對這種權力加以控制?！?/p>
譯者：Jane
聯(lián)系客服
