“大數據”突然間變得無(wú)處不在，似乎每個(gè)人都想收集、分析大數據、并從中獲利，同時(shí)也有人在夸耀或者害怕它的巨大影響。不論我們是在討論利用谷歌龐大的搜索數據來(lái)預測流感的爆發(fā)還是利用通話(huà)記錄來(lái)預測恐怖活動(dòng)，又或者是利用航空公司的數據找到買(mǎi)機票的最佳時(shí)機，大數據都可以幫上忙。將現代計算技術(shù)和數字時(shí)代眾多的數據結合起來(lái)，似乎可以解決任何問(wèn)題——犯罪，公共衛生，用語(yǔ)的變化，約會(huì )的危險，只要我們把這些數據利用起來(lái)。
似乎它的擁護者這樣宣稱(chēng)?！霸诮酉聛?lái)的二十年，”記者帕特里克·塔克在他最近的大數據聲明中這樣寫(xiě)道，“是透明的未來(lái)，”“我們可以以一種前所未有的準確度預測未來(lái)的諸多領(lǐng)域，甚至包括一些長(cháng)久以來(lái)被認為人類(lèi)無(wú)法干預的領(lǐng)域?！钡髷祿鋵?shí)從來(lái)沒(méi)有聽(tīng)上去那么好。
大數據真的像說(shuō)的那么好？毫無(wú)疑問(wèn)大數據確實(shí)是一個(gè)有價(jià)值的工具，并在某些領(lǐng)域產(chǎn)生了至關(guān)重要的影響。比如，幾乎近二十年人工智能計算機程序的成功，從谷歌的搜索引擎到IBM的沃森電腦問(wèn)答系統，都包括了大量數據的處理。但是正是因為它最近如此受歡迎并得到廣泛應用，我們需要清晰的看待大數據究竟能做什么和不能做什么。
大數據能告訴我們是什么，但不能告訴我們?yōu)槭裁?/b>
首先，盡管大數據能夠非常好地檢測相關(guān)性，特別是那些用小數據集可能無(wú)法測出的微妙相關(guān)性，但是它并不會(huì )告訴我們哪一種相關(guān)性是有意義的。比如，大數據分析可能會(huì )揭示從2006年到2011你那美國謀殺案比例與IE瀏覽器的市場(chǎng)份額是極度相關(guān)的，都呈急速下降趨勢。但是很難相信這兩者之間有什么因果關(guān)系。又比如，從1998到2007被診斷出的自閉癥患者與有機食物的銷(xiāo)售具有相關(guān)性（都呈急速上升趨勢），但是這種相關(guān)性本身不會(huì )告訴我們飲食和自閉癥的關(guān)系。
大數據只能是輔助工具
第二，大數據可以輔助科學(xué)調查，但不可能成功地完全代替。比如，分子生物學(xué)家很想從潛在的DNA序列中推斷出蛋白質(zhì)的三維結構，有一些科學(xué)家已經(jīng)在用大數據來(lái)解決這個(gè)難題。但是沒(méi)有任何科學(xué)家認為你可以完全依靠處理數據來(lái)解決這個(gè)難題，不論這個(gè)數據分析是多么的強有力，你依舊需要基于對物理和生物化學(xué)的理解上來(lái)處理這些數據。
基于大數據的工具易造假
第三，基于大數據的很多工具很容易造假。批改學(xué)生作文的大數據程序通常依賴(lài)于句子長(cháng)度和用詞的復雜性，數據表明這和老師批改的分數很相關(guān)。但是一旦學(xué)生知道這個(gè)程序如何運作，他們就開(kāi)始寫(xiě)一些長(cháng)句子并用晦澀的詞語(yǔ)而不是去學(xué)會(huì )如何規范清晰的表達，組成連貫的篇章。甚至谷歌的著(zhù)名的搜索引擎，這個(gè)通常被認為成功的大數據案例也不能免于信息繁雜，無(wú)用的搜索結果，一些人為的原因使得一些搜索結果排在前面（搜索廣告）。
通過(guò)大數據下結論是有風(fēng)險的
第四，即便大數據的結果沒(méi)有人為地造假，但是它看上去也不那么有效。比如谷歌預測流感的案例曾經(jīng)是大數據的典范。2009年，谷歌通過(guò)相當大的宣傳稱(chēng)它可以通過(guò)分析與流感相關(guān)的搜索預測流感爆發(fā)的趨勢，這種準確性和快速甚至超過(guò)了疾病控制和預防中心等官方機構。但是幾年后，谷歌宣稱(chēng)的流感預測并沒(méi)有得到好的結果，最近兩年，它做的更多地是不準的預測。
最近一篇《科學(xué)雜志》的文章解釋道，谷歌流感預測的失敗很大程度上是因為谷歌搜索引擎自己在不斷的更新，這個(gè)時(shí)候收集的數據未必能夠適用于下一個(gè)時(shí)候收集的數據。正如統計學(xué)家馮啟思（《數據統治世界》的作者）所說(shuō)的，依賴(lài)于網(wǎng)站的大數據收集常常把一些用不同方法、有不同目的數據整合起來(lái)，有時(shí)候這會(huì )產(chǎn)生負面的影響。從這樣的數據樣本得出結論是需要冒風(fēng)險的。
大數據的智能應用會(huì )導致錯誤被加強
第五個(gè)需要注意的就是“惡性循環(huán)”,這也是因為大量的數據都來(lái)自于網(wǎng)絡(luò )。不論何時(shí)，大數據分析的信息源本身就是一種大數據產(chǎn)品，這很可能會(huì )導致惡性循環(huán)。谷歌翻譯等翻譯程序是從不同語(yǔ)言中抽取相似的文本去辨別這些語(yǔ)言的翻譯模式，比如同樣的維基百科條目有兩種語(yǔ)言。這是一個(gè)很合理的策略，要不是有很多語(yǔ)言并不具有太多相似性，維基百科自己都可以用谷歌翻譯寫(xiě)條目。在這種情況下，任何谷歌翻譯的錯誤都會(huì )影響維基百科，而這又會(huì )反映到谷歌翻譯上，使這種錯誤不斷加強。
大數據可能會(huì )導致大錯誤
第六個(gè)需要擔心的就是太多相關(guān)性導致的危險。如果你在兩個(gè)變量中不斷地尋找相關(guān)性，那么你很可能會(huì )純粹出于偶然發(fā)現虛假的相關(guān)性，即便在這些變量中并沒(méi)有實(shí)際意義的聯(lián)系。缺乏謹慎的檢查，大數據的量級會(huì )擴大這些錯誤。
聽(tīng)上去科學(xué)的解釋未必正確
第七，大數據很容易對那些無(wú)法精確的問(wèn)題給出聽(tīng)上去很科學(xué)的解釋。比如在過(guò)去幾個(gè)月，基于維基百科的數據給人們排名有兩個(gè)不同的嘗試：根據歷史重要性或者文化貢獻。其中一本書(shū)叫做《誰(shuí)更強？歷史人物真實(shí)的排名在哪里》，作者是電腦工程師Steven Skiena 和工程師Charles Ward，另一本叫做《萬(wàn)神殿》，來(lái)自于麻省理工學(xué)院媒體實(shí)驗室項目。
這些嘗試在某些方面是正確的，耶穌、林肯、莎士比亞確實(shí)是極為重要的人物，但是兩者都犯了一些嚴重的錯誤?！墩l(shuí)更強？》指出法蘭西斯．史考特．凱伊（Francis Scott Key ）在歷史上是19世紀最重要的作家，遠遠超過(guò)簡(jiǎn)·奧斯?。ǖ?8名）和喬治·愛(ài)略特（第380名）。更嚴重的是，兩本書(shū)呈現出了利用所謂的精確誤導人，而在本質(zhì)上是模糊升值無(wú)意義的。大數據可以把任何事都簡(jiǎn)化為數字，但是你不應該被這些“科學(xué)”的表現愚弄。
罕見(jiàn)事件，大數據不起作用
最后，大數據在分析那些普通事件很在行，但是在分析罕見(jiàn)事件常失敗。比如，用大數據處理文本的程序如搜索引擎和翻譯程序，常常依賴(lài)于所謂的“三字”：連續三個(gè)詞的序列（比如“in a row”）?？煽康臄祿畔⒖梢跃幹瞥Ｒ幍娜帜Ｐ?，正是因為他們常出現，但是現有的數據并沒(méi)有多到足夠包括人們可能使用的所有“三字”，因為人們在不斷創(chuàng )造新語(yǔ)言。
隨便挑一個(gè)例子，Rob Lowe 最近為報紙寫(xiě)的書(shū)評有九個(gè)“三詞序列”比如“dumbed-down escapist fare”，這在谷歌的文本里從未出現過(guò)。對于這些新鮮詞匯谷歌有很多限制，谷歌將“dumbed-down escapist fare”西安翻譯為德文然后再翻譯為英文，最后出現了這樣一個(gè)不合邏輯的詞語(yǔ)“scaled-flight fare.”Lowe先生的本意和利用大數據的翻譯真是完全不搭邊。
等等，我們幾乎忽略了最后一個(gè)問(wèn)題：炒作。大數據的支持者宣稱(chēng)它是革命性的進(jìn)步。但是即便是給出大數據的成功例子，比如谷歌流感趨勢的預測，即便有用但對于一些更大的事這些顯得微不足道。相比19世紀和20世紀的偉大發(fā)明比如抗生素，汽車(chē)，飛機，大數據所得出的東西實(shí)在算不了什么。
我們需要大數據，毫無(wú)疑問(wèn)。但是我們也需要更加清醒的認識到，這只是一種每個(gè)人都可以分析的重要資源，并不是什么新技術(shù)。
是在討論利用谷歌龐大的搜索數據來(lái)預測流感的爆發(fā)還是利用通話(huà)記錄來(lái)預測恐怖活動(dòng)，又或者是利用航空公司的數據找到買(mǎi)機票的最佳時(shí)機，大數據都可以幫上忙。將現代計算技術(shù)和數字時(shí)代眾多的數據結合起來(lái)，似乎可以解決任何問(wèn)題——犯罪，公共衛生，用語(yǔ)的變化，約會(huì )的危險，只要我們把這些數據利用起來(lái)。似乎它的擁護者這樣宣稱(chēng)?！霸诮酉聛?lái)的二十年，”記者帕特里克·塔克在他最近的大數據聲明中這樣寫(xiě)道，“是透明的未來(lái)，”“我們可以以一種前所未有的準確度預測未來(lái)的諸多領(lǐng)域，甚至包括一些長(cháng)久以來(lái)被認為人類(lèi)無(wú)法干預的領(lǐng)域?！钡髷祿鋵?shí)從來(lái)沒(méi)有聽(tīng)上去那么好。
大數據真的像說(shuō)的那么好？毫無(wú)疑問(wèn)大數據確實(shí)是一個(gè)有價(jià)值的工具，并在某些領(lǐng)域產(chǎn)生了至關(guān)重要的影響。比如，幾乎近二十年人工智能計算機程序的成功，從谷歌的搜索引擎到IBM的沃森電腦問(wèn)答系統，都包括了大量數據的處理。但是正是因為它最近如此受歡迎并得到廣泛應用，我們需要清晰的看待大數據究竟能做什么和不能做什么。
大數據能告訴我們是什么，但不能告訴我們?yōu)槭裁?/strong>
首先，盡管大數據能夠非常好地檢測相關(guān)性，特別是那些用小數據集可能無(wú)法測出的微妙相關(guān)性，但是它并不會(huì )告訴我們哪一種相關(guān)性是有意義的。比如，大數據分析可能會(huì )揭示從2006年到2011你那美國謀殺案比例與IE瀏覽器的市場(chǎng)份額是極度相關(guān)的，都呈急速下降趨勢。但是很難相信這兩者之間有什么因果關(guān)系。又比如，從1998到2007被診斷出的自閉癥患者與有機食物的銷(xiāo)售具有相關(guān)性（都呈急速上升趨勢），但是這種相關(guān)性本身不會(huì )告訴我們飲食和自閉癥的關(guān)系。
大數據只能是輔助工具
第二，大數據可以輔助科學(xué)調查，但不可能成功地完全代替。比如，分子生物學(xué)家很想從潛在的DNA序列中推斷出蛋白質(zhì)的三維結構，有一些科學(xué)家已經(jīng)在用大數據來(lái)解決這個(gè)難題。但是沒(méi)有任何科學(xué)家認為你可以完全依靠處理數據來(lái)解決這個(gè)難題，不論這個(gè)數據分析是多么的強有力，你依舊需要基于對物理和生物化學(xué)的理解上來(lái)處理這些數據。
基于大數據的工具易造假
第三，基于大數據的很多工具很容易造假。批改學(xué)生作文的大數據程序通常依賴(lài)于句子長(cháng)度和用詞的復雜性，數據表明這和老師批改的分數很相關(guān)。但是一旦學(xué)生知道這個(gè)程序如何運作，他們就開(kāi)始寫(xiě)一些長(cháng)句子并用晦澀的詞語(yǔ)而不是去學(xué)會(huì )如何規范清晰的表達，組成連貫的篇章。甚至谷歌的著(zhù)名的搜索引擎，這個(gè)通常被認為成功的大數據案例也不能免于信息繁雜，無(wú)用的搜索結果，一些人為的原因使得一些搜索結果排在前面（搜索廣告）。
通過(guò)大數據下結論是有風(fēng)險的
第四，即便大數據的結果沒(méi)有人為地造假，但是它看上去也不那么有效
比如谷歌預測流感的案例曾經(jīng)是大數據的典范。2009年，谷歌通過(guò)相當大的宣傳稱(chēng)它可以通過(guò)分析與流感相關(guān)的搜索預測流感爆發(fā)的趨勢，這種準確性和快速甚至超過(guò)了疾病控制和預防中心等官方機構。但是幾年后，谷歌宣稱(chēng)的流感預測并沒(méi)有得到好的結果，最近兩年，它做的更多地是不準的預測。
最近一篇《科學(xué)雜志》的文章解釋道，谷歌流感預測的失敗很大程度上是因為谷歌搜索引擎自己在不斷的更新，這個(gè)時(shí)候收集的數據未必能夠適用于下一個(gè)時(shí)候收集的數據。正如統計學(xué)家馮啟思（《數據統治世界》的作者）所說(shuō)的，依賴(lài)于網(wǎng)站的大數據收集常常把一些用不同方法、有不同目的數據整合起來(lái)，有時(shí)候這會(huì )產(chǎn)生負面的影響。從這樣的數據樣本得出結論是需要冒風(fēng)險的。
大數據的智能應用會(huì )導致錯誤被加強
第五個(gè)需要注意的就是“惡性循環(huán)”,這也是因為大量的數據都來(lái)自于網(wǎng)絡(luò )。不論何時(shí)，大數據分析的信息源本身就是一種大數據產(chǎn)品，這很可能會(huì )導致惡性循環(huán)。谷歌翻譯等翻譯程序是從不同語(yǔ)言中抽取相似的文本去辨別這些語(yǔ)言的翻譯模式，比如同樣的維基百科條目有兩種語(yǔ)言。這是一個(gè)很合理的策略，要不是有很多語(yǔ)言并不具有太多相似性，維基百科自己都可以用谷歌翻譯寫(xiě)條目。在這種情況下，任何谷歌翻譯的錯誤都會(huì )影響維基百科，而這又會(huì )反映到谷歌翻譯上，使這種錯誤不斷加強。
大數據可能會(huì )導致大錯誤
第六個(gè)需要擔心的就是太多相關(guān)性導致的危險。如果你在兩個(gè)變量中不斷地尋找相關(guān)性，那么你很可能會(huì )純粹出于偶然發(fā)現虛假的相關(guān)性，即便在這些變量中并沒(méi)有實(shí)際意義的聯(lián)系。缺乏謹慎的檢查，大數據的量級會(huì )擴大這些錯誤。
聽(tīng)上去科學(xué)的解釋未必正確
第七，大數據很容易對那些無(wú)法精確的問(wèn)題給出聽(tīng)上去很科學(xué)的解釋。比如在過(guò)去幾個(gè)月，基于維基百科的數據給人們排名有兩個(gè)不同的嘗試：根據歷史重要性或者文化貢獻。其中一本書(shū)叫做《誰(shuí)更強？歷史人物真實(shí)的排名在哪里》，作者是電腦工程師Steven Skiena 和工程師Charles Ward，另一本叫做《萬(wàn)神殿》，來(lái)自于麻省理工學(xué)院媒體實(shí)驗室項目。
這些嘗試在某些方面是正確的，耶穌、林肯、莎士比亞確實(shí)是極為重要的人物，但是兩者都犯了一些嚴重的錯誤?！墩l(shuí)更強？》指出法蘭西斯．史考特．凱伊（Francis Scott Key ）在歷史上是19世紀最重要的作家，遠遠超過(guò)簡(jiǎn)·奧斯?。ǖ?8名）和喬治·愛(ài)略特（第380名）。更嚴重的是，兩本書(shū)呈現出了利用所謂的精確誤導人，而在本質(zhì)上是模糊升值無(wú)意義的。大數據可以把任何事都簡(jiǎn)化為數字，但是你不應該被這些“科學(xué)”的表現愚弄。
罕見(jiàn)事件，大數據不起作用
最后，大數據在分析那些普通事件很在行，但是在分析罕見(jiàn)事件常失敗。比如，用大數據處理文本的程序如搜索引擎和翻譯程序，常常依賴(lài)于所謂的“三字”：連續三個(gè)詞的序列（比如“in a row”）?？煽康臄祿畔⒖梢跃幹瞥Ｒ幍娜帜Ｐ?，正是因為他們常出現，但是現有的數據并沒(méi)有多到足夠包括人們可能使用的所有“三字”，因為人們在不斷創(chuàng )造新語(yǔ)言。
隨便挑一個(gè)例子，Rob Lowe 最近為報紙寫(xiě)的書(shū)評有九個(gè)“三詞序列”比如“dumbed-down escapist fare”，這在谷歌的文本里從未出現過(guò)。對于這些新鮮詞匯谷歌有很多限制，谷歌將“dumbed-down escapist fare”西安翻譯為德文然后再翻譯為英文，最后出現了這樣一個(gè)不合邏輯的詞語(yǔ)“scaled-flight fare.”Lowe先生的本意和利用大數據的翻譯真是完全不搭邊。
等等，我們幾乎忽略了最后一個(gè)問(wèn)題：炒作。大數據的支持者宣稱(chēng)它是革命性的進(jìn)步。但是即便是給出大數據的成功例子，比如谷歌流感趨勢的預測，即便有用但對于一些更大的事這些顯得微不足道。相比19世紀和20世紀的偉大發(fā)明比如抗生素，汽車(chē)，飛機，大數據所得出的東西實(shí)在算不了什么。
我們需要大數據，毫無(wú)疑問(wèn)。但是我們也需要更加清醒的認識到，這只是一種每個(gè)人都可以分析的重要資源，并不是什么新技術(shù)。
聯(lián)系客服
