from http://www.36dsj.com/archives/40694
作者:John Horgan
貝葉斯定理，被吹捧為一種生成知識的強大方法，也可能被用于促進(jìn)迷信和偽科學(xué)。
貝葉斯定理已經(jīng)如此流行，以至于在CBS劇《生活大爆炸》中也出現了它的身影。但是像任何一個(gè)工具一樣，它也可能被錯誤應用。
我不確定第一次聽(tīng)到貝葉斯定理是在何時(shí)。但是我確實(shí)在過(guò)去十年才開(kāi)始注意它，在我的幾個(gè)不靠譜的學(xué)生將其幾乎鼓吹為人生神奇導航指南之后。
學(xué)生的夸張讓我困惑，像這個(gè)定理在維基百科和其他地方的解釋一樣，我發(fā)現它們要么太簡(jiǎn)單化要么太復雜化。我自然覺(jué)得貝葉斯只是一股風(fēng)潮，不值得深入探索。但是現在，貝葉斯已經(jīng)變得無(wú)處不在，不容忽視。
貝葉斯統計學(xué)家“遍布一切，從物理學(xué)到癌癥研究，從生態(tài)學(xué)到心理學(xué)，”《紐約時(shí)報》這樣說(shuō)。物理學(xué)家提出了量子機器的貝葉斯解釋?zhuān)约柏惾~斯捍衛了弦和多重宇宙理論。哲學(xué)家主張作為一個(gè)整體的科學(xué)可以被視為一個(gè)貝葉斯過(guò)程，還有Karl Popper普及的方法，貝葉斯能夠更精確地區分科學(xué)和偽科學(xué)。
人工智能研究者，包括Google自動(dòng)駕駛汽車(chē)的設計者，使用貝葉斯軟件幫助及其識別模式并作出決策。根據一位流行的貝葉斯理論歷史寫(xiě)作者Sharon Bertsch McGrayne所說(shuō)，貝葉斯程序“挑選出電子郵件中的垃圾郵件，評估藥物和國土安全風(fēng)險以及從其他東西中破譯DNA?！痹诰W(wǎng)站Edge.org中，物理學(xué)家John Mather為貝葉斯機器可能已經(jīng)足夠聰明去“淘汰”人類(lèi)而著(zhù)急。
認知科學(xué)家猜測，我們的大腦在理解、思考和決定時(shí)按照貝葉斯算法運行。十一月時(shí)，科學(xué)家和哲學(xué)家們在紐約大學(xué)的一個(gè)名為“大腦是貝葉斯的嗎?”的會(huì )議上探討了這種可能性。
狂熱信徒們堅信如果我們中更多人有意識地使用貝葉斯推斷(而不是大腦無(wú)意識的貝葉斯過(guò)程)，世界將會(huì )更好。在“貝葉斯的一個(gè)直觀(guān)解釋”理論中，AI理論學(xué)家Eliezer Yudkowsky承認了這種狂熱的激情。
“為什么一個(gè)數學(xué)概念會(huì )產(chǎn)生這種奇怪的熱情?這種席卷科學(xué)界，號稱(chēng)甚至包括實(shí)驗性方法本身作為一個(gè)特例的所謂貝葉斯革命是什么?貝葉斯信徒知道的秘密是什么?他們看到的光是什么?很快你就會(huì )知道，很快你就會(huì )成為我們之中的一員?！盰udkowsky是在開(kāi)玩笑，還是別的?
鑒于這嘈雜的一切，我試圖到達貝葉斯的最底端，一勞永逸。在網(wǎng)絡(luò )上無(wú)數的解釋中，我發(fā)現一些特別有幫助，包括Yudkowsky的文章，維基百科條目，以及由哲學(xué)家Curtis Brown、計算機科學(xué)家Oscar Bonilla和Kalid Azad提出的較短的片段。在這篇文章中，我將嘗試解釋——主要是出于我自己的目的——什么是貝葉斯。
以其發(fā)明者的名字，18世紀長(cháng)老教會(huì )牧師Thomas Bayes命名，貝葉斯定理是一種基于最佳可用證據(觀(guān)察、數據、信息)計算信念效力(假設、主張、命題)的方法。這是最簡(jiǎn)化的描述：初始信念加上新證據等于新的改進(jìn)信念。
還有一個(gè)更全面的版本：給定新證據時(shí)信念是真實(shí)的概率等于不考慮證據時(shí)信念為真的概
率乘以給定信念為真時(shí)證據為真的概率除以不考慮信念時(shí)證據為真的概率。明白了嗎?
基本的數學(xué)公式是這個(gè)樣子：P(B|E) = P(B) x P(E|B) / P(E)，其中P表示概率，E表示信念，E表示證據。P(B)是B為真的概率，而P(E)是E為真的概率。P(B|E)的意思是如果E為真時(shí)B的概率，P(E|B)則是B為真時(shí)E的概率。
醫學(xué)檢查經(jīng)常被用來(lái)說(shuō)明這個(gè)公式。假設接受癌癥的檢查，癌癥在同年齡的人中的發(fā)病率為1%。如果這個(gè)測試100%可靠，那么不需要貝葉斯定理去理解測試陽(yáng)性意味著(zhù)什么，但是讓我們仍然使用定理看看它是如何工作的。
為了解出P(B|E)，把數據代入貝葉斯等式的右邊。P(B)，也就是在檢查之前患有癌癥的概率，是1%，或者說(shuō)0.01。P(E)的值也一樣，它是檢查結果為陽(yáng)性的概率。由于它們分別在分子和分母上，互相約去，留下P(B|E) = P(E|B) = 1。如果檢查結果是陽(yáng)性，那么一定得了癌癥，反之亦然。
在真實(shí)的世界中，檢查很少完全可靠。因此假設檢查可靠性是99%，也就是說(shuō)，100個(gè)癌癥患者中有99個(gè)檢查結果陽(yáng)性，100個(gè)健康人中有99個(gè)檢查結果陰性。這仍然是個(gè)不錯的檢查。如果結果陽(yáng)性，有多大可能得了癌癥?
現在貝葉斯定理顯示出它的力量了。大多數人認為答案是99%，或者很接近這個(gè)數字。這正是檢查的可靠性，對吧?但是由貝葉斯定理得出的正確答案只有50%。
將數據代入貝葉斯等式的右邊以找到原因。P(B)仍然是0.01，得癌癥而且結果陽(yáng)性的概率，也就是P(E|B)，現在是0.99。因此P(B)乘以P(E|B)等于0.01乘以0.99，即0.0099。這是得到真陽(yáng)性結果，顯示陽(yáng)性結果中得癌癥的概率。
分母P(E)是什么?這就是事情有意思的地方。P(E)是無(wú)論是否得癌癥時(shí)結果陽(yáng)性的概率，換句話(huà)說(shuō)，它包括假陽(yáng)性和真陽(yáng)性。
為了計算假陽(yáng)性的概率，你用假陽(yáng)性率，也就是1%，或者0.01，乘以沒(méi)有癌癥的人群百分比0.99。結果是0.0099。是的，你很了不起，99%準確率的檢查得到的假陽(yáng)性和真陽(yáng)性一樣多。
讓我們完成計算。為得到P(E)，將真陽(yáng)性和假陽(yáng)性相加，總和為0.0198，然后除以0.0099，得到0.5。所以再說(shuō)一次，檢查結果陽(yáng)性時(shí)你得癌癥的概率P(B|E)是50%。
如果再檢查一次，可以極大地減少不確定性，因為你得癌癥的概率P(B)現在是50%，而不是1%。如果第二次結果仍然是陽(yáng)性，貝葉斯定理告訴你得癌癥的概率現在是99%，或者0.99。像這個(gè)例子顯示的這樣，迭代貝葉斯定理可以得到非常精確的信息。
但是如果檢查可靠性是90%，這看起來(lái)仍然挺不錯，但即使兩次檢查結果都是陽(yáng)性，確實(shí)得癌癥的也仍然小于50%。(在這篇博文中的手工計算檢查我的數學(xué)。)
大多數人，包括醫生，都很難理解這些奇怪之處，這有助于解釋為什么我們過(guò)度診斷和過(guò)度治療癌癥和其他疾病。這個(gè)例子表明貝葉斯是正確的：如果更多人——或者至少更多醫療保健消費者與提供者——使用貝葉斯推斷，世界確實(shí)會(huì )變得更好。
另一方面，貝葉斯定理只是常識的匯編。就像Yudkowsky在他的教程結尾寫(xiě)的那樣：“在這一點(diǎn)上，貝葉斯定理似乎非常明顯且重復，而不是新穎而令人興奮的。如果是這樣，這份概述在它的目的上已經(jīng)全然成功?！?div style="height:15px;">
考慮癌癥檢查的例子，貝葉斯定理表明結果陽(yáng)性時(shí)得癌癥的概率是真陽(yáng)性的概率除以所有陽(yáng)性的概率，包括假陽(yáng)性和真陽(yáng)性。簡(jiǎn)言之，要小心假陽(yáng)性誤報。
這里是我對該原則更一般性的陳述：你的信念可信性取決于你的信念——只是你的信念——解釋證據的程度。證據的替代性解釋越多，你的信念越不可信。對我來(lái)說(shuō)，這就是貝葉斯定理的本質(zhì)。
“替代性解釋”可以包含很多東西。你的證據可能是錯誤的，可能被一個(gè)儀器故障所歪曲，可能是錯誤分析、證實(shí)偏見(jiàn)甚至欺詐。你的證據可能很合理，但是可以解釋很多信念或者假設，不僅是你的。換句話(huà)說(shuō)，貝葉斯定理沒(méi)什么神奇的。它歸結為你的信念只為它的證據所證實(shí)。如果你有很好的證據，貝葉斯定理可以產(chǎn)生很好的結果。如果你的證據站不住腳，貝葉斯定理也不會(huì )有多大用處。進(jìn)來(lái)的是垃圾，出去的還是垃圾。
貝葉斯定理可能的濫用從P(B)開(kāi)始，也就是對信念概率的初始估計，往往被稱(chēng)為“先驗”。在上面的癌癥檢查例子中，我們有一個(gè)很棒的精確先驗概率1%，或者說(shuō)0.01，作為癌癥的流行程度。在真實(shí)世界中，專(zhuān)家會(huì )爭論如何對癌癥患者診斷和計數。先驗概率通常由一系列概率組成，而不是單個(gè)數字。
在很多案例中，估計先驗概率只是猜測，允許主觀(guān)因素進(jìn)入到計算中。你可能會(huì )猜測某些事情——不像癌癥——的概率根本不存在，例如弦，多重宇宙，通貨膨脹或上帝。然后，你可能會(huì )用可疑的證據支持你可疑的信念。在這種情況下，貝葉斯定理可能和推理一樣促進(jìn)了偽科學(xué)和迷信。
包含在貝葉斯定理中的是一個(gè)道德訊息：如果不細心尋找你的證據的替代解釋?zhuān)C據將只能確認你已經(jīng)相信的?？茖W(xué)家往往未能注意到這一格言，這可以解釋為什么這么多科學(xué)主張被證明是錯誤的。貝葉斯聲稱(chēng)他們的方法可以幫助科學(xué)家們克服證實(shí)偏見(jiàn)并產(chǎn)生更可靠的結果，但是我有一些疑問(wèn)。
如我在前面所說(shuō)的，一些弦理論和多重宇宙愛(ài)好者正在擁抱貝葉斯分析。為什么?因為愛(ài)好者們已經(jīng)受夠了聽(tīng)到弦理論和多重宇宙無(wú)法證偽因此不科學(xué)這樣的說(shuō)法，而貝葉斯定理允許他們把這些理論展示在更有利的光線(xiàn)下。這時(shí)，貝葉斯定理遠非反對證實(shí)偏見(jiàn)，而是使它成為可能。
科學(xué)作家Faye Flam最近在《紐約時(shí)報》上發(fā)表文章，貝葉斯統計“不能從壞科學(xué)中拯救我們?！必惾~斯定理是一個(gè)萬(wàn)能工具，可以為任何事業(yè)服務(wù)。哈佛大學(xué)著(zhù)名貝葉斯統計學(xué)家Donald Rubin為面臨吸煙傷害訴訟的煙草公司擔任顧問(wèn)。
我仍然為貝葉斯定理著(zhù)迷。它讓我想起了進(jìn)化論，另一個(gè)似乎是簡(jiǎn)單重復或者驚人深刻的想法，這取決于你如何看待它，而且它同樣激發(fā)了大量無(wú)意義廢話(huà)以及深遠見(jiàn)解。
也許這是因為我的大腦是貝葉斯的，但是我已經(jīng)發(fā)現貝葉斯的暗喻無(wú)處不在。當最近在我的Kindle上瀏覽Edgar Allen Poe全集時(shí)，我偶然在The Narrative of Arthur Gordon Pym of Nantucket中看到這個(gè)句子：“無(wú)關(guān)純粹的偏見(jiàn)，贊成或者反對，我們使用全部確定性作出推斷，哪怕是最簡(jiǎn)單的數據?！?div style="height:15px;">
End.
