我們在之前發(fā)布多篇文章深入講解了貝葉斯思想、貝葉斯定理，對于貝葉斯定理體現的哲學(xué)思想、數學(xué)思想以及推理過(guò)程深刻挖掘，從不同角度予以理解其中的精妙之處。本文通過(guò)分析貝葉斯在線(xiàn)性回歸中的應用，來(lái)理解貝葉斯在實(shí)際中的應用。

在貝葉斯觀(guān)點(diǎn)中，我們使用概率分布而不是點(diǎn)估計來(lái)表示線(xiàn)性回歸。我們估計響應y不是估計單個(gè)值，而是估計概率分布，即它是從哪個(gè)分布中得出的。就是貝葉斯應用于線(xiàn)性回歸的關(guān)鍵觀(guān)點(diǎn)。

貝葉斯線(xiàn)性回歸相比于一般線(xiàn)性回歸到底有什么好處，它的本質(zhì)到底是什么？本文通過(guò)引入復雜度例子開(kāi)始，講解最小二乘法、極大似然法算法的優(yōu)劣，最后引入貝葉斯線(xiàn)性回歸，探究其機理，闡述其優(yōu)點(diǎn)，推演出其本質(zhì)！

復雜度

線(xiàn)性回歸多項形式如下：

其模型復雜度為M,我們看看隨著(zhù)模型復雜度的增加，模型擬合sin(2pix)的效果。

下面就是當M=0,1,3,9時(shí)擬合數據的情況，當M=0時(shí)，是一條水平直線(xiàn)，M=1時(shí)一條斜的直線(xiàn)，當M=3時(shí)，接近擬合數據，但當M=9時(shí)，出現過(guò)擬合。

通過(guò)這個(gè)例子，對于線(xiàn)性回歸，模型復雜度是很重要，與避免欠擬合和過(guò)擬合密切相關(guān)，而這個(gè)復雜度是不好把握的。

最小二乘法回歸

Y= Xβ+ε

哪里Y是我們想要預測的輸出（或因變量），X是我們的預測器（或自變量）和β是我們想要估計的模型的系數（或參數）。ε是一個(gè)誤差項，假設是正態(tài)分布的。

然后我們可以使用普通最小二乘來(lái)找到最佳擬合β,那么其損失函數為：

最小化這個(gè)函數有封閉形式的解：

最小二乘法沒(méi)有考慮模型復雜度。

極大似然回歸

仍然假設：

Y= XW+ε

?是隨機誤差，服從高斯分布?～N(0,σ2)。 我們要求的 P(Yi|Xi,W)，這是先驗概率，也就是在給定Xi、W條件下，目標值Yi的概率。概率越大，誤差就應該越小。換個(gè)表達方式，就是?接近于中心值0的概率越大，這正好與?～N(0,σ2)高斯分布的意義不謀而合。所以：

代入高斯分布概率密度函數中：

因為 Xi是相互獨立的，所以:

化簡(jiǎn)：

第一項是常數，最大化極大似然函數，就是最小化：

這個(gè)和最小二乘法的結果是一樣的。

極大似然法仍然沒(méi)有拷量模型復雜度。

MLE的缺點(diǎn)：

參數w的極大似然估計并不涉及模型復雜度,它完全由數據大小n控制。而使用貝葉斯方法可以更好地處理模型復雜度和過(guò)擬合。

使用貝葉斯規則，后驗與Likelihood × Prior成正比：

先驗p（w）是高斯分布，似然p（t | w）是基于噪聲模型的高斯

貝葉斯估計有兩個(gè)關(guān)鍵優(yōu)勢：

第一、先驗：我們可以通過(guò)在參數上放置先驗來(lái)量化我們可能擁有的任何先驗知識。例如，如果我們認為σ 可能很小，我們會(huì )選擇一個(gè)先前的概率質(zhì)量較低的值。

第二、量化不確定性：我們不是得到參數W的的單一估計，而是完全后驗分布，關(guān)于W的不同值的可能性。例如，數據點(diǎn)很少，我們的W不確定性將是非常高，這樣我們會(huì )充分利用數據，并且，會(huì )得到非常廣泛的后驗，解釋面更寬。

貝葉斯線(xiàn)性回歸

先驗參數分布是高斯分布

假設w的多元高斯先驗（其具有分量w0,..,wM-1）

p(w) =N (w|m0 , S0)

其平均值為m0和協(xié)方差矩陣S0

如果我們選擇S0=α ^-1，則意味著(zhù)權重的方差都等于α ^-1?，協(xié)方差為零

數據的似然分布是高斯分布

假設噪聲精度參數β，設線(xiàn)性回歸實(shí)際函數t = y(x,w)+ε其中ε被概率地定義為高斯噪聲p(t|x,w,β)=N(t|y(x,w),β^-1),輸出t是標量

這是給定參數w和輸入X = {x1，..，xN}的目標數據的概率,由于高斯噪聲，似然p（t | w）也是高斯噪聲

后驗分布也是高斯分布

邊緣分布p(w) 和條件分布p(t|w) 有高斯分布的形式，那么邊緣分布p(t) and 條件分布p(w|t) 也是高斯。

后驗分布的確切形式

我們設定先驗參數分布的均值為0，有相同的方差，協(xié)方差為零。

拿二維舉例，如下：

其概率密度分布圖像為：

后驗服從高斯分布，那么有以下形式：

通過(guò)貝葉斯定理，由前邊的先驗、似然，可化簡(jiǎn)為高斯形式，可求得到：

貝葉斯線(xiàn)性回歸與正則化MLE的等價(jià)性

似然：

先驗：

注意這里的α、β，是高斯分布的精確度

進(jìn)而由貝葉斯定理求得：

對數似然函數：

見(jiàn)證奇跡的時(shí)刻出現了，大家熟不熟悉這個(gè)形式??？這不就是L2正則化形式的MLE么！

因此，后驗的最大化等效于添加二次正則化項wTw（λ=α/β）的最小化平方和誤差。

其中，似然函數部分對應于損失函數（經(jīng)驗風(fēng)險），而先驗概率部分對應于正則項。L2正則，等價(jià)于滿(mǎn)足高斯分布的參數w的先驗概率。