支持向量機是一種監督式學(xué)習的方法，它廣泛的應用于統計分類(lèi)以及回歸分析中. 支持向量機屬于一般化線(xiàn)性分類(lèi)器.他們也可以認為是提克洛夫規則化（Tikhonov Regularization）方法的一個(gè)特例.這族分類(lèi)器的特點(diǎn)是他們能夠同時(shí)最小化經(jīng)驗誤差與最大化幾何邊緣區.因此支持向量機也被稱(chēng)為最大邊緣區分類(lèi)器.

目錄 [隱藏] 1 介紹 1.1 動(dòng)機 1.2 問(wèn)題定義 1.3 原型 1.4 對偶型(Dual Form) 2 軟間隔 3 非線(xiàn)性分類(lèi) 4 回歸 4.1 實(shí)現 5 參見(jiàn) 6 參考書(shū)目 7 外部鏈接 7.1 概念 7.2 軟件 7.3 互動(dòng) SVM 應用

[編輯] 介紹

支持向量機將向量映射到一個(gè)更高維的空間里，在這個(gè)空間里建立有一個(gè)最大間隔超平面。在分開(kāi)數據的超平面的兩邊建有兩個(gè)互相平行的超平面。分隔超平面使兩個(gè)平行超平面的距離最大化。假定平行超平面間的距離或差距越大，分類(lèi)器的總誤差越小。一個(gè)極好的指南是C.J.C Burges的《模式識別支持向量機指南》。van der Walt 和 Barnard 將支持向量機和其他分類(lèi)器進(jìn)行了比較。

[編輯] 動(dòng)機

我們通常希望分類(lèi)的過(guò)程是一個(gè)機器學(xué)習的過(guò)程。這些數據點(diǎn)并不需要是

中的點(diǎn)，而可以是任意(統計學(xué)符號)中或者 (計算機科學(xué)符號) 的點(diǎn).我們希望能夠把這些點(diǎn)通過(guò)一個(gè)n-1維的超平面分開(kāi).通常這個(gè)被稱(chēng)為線(xiàn)性分類(lèi)器.有很多分類(lèi)器都符合這個(gè)要求.但是我們還希望找到分類(lèi)最佳的平面，即使得屬于兩個(gè)不同類(lèi)的數據點(diǎn)間隔最大的那個(gè)面，該面亦稱(chēng)為最大間隔超平面.如果我們能夠找到這個(gè)面，那么這個(gè)分類(lèi)器就稱(chēng)為最大間隔分類(lèi)器.

[編輯] 問(wèn)題定義

我們考慮以下形式的樣本點(diǎn)

其中c_i為1或−1 --用以表示數據點(diǎn)屬于哪個(gè)類(lèi).

是一個(gè)p − (統計學(xué)符號), 或 n − (計算機科學(xué)符號) 維向量，其每個(gè)元素都被縮放到[0,1]或[-1,1].縮放的目的是防止方差大的隨機變量主導分類(lèi)過(guò)程.我們可以把這些數據稱(chēng)為訓練數據,希望我們的支持向量機能夠通過(guò)一個(gè)超平面正確的把他們分開(kāi).超平面的數學(xué)形式可以寫(xiě)作

根據幾何知識,我們知道

向量垂直于分類(lèi)超平面.加入位移b的目的是增加間隔.如果沒(méi)有b的話(huà),那超平面將不得不通過(guò)原點(diǎn),限制了這個(gè)方法的靈活性.

由于我們要求最大間隔,因此我們需要知道支持向量以及(與最佳超平面)平行的并且離支持向量最近的超平面.我們可以看到這些平行超平面可以由方程族

來(lái)表示.

如果這些訓練數據是線(xiàn)性可分的,那就可以找到這樣兩個(gè)超平面,在它們之間沒(méi)有任何樣本點(diǎn)并且這兩個(gè)超平面之間的距離也最大.通過(guò)幾何不難得到這兩個(gè)超平面之間的距離是 1/2|w|,因此我們需要最小化 |w|. 同時(shí)為了使得樣本數據點(diǎn)都在超平面的間隔區以外,我們需要保證對于所有的 i 滿(mǎn)足其中的一個(gè)條件

這兩個(gè)式子可以寫(xiě)作:

[編輯] 原型

現在尋找最佳超平面這個(gè)問(wèn)題就變成了在(1)這個(gè)約束條件下最小化|w|.這是一個(gè)二次規劃QP(quadratic programming)最優(yōu)化中的問(wèn)題.

更清楚的，它可以表示如下

最小化

, 滿(mǎn)足

.

1/2 這個(gè)因子是為了數學(xué)上表達的方便加上的.

[編輯] 對偶型(Dual Form)

把原型的分類(lèi)規則寫(xiě)作對偶型，可以看到分類(lèi)器其實(shí)是一個(gè)關(guān)于支持向量（即那些在間隔區邊緣的訓練樣本點(diǎn)）的函數。

支持向量機的對偶型如下：

并滿(mǎn)足α_i > = 0

[編輯] 軟間隔

1995年, Corinna Cortes 與Vapnik 提出了一種改進(jìn)的最大間隔區方法,這種方法可以處理標記錯誤的樣本. 如果可區分正負例的超平面不存在，則“軟邊界”將選擇一個(gè)超平面盡可能清晰地區分樣本，同時(shí)使其與分界最清晰的樣本的距離最大化。這一成果使術(shù)語(yǔ)“支持向量機”（或“SVM”）得到推廣。這種方法引入了松馳參數ξ_i以衡量對數據x_i的誤分類(lèi)度。

.

隨后，將目標函數與一個(gè)針對非0ξ_i的懲罰函數相加，在增大間距和縮小錯誤懲罰兩大目標之間進(jìn)行權衡優(yōu)化。如果懲罰函數是一個(gè)線(xiàn)性函數，則等式(3)變形為

[編輯] 非線(xiàn)性分類(lèi)