| 對于很多分類(lèi)問(wèn)題，例如最簡(jiǎn)單的，一個(gè)平面上的兩類(lèi)不同的點(diǎn)，如何將它用一條直線(xiàn)分開(kāi)？在平面上我們可能無(wú)法實(shí)現，但是如果通過(guò)某種映射，將這些點(diǎn)映射到其它空間（比如說(shuō)球面上等），我們有可能在另外一個(gè)空間中很容易找到這樣一條所謂的“分隔線(xiàn)”，將這些點(diǎn)分開(kāi)。 SVM基本上就是這樣的原理，但是SVM本身比較復雜，因為它不僅僅是應用于平面內點(diǎn)的分類(lèi)問(wèn)題。SVM的一般做法是：將所有待分類(lèi)的點(diǎn)映射到“高維空間”，然后在高維空間中找到一個(gè)能將這些點(diǎn)分開(kāi)的“超平面”，這在理論上是被完全證明了是成立的，而且在實(shí)際計算中也是可行的。 但是僅僅找到超平面是不夠的，因為在通常的情況下，滿(mǎn)足條件的“超平面”的個(gè)數不是唯一的。SVM 需要的是利用這些超平面，找到這兩類(lèi)點(diǎn)之間的“最大間隔”。為什么要找到最大間隔呢？我想這與SVM的“推廣能力”有關(guān)，因為分類(lèi)間隔越大，對于未知點(diǎn)的 判斷會(huì )越準確，也可以說(shuō)是“最大分類(lèi)間隔”決定了“期望風(fēng)險”，總結起來(lái)就是：SVM要求分類(lèi)間隔最大，實(shí)際上是對推廣能力的控制。 我想說(shuō)到SVM的基本原理，有兩個(gè)概念不能不提到，一個(gè)就是上面說(shuō)到的“最大分類(lèi)間隔面”，另一個(gè)是關(guān)于“VC”的概念。最大分類(lèi)間隔面比較好懂，從字面上也能知道它的大致含義。但是VC維的概念，我有必要在這里著(zhù)重說(shuō)一下。 VC維（Vapnik-Chervonenkis Dimension）的概念是為了研究學(xué)習過(guò)程一致收斂的速度和推廣性，由統計學(xué)習理論定義的有關(guān)函數集學(xué)習性能的一個(gè)重要指標。 傳統的定義是：對一個(gè)指標函數集，如果存在H 個(gè)樣本能夠被函數集中的函數按所有可能的2的K次方種形式分開(kāi)，則稱(chēng)函數集能夠把H個(gè)樣本打散；函數集的VC維就是它能打散的最大樣本數目H。若對任意數 目的樣本都有函數能將它們打散，則函數集的VC維是無(wú)窮大，有界實(shí)函數的VC維可以通過(guò)用一定的閥值將它轉化成指示函數來(lái)定義。 VC維反映了函數集的學(xué)習能力，VC維越大則學(xué)習機器越復雜（容量越大），遺憾的是，目前尚沒(méi)有通用的關(guān)于任意函數集VC維計算的理論，只對一些特殊的函數集知道其VC維。例如在N維空間中線(xiàn)形分類(lèi)器和線(xiàn)形實(shí)函數的VC維是n+1。 |
聯(lián)系客服
