| 數據倉庫，數據庫或者其它信息庫中隱藏著(zhù)許多可以為商業(yè)、科研等活動(dòng)的決策提供所需要的知識。分類(lèi)與預測是兩種數據分析形式，它們可以用來(lái)抽取能夠描述重要數據集合或預測未來(lái)數據趨勢的模型。分類(lèi)方法（Classification）用于預測數據對象的離散類(lèi)別（Categorical Label）；預測方法（Prediction ）用于預測數據對象的連續取值。 分類(lèi)技術(shù)在很多領(lǐng)域都有應用，例如可以通過(guò)客戶(hù)分類(lèi)構造一個(gè)分類(lèi)模型來(lái)對銀行貸款進(jìn)行風(fēng)險評估；當前的市場(chǎng)營(yíng)銷(xiāo)中很重要的一個(gè)特點(diǎn)是強調客戶(hù)細分?？蛻?hù)類(lèi)別分析的功能也在于此，采用數據挖掘中的分類(lèi)技術(shù)，可以將客戶(hù)分成不同的類(lèi)別，比如呼叫中心設計時(shí)可以分為：呼叫頻繁的客戶(hù)、偶然大量呼叫的客戶(hù)、穩定呼叫的客戶(hù)、其他，幫助呼叫中心尋找出這些不同種類(lèi)客戶(hù)之間的特征，這樣的分類(lèi)模型可以讓用戶(hù)了解不同行為類(lèi)別客戶(hù)的分布特征；其他分類(lèi)應用如文獻檢索和搜索引擎中的自動(dòng)文本分類(lèi)技術(shù)；安全領(lǐng)域有基于分類(lèi)技術(shù)的入侵檢測等等。機器學(xué)習、專(zhuān)家系統、統計學(xué)和神經(jīng)網(wǎng)絡(luò )等領(lǐng)域的研究人員已經(jīng)提出了許多具體的分類(lèi)預測方法。下面對分類(lèi)流程作個(gè)簡(jiǎn)要描述： 訓練：訓練集——>特征選取——>訓練——>分類(lèi)器 分類(lèi)：新樣本——>特征選取——>分類(lèi)——>判決 最初的數據挖掘分類(lèi)應用大多都是在這些方法及基于內存基礎上所構造的算法。目前數據挖掘方法都要求具有基于外存以處理大規模數據集合能力且具有可擴展能力。下面對幾種主要的分類(lèi)方法做個(gè)簡(jiǎn)要介紹： （1）決策樹(shù) 決策樹(shù)歸納是經(jīng)典的分類(lèi)算法。它采用自頂向下遞歸的各個(gè)擊破方式構造決策樹(shù)。樹(shù)的每一個(gè)結點(diǎn)上使用信息增益度量選擇測試屬性?？梢詮纳傻臎Q策樹(shù)中提取規則。 (2) KNN法(K-Nearest Neighbor) KNN法即K最近鄰法，最初由Cover和Hart于1968年提出的，是一個(gè)理論上比較成熟的方法。該方法的思路非常簡(jiǎn)單直觀(guān)：如果一個(gè)樣本在特征空間中的k個(gè)最相似(即特征空間中最鄰近)的樣本中的大多數屬于某一個(gè)類(lèi)別，則該樣本也屬于這個(gè)類(lèi)別。該方法在定類(lèi)決策上只依據最鄰近的一個(gè)或者幾個(gè)樣本的類(lèi)別來(lái)決定待分樣本所屬的類(lèi)別。 KNN方法雖然從原理上也依賴(lài)于極限定理，但在類(lèi)別決策時(shí)，只與極少量的相鄰樣本有關(guān)。因此，采用這種方法可以較好地避免樣本的不平衡問(wèn)題。另外，由于KNN方法主要靠周?chē)邢薜泥徑臉颖?，而不是靠判別類(lèi)域的方法來(lái)確定所屬類(lèi)別的，因此對于類(lèi)域的交叉或重疊較多的待分樣本集來(lái)說(shuō)，KNN方法較其他方法更為適合。 該方法的不足之處是計算量較大，因為對每一個(gè)待分類(lèi)的文本都要計算它到全體已知樣本的距離，才能求得它的K個(gè)最近鄰點(diǎn)。目前常用的解決方法是事先對已知樣本點(diǎn)進(jìn)行剪輯，事先去除對分類(lèi)作用不大的樣本。另外還有一種Reverse KNN法，能降低KNN算法的計算復雜度，提高分類(lèi)的效率。 該算法比較適用于樣本容量比較大的類(lèi)域的自動(dòng)分類(lèi)，而那些樣本容量較小的類(lèi)域采用這種算法比較容易產(chǎn)生誤分。 (3) SVM法 SVM法即支持向量機(Support Vector Machine)法，由Vapnik等人于1995年提出，具有相對優(yōu)良的性能指標。該方法是建立在統計學(xué)習理論基礎上的機器學(xué)習方法。通過(guò)學(xué)習算法，SVM可以自動(dòng)尋找出那些對分類(lèi)有較好區分能力的支持向量，由此構造出的分類(lèi)器可以最大化類(lèi)與類(lèi)的間隔，因而有較好的適應能力和較高的分準率。該方法只需要由各類(lèi)域的邊界樣本的類(lèi)別來(lái)決定最后的分類(lèi)結果。 支持向量機算法的目的在于尋找一個(gè)超平面H(d),該超平面可以將訓練集中的數據分開(kāi)，且與類(lèi)域邊界的沿垂直于該超平面方向的距離最大，故SVM法亦被稱(chēng)為最大邊緣(maximum margin)算法。待分樣本集中的大部分樣本不是支持向量，移去或者減少這些樣本對分類(lèi)結果沒(méi)有影響，SVM法對小樣本情況下的自動(dòng)分類(lèi)有著(zhù)較好的分類(lèi)結果。 (4) VSM法 VSM法即向量空間模型(Vector Space Model)法，由Salton等人于60年代末提出。這是最早也是最出名的信息檢索方面的數學(xué)模型。其基本思想是將文檔表示為加權的特征向量：D=D(T1，W1；T2，W2；…；Tn，Wn)，然后通過(guò)計算文本相似度的方法來(lái)確定待分樣本的類(lèi)別。當文本被表示為空間向量模型的時(shí)候，文本的相似度就可以借助特征向量之間的內積來(lái)表示。 在實(shí)際應用中，VSM法一般事先依據語(yǔ)料庫中的訓練樣本和分類(lèi)體系建立類(lèi)別向量空間。當需要對一篇待分樣本進(jìn)行分類(lèi)的時(shí)候，只需要計算待分樣本和每一個(gè)類(lèi)別向量的相似度即內積，然后選取相似度最大的類(lèi)別作為該待分樣本所對應的類(lèi)別。 由于VSM法中需要事先計算類(lèi)別的空間向量，而該空間向量的建立又很大程度的依賴(lài)于該類(lèi)別向量中所包含的特征項。根據研究發(fā)現，類(lèi)別中所包含的非零特征項越多，其包含的每個(gè)特征項對于類(lèi)別的表達能力越弱。因此，VSM法相對其他分類(lèi)方法而言，更適合于專(zhuān)業(yè)文獻的分類(lèi)。 (5) Bayes法 Bayes法是一種在已知先驗概率與類(lèi)條件概率的情況下的模式分類(lèi)方法，待分樣本的分類(lèi)結果取決于各類(lèi)域中樣本的全體。 設訓練樣本集分為M類(lèi)，記為C=｛c1，…，ci，…cM}，每類(lèi)的先驗概率為P(ci)，i=1，2，…，M。當樣本集非常大時(shí)，可以認為P(ci)=ci類(lèi)樣本數/總樣本數。對于一個(gè)待分樣本X，其歸于cj類(lèi)的類(lèi)條件概率是P(X/ci)，則根據Bayes定理，可得到cj類(lèi)的后驗概率P(ci/X)： P(ci/x)=P(x/ci)·P(ci)/P(x)(1) 若P(ci/X)=MaxjP(cj/X)，i=1，2，…，M，j=1，2，…，M，則有x∈ci(2) 式(2)是最大后驗概率判決準則，將式(1)代入式(2)，則有： 若P(x/ci)P(ci)=Maxj［P(x/cj)P(cj)］，i=1，2，…，M，j=1，2，…，M，則x∈ci 這就是常用到的Bayes分類(lèi)判決準則。經(jīng)過(guò)長(cháng)期的研究，Bayes分類(lèi)方法在理論上論證得比較充分，在應用上也是非常廣泛的。 Bayes方法的薄弱環(huán)節在于實(shí)際情況下，類(lèi)別總體的概率分布和各類(lèi)樣本的概率分布函數(或密度函數)常常是不知道的。為了獲得它們，就要求樣本足夠大。另外，Bayes法要求表達文本的主題詞相互獨立，這樣的條件在實(shí)際文本中一般很難滿(mǎn)足，因此該方法往往在效果上難以達到理論上的最大值。 （6）神經(jīng)網(wǎng)絡(luò ) 神經(jīng)網(wǎng)絡(luò )分類(lèi)算法的重點(diǎn)是構造閾值邏輯單元，一個(gè)值邏輯單元是一個(gè)對象，它可以輸入一組加權系數的量，對它們進(jìn)行求和，如果這個(gè)和達到或者超過(guò)了某個(gè)閾值，輸出一個(gè)量。如有輸入值X1, X2, ..., Xn 和它們的權系數：W1, W2, ..., Wn，求和計算出的 Xi*Wi ，產(chǎn)生了激發(fā)層 a = (X1 * W1)+(X2 * W2)+...+(Xi * Wi)+...+ (Xn * Wn)，其中Xi 是各條記錄出現頻率或其他參數，Wi是實(shí)時(shí)特征評估模型中得到的權系數。神經(jīng)網(wǎng)絡(luò )是基于經(jīng)驗風(fēng)險最小化原則的學(xué)習算法，有一些固有的缺陷，比如層數和神經(jīng)元個(gè)數難以確定，容易陷入局部極小，還有過(guò)學(xué)習現象，這些本身的缺陷在SVM算法中可以得到很好的解決。 | 
