概念:
間數據挖掘是指從空間數據庫中抽取沒(méi)有清楚表現出來(lái)的隱含的知識和空間關(guān)系,并發(fā)現其中有用的特征和模式的理論、方法和技術(shù)。
嚴格地說(shuō),這一學(xué)科采用空間數據挖掘和知識發(fā)現(SDMKD)這一名稱(chēng)更為確切。事實(shí)上,空間數據挖掘和知識發(fā)現的過(guò)程大致可分為以下多個(gè)步驟:數據準備、數據選擇、數據預處理、數據縮減或者數據變換、確定數據挖掘目標、確定知識發(fā)現算法、數據挖掘、模式解釋、知識評價(jià)等,而數據挖掘只是其中的一個(gè)關(guān)鍵步驟。但是為了簡(jiǎn)便,人們常常用空間數據挖掘來(lái)代替空間數據挖掘和知識發(fā)現。
空間數據的特點(diǎn)
空間數據挖掘是數據挖掘學(xué)科的一個(gè)重要分支,但它與普遍意義上的數據挖掘又有很大的差別,這是由空間數據固有的特點(diǎn)及其復雜性所決定的。
空間數據與其他類(lèi)型數據的本質(zhì)區別是其空間屬性??臻g屬性包括空間位置、距離、幾何形狀、大小等內容,并且可引伸為空間個(gè)體之間的相互關(guān)系,如拓撲關(guān)系、方位關(guān)系、度量關(guān)系等,從而使得空間數據比其他類(lèi)型的數據要更為復雜,主要表現在:空間屬性之間的非線(xiàn)性關(guān)系;空間數據的多尺度特征,即空間數據在不同觀(guān)察層次上所遵循的規律以及所體現出的特征不盡相同;空間信息的不確定性,空間位置、空間相關(guān)性及其他屬性均可能存在不確定性;空間數據屬性空間的高維數,與空間數據相關(guān)聯(lián)的可能很多(如遙感傳感器波段的數目可能多達上百個(gè)),從而使屬性空間的維數非常之高;空間數據的不完備性,在數據獲取和加工過(guò)程中,都有可能發(fā)生數據丟失或者無(wú)法獲取的現象,導致空間數據缺失的現象非常嚴重;海量數據,空間數據庫或數據倉庫中存儲著(zhù)各種類(lèi)型的柵格數據、矢量數據、空間個(gè)體的屬性數據等,其數據量異常巨大。 空間數據的這些特點(diǎn)使其中隱含著(zhù)更多、更為復雜的知識,因而也使空間數據挖掘的研究更加困難和更具挑戰性。
空間數據挖掘的任務(wù)
空間數據挖掘的任務(wù)可以概括如下: 在空間數據庫和數據倉庫的基礎上,綜合利用統計學(xué)、模式識別、人工智能、粗集、模糊數學(xué)、機器學(xué)習、專(zhuān)家系統、可視化等領(lǐng)域的相關(guān)技術(shù)和方法,以及其他相關(guān)的信息技術(shù)手段,從大量的空間數據、管理數據、經(jīng)營(yíng)數據或遙感數據中析取出可信的、新穎的、感興趣的、隱藏的、事先未知的、潛在有用的和最終可理解的知識,從而揭示出蘊含在空間數據背后客觀(guān)世界的本質(zhì)規律、內在聯(lián)系和發(fā)展趨勢,實(shí)現知識的自動(dòng)或半自動(dòng)獲取,為管理和經(jīng)營(yíng)決策提供依據(李德仁,2001年)。簡(jiǎn)言之,空間數據挖掘的任務(wù)就是要從空間數據庫和數據倉庫發(fā)現知識,并提供相關(guān)的決策支持。那么,我們究竟希望從中發(fā)現哪些類(lèi)型的知識呢?
一般而言,從空間數據庫和數據倉庫中可能發(fā)現的知識類(lèi)型包括以下幾種類(lèi)型:
普遍的幾何知識,即某類(lèi)目標的數量、大小、形態(tài)特征等普遍的幾何特征;
規則型知識,即包括空間關(guān)聯(lián)規則、空間特征規則、空間區分規則和演變規則等在內的知識,可用產(chǎn)生式規則、語(yǔ)義網(wǎng)絡(luò )、模擬表示及其他可能的方法來(lái)加以表示;
空間聚類(lèi)與分類(lèi)知識,是指將特征相近的空間對象進(jìn)行聚類(lèi)或者分類(lèi)處理,進(jìn)而對空間對象進(jìn)行概括和綜合的知識,例如,將具有嵌套關(guān)系的一組等高線(xiàn)聚合成一座山或者一個(gè)山脈等;
空間分布規律,即關(guān)于空間對象在地理空間的分布規律方面的知識,包括各種維度的分布規律:如垂直方向、水平方向、以及整個(gè)空間的聯(lián)合分布規律等,甚至還可包括屬性空間的任何一個(gè)維度上的分布規律,如軍事基地、防御工事的分布規律、電子戰中電磁頻譜的分布規律等;
空間對象的發(fā)展趨勢,即空間對象的某個(gè)或者某些屬性的規律性變化,戰場(chǎng)態(tài)勢的發(fā)展變化趨勢等;
空間對象的結構型知識,指關(guān)于復雜對象的普遍特征及其構成關(guān)系的知識;
空間偏差型知識,即關(guān)于空間對象或現象偏離常規的異常情況的知識,如戰場(chǎng)態(tài)勢中某些要素的異常變化等;
空間數據挖掘的任務(wù)是要在不同的空間概念層次(從微觀(guān)到宏觀(guān))挖掘出上述各種類(lèi)型的知識,并用相應的知識模型表示出來(lái)??晒┻x用的知識表示方法包括:基于規則的表示法(如產(chǎn)生式規則)、基于邏輯(如命題邏輯和一階謂詞邏輯)的知識表示、基于關(guān)系的知識表示、面向對象的知識表示、基于模型的知識表示、語(yǔ)義網(wǎng)絡(luò )表示、腳本表示、模擬表示、基于過(guò)程的表示以及基于本體的知識表示等。
不僅如此,空間數據挖掘的任務(wù)還包括根據所采用的知識表示方法設計出相應的推理模型,這樣才能為不同領(lǐng)域、不同層次、具有不同應用需求的用戶(hù)提供行之有效的輔助決策支持。
目前,常用的空間數據挖掘方法主要有:
1. 基于概率論的方法。這是一種通過(guò)計算不確定性屬性的概率來(lái)挖掘空間知識的方法,所發(fā)現的知識通常被表示成給定條件下某一假設為真的條件概率。在用誤差矩陣描述遙感分類(lèi)結果的不確定性時(shí),可以用這種條件概率作為背景知識來(lái)表示不確定性的置信度。
2. 空間分析方法。指采用綜合屬性數據分析、拓撲分析、緩沖區分析、密度分析、距離分析、疊置分析、網(wǎng)絡(luò )分析、地形分析、趨勢面分析、預測分析等在內的分析模型和方法,用以發(fā)現目標在空間上的相連、相鄰和共生等關(guān)聯(lián)規則,或挖掘出目標之間的最短路徑、最優(yōu)路徑等知識。目前常用的空間分析方法包括探測性的數據分析、空間相鄰關(guān)系挖掘算法、探測性空間分析方法、探測性歸納學(xué)習方法、圖像分析方法等。
3. 統計分析方法。指利用空間對象的有限信息和/或不確定性信息進(jìn)行統計分析,進(jìn)而評估、預測空間對象屬性的特征、統計規律等知識的方法。它主要運用空間自協(xié)方差結構、變異函數或與其相關(guān)的自協(xié)變量或局部變量值的相似程度實(shí)現包含不確定性的空間數據挖掘。
4. 歸納學(xué)習方法。即在一定的知識背景下,對數據進(jìn)行概括和綜合,在空間數據庫(數據倉庫)中搜索和挖掘一般的規則和模式的方法。歸納學(xué)習的算法很多,如由Quinlan提出的著(zhù)名的C5.0決策樹(shù)算法、Han Jiawei教授等提出的面向屬性的歸納方法、裴健等人提出的基于空間屬性的歸納方法等。
5. 空間關(guān)聯(lián)規則挖掘方法。即在空間數據庫(數據倉庫)中搜索和挖掘空間對象(及其屬性)之間的關(guān)聯(lián)關(guān)系的算法。最著(zhù)名的關(guān)聯(lián)規則挖掘算法是Agrawal提出的Apriori算法;此外還有程繼華等提出的多層次關(guān)聯(lián)規則的挖掘算法、許龍飛等提出的廣義關(guān)聯(lián)規則模型挖掘方法等。
6. 聚類(lèi)分析方法。即根據實(shí)體的特征對其進(jìn)行聚類(lèi)或分類(lèi),進(jìn)而發(fā)現數據集的整個(gè)空間分布規律和典型模式的方法。常用的聚類(lèi)方法有K-mean, K-medoids方法、Ester等提出的基于R—樹(shù)的數據聚焦法及發(fā)現聚合親近關(guān)系和公共特征的算法、周成虎等提出的基于信息熵的時(shí)空數據分割聚類(lèi)模型等。
7. 神經(jīng)網(wǎng)絡(luò )方法。即通過(guò)大量神經(jīng)元構成的網(wǎng)絡(luò )來(lái)實(shí)現自適應非線(xiàn)性動(dòng)態(tài)系統,并使其具有分布存儲、聯(lián)想記憶、大規模并行處理、自學(xué)習、自組織、自適應等功能的方法;在空間數據挖掘中可用來(lái)進(jìn)行分類(lèi)和聚類(lèi)知識以及特征的挖掘。
8. 決策樹(shù)方法。即根據不同的特征,以樹(shù)型結構表示分類(lèi)或決策集合,進(jìn)而產(chǎn)生規則和發(fā)現規律的方法。采用決策樹(shù)方法進(jìn)行空間數據挖掘的基本步驟如下:首先利用訓練空間實(shí)體集生成測試函數;其次根據不同取值建立決策樹(shù)的分支,并在每個(gè)分支子集中重復建立下層結點(diǎn)和分支,形成決策樹(shù);然后對決策樹(shù)進(jìn)行剪枝處理,把決策樹(shù)轉化為據以對新實(shí)體進(jìn)行分類(lèi)的規則。
9. 粗集理論。一種由上近似集和下近似集來(lái)構成粗集,進(jìn)而以此為基礎來(lái)處理不精確、不確定和不完備信息的智能數據決策分析工具,較適于基于屬性不確定性的空間數據挖掘。
10. 基于模糊集合論的方法。這是一系列利用模糊集合理論描述帶有不確定性的研究對象,對實(shí)際問(wèn)題進(jìn)行分析和處理的方法?;谀:险摰姆椒ㄔ谶b感圖像的模糊分類(lèi)、GIS模糊查詢(xún)、空間數據不確定性表達和處理等方面得到了廣泛應用。
11. 空間特征和趨勢探側方法。這是一種基于鄰域圖和鄰域路徑概念的空間數據挖掘算法,它通過(guò)不同類(lèi)型屬性或對象出現的相對頻率的差異來(lái)提取空間規則。
12. 基于云理論的方法。云理論是一種分析不確定信息的新理論,由云模型、不確定性推理和云變換三部分構成?;谠评碚摰目臻g數據挖掘方法把定性分析和定量計算結合起來(lái),處理空間對象中融隨機性和模糊性為一體的不確定性屬性;可用于空間關(guān)聯(lián)規則的挖掘、空間數據庫的不確定性查詢(xún)等。
13. 基于證據理論的方法。證據理論是一種通過(guò)可信度函數(度量已有證據對假設支持的最低程度)和可能函數(衡量根據已有證據不能否定假設的最高程度)來(lái)處理不確定性信息的理論,可用于具有不確定屬性的空間數據挖掘。
14. 遺傳算法。這是一種模擬生物進(jìn)化過(guò)程的算法,可對問(wèn)題的解空間進(jìn)行高效并行的全局搜索,能在搜索過(guò)程中自動(dòng)獲取和積累有關(guān)搜索空間的知識,并可通過(guò)自適應機制控制搜索過(guò)程以求得最優(yōu)解??臻g數據挖掘中的許多問(wèn)題,如分類(lèi)、聚類(lèi)、預測等知識的獲取,均可以用遺傳算法來(lái)求解。這種方法曾被應用于遙感影像數據中的特征發(fā)現。
15. 數據可視化方法。這是一種通過(guò)可視化技術(shù)將空間數據顯示出來(lái),幫助人們利用視覺(jué)分析來(lái)尋找數據中的結構、特征、模式、趨勢、異?,F象或相關(guān)關(guān)系等空間知識的方法。為了確保這種方法行之有效,必須構建功能強大的可視化工具和輔助分析工具。
16. 計算幾何方法。這是一種利用計算機程序來(lái)計算平面點(diǎn)集的Voronoi圖,進(jìn)而發(fā)現空間知識的方法。利用Voronoi圖可以解決空間拓撲關(guān)系、數據的多尺度表達、自動(dòng)綜合、空間聚類(lèi)、空間目標的勢力范圍、公共設施的選址、確定最短路徑等問(wèn)題。
17. 空間在線(xiàn)數據挖掘。這是一種基于網(wǎng)絡(luò )的驗證型空間來(lái)進(jìn)行數據挖掘和分析的工具。它以多維視圖為基礎,強調執行效率和對用戶(hù)命令的及時(shí)響應,一般以空間數據倉庫為直接數據源。這種方法通過(guò)數據分析與報表模塊的查詢(xún)和分析工具(如OLAP、決策分析、數據挖掘等)完成對信息和知識的提取,以滿(mǎn)足決策的需要。