《南京郵電大學(xué)》 2013年 加入收藏獲取最新 傳感網(wǎng)異構數據采集及數據融合技術(shù)的研究與實(shí)現
王金萍【摘要】：物聯(lián)網(wǎng)(The Internet of Things, IoT)的信息采集需要多種傳感網(wǎng)支持，由于感知的數據格式還沒(méi)有達成一致標準，數據結構不同，語(yǔ)義各異，不同數據包格式需分別定義各自解析方式，增加了數據采集時(shí)的工作量、成本和時(shí)間。其次，傳感器數據持續采集形成了海量數據，如果不能提出統一數據集成及融合方案，將導致反饋信息慢，反饋信息不完整等問(wèn)題，物聯(lián)網(wǎng)平臺難以開(kāi)發(fā)實(shí)現多業(yè)務(wù)應用。 在解決傳感器數據所面臨的數據包格式不一致的問(wèn)題中，首先作者根據傳感器與電表數據屬性相似的特性，參考統一電表數據格式標準IEC61968-9（International ElectrotechnicalCommission,國際電工委員會(huì )）提出了傳感器數據統一格式標準（United Form of Sensor Data,UFSD），定義了基于UFSD的統一XML(Extensible Markup Language,可擴展標記語(yǔ)言)格式。通過(guò)實(shí)驗表明，該標準定義下的數據格式能夠在多傳感網(wǎng)絡(luò )數據采集時(shí)，統一異構數據的轉換格式，實(shí)現多應用系統間的數據無(wú)縫交換。 其次，為了給用戶(hù)建立一個(gè)穩定的數據信息處理環(huán)境和統一的信息檢索接口，論文提出一種基于MapReduce的數據集成及數據融合架構模型。論文對架構中各個(gè)模塊做了重點(diǎn)分析，針對元數據信息存在的異構性問(wèn)題提出了異構沖突解決方法，定義了用戶(hù)統一信息查詢(xún)的虛擬數據庫及相似結構化查詢(xún)語(yǔ)言；分析了系統架構中解析器模塊視圖分析及任務(wù)分配過(guò)程；分析了執行器模塊MapReduce執行過(guò)程、管理過(guò)程及連接過(guò)程。實(shí)驗結果表明，該架構模型能夠在較短時(shí)間內處理多數據源海量數據，為用戶(hù)請求提供完整而不冗余的信息。
【關(guān)鍵詞】：
物聯(lián)網(wǎng)傳感網(wǎng)數據采集數據融合虛擬數據庫MapReduce【學(xué)位授予單位】：南京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2013
【分類(lèi)號】：TN929.5;TP212.9
【目錄】： 摘要4-5
Abstract5-8
專(zhuān)用術(shù)語(yǔ)注釋表8-9
第一章 緒論9-13
1.1 研究背景及意義9-11
1.2 研究?jì)热?1-12
1.3 本文的結構安排12-13
第二章 相關(guān)背景知識介紹13-19
2.1 物聯(lián)網(wǎng)與傳感網(wǎng)技術(shù)13
2.2 數據采集及數據融合概述13-16
2.3 虛擬數據庫管理技術(shù)16
2.4 MapReduce 簡(jiǎn)介16-18
2.5 Hadoop 技術(shù)18
2.6 本章小結18-19
第三章 傳感器數據包解析及數據采集19-33
3.1 物聯(lián)網(wǎng)泛在智能業(yè)務(wù)平臺模型概述19-20
3.2 物聯(lián)網(wǎng)中傳感網(wǎng)異構數據信息處理層20-23
3.3 傳感器數據包解析及數據采集23-32
3.3.1 數據包解析24-27
3.3.2 多傳感器網(wǎng)絡(luò )數據采集集成環(huán)境27-29
3.3.3 基于 UFSD 協(xié)議標準的傳感數據 XML 生成與解析29-32
3.4 本章小結32-33
第四章 基于 MapReduce 數據集成及數據融合架構33-53
4.1 基于 MapReduce 數據集成及融合總體架構設計33-35
4.2 元數據采集及虛擬數據庫生成35-41
4.2.1 元數據的采集與虛擬數據庫定義36-39
4.2.2 元數據信息異構性沖突及解決方法39-41
4.3 基于 MapReduce 數據集成及融合方案各模塊功能詳細解析41-52
4.3.1 解析器設計流程41-46
4.3.2 執行器設計流程46-52
4.4 本章小結52-53
第五章 系統模型實(shí)現及測試53-63
5.1 基于 MapReduce 數據采集及數據融合架構原型拓撲結構圖53-58
5.1.1 基于 MapReduce 數據采集及數據融合模型開(kāi)發(fā)環(huán)境配置54-55
5.1.2 Hadoop 系統環(huán)境配置55-57
5.1.3 系統模型類(lèi)圖及運行57-58
5.2 基于 MapReduce 數據采集及數據融合架構模型性能分析58-62
5.2.1 基于 UFSD 協(xié)議數據包 XML 文件生成性能測試59-60
5.2.2 基于 MapReduce 數據集成及融合方案架構模型性能測試60-62
5.3 本章小結62-63
第六章 總結與展望63-65
6.1 論文工作總結63
6.2 未來(lái)工作展望63-65
參考文獻65-67
附錄 1 攻讀碩士學(xué)位期間撰寫(xiě)的論文67-68
附錄 2 攻讀碩士學(xué)位期間撰寫(xiě)的專(zhuān)利68-69
致謝69
