有人說(shuō)，人類(lèi)僅僅開(kāi)發(fā)使用了自己大腦容量的10%，要能夠利用其他的90%，人類(lèi)的洞察力和成就將會(huì )無(wú)比驚人。這種說(shuō)法的準確性可能有待研究確定，但與之類(lèi)似，的確屬實(shí)的情況是企業(yè)一直在分析應用的是只占數據總量20%的那些跑在ERP等系統里的結構化數據。如果再能結合利用其余80%的非結構化數據，那效果就可想而知了。
基礎技術(shù)在不斷發(fā)展，而電子商務(wù)、移動(dòng)應用、社交網(wǎng)絡(luò )等日益活躍，這導致大量的像影像資料、辦公文檔、掃描文件、Web 頁(yè)面、電子郵件、微博、即時(shí)通信以及音視頻等非結構化數據迎面而來(lái)，企業(yè)應接不暇。
結構化vs 非結構化
相對于存儲在關(guān)系型數據庫里，用二維邏輯表來(lái)表現的結構化數據而言，那些不方便用數據庫二維邏輯表來(lái)表現的數據就是所謂的非結構化數據，包括報表、賬單、影像、辦公文檔、掃描文件、Web 頁(yè)面、電子郵件以及多媒體音頻和視頻信息等。
據統計，企業(yè)中20%的數據是結構化的，80%則是非結構化或半結構化的。當今世界結構化數據增長(cháng)率大概是32%，而非結構化數據增長(cháng)則是63%，至2012年，非結構化數據占有比例將達到互聯(lián)網(wǎng)整個(gè)數據量的75%以上。而非結構化數據中50%~75%的數據都來(lái)源于人與人的互動(dòng)，都是以人為中心產(chǎn)生的。
我們都很熟悉結構化數據，典型的就是事務(wù)數據、定量的數據。企業(yè)收集、存儲、查詢(xún)、利用它們來(lái)制定商業(yè)戰略、預判趨勢、運行報表、進(jìn)行分析、優(yōu)化運營(yíng)。企業(yè)在結構化數據的利用方面已經(jīng)做得很好，通過(guò)它能提供重要的業(yè)務(wù)洞察力，更有效率和有效益地服務(wù)于客戶(hù)，遵循監管法規，為決策制定者提供所需的即時(shí)的、持續的關(guān)鍵信息以?xún)?yōu)化業(yè)務(wù)。
但今天，許多企業(yè)已經(jīng)意識到，結構化數據僅僅是企業(yè)所擁有數據的一小部分。與業(yè)務(wù)信息系統中大量用于交易記錄、流程控制和統計分析的結構化數據相比，非結構化數據具有某種特定和持續的價(jià)值，這種價(jià)值在共享、檢索、分析等使用過(guò)程中得以產(chǎn)生和放大，并最終對企業(yè)業(yè)務(wù)和戰略產(chǎn)生影響。
比如在醫療行業(yè)，逐漸普及的電子病歷的建設中，既存在結構化的電子病歷數據，也存在非結構化的電子病歷數據，而非結構化的電子病歷數據的重要性并不比結構化數據低。因為描述病人病情的自然語(yǔ)言要比患者基本信息等結構化數據更豐富形象，而臨床產(chǎn)生的大量影像文件對醫生的診斷也具有很強的輔助作用。對此感受頗深的是中國人民解放軍總醫院(301醫院)的信息中心主任史鴻飛。
史鴻飛在接受記者采訪(fǎng)時(shí)表示，由于醫院自身的特點(diǎn)，像心電圖、波形圖、CT片等診斷依據信息都讓醫院自開(kāi)展數字化以來(lái)不得不面對大量非結構化數據的管理。
不止醫院，保險公司也不例外。華泰人壽CIO楊李在接受記者采訪(fǎng)時(shí)就介紹，華泰人壽的非結構化數據來(lái)源于以下幾個(gè)方面：第一是因為所有業(yè)務(wù)的原始憑證都被要求存檔，所以像保險申請書(shū)、審查過(guò)程資料和保單等紙質(zhì)原始資料都會(huì )被掃描存成電子文檔，比如保單就都是以PDF格式保存的；第二是保險公司呼叫中心的服務(wù)錄音按照保監會(huì )的要求需要永久保存，由此產(chǎn)生了大量的音頻文件；第三是一些會(huì )議等的視頻資料。
她說(shuō)，隨著(zhù)業(yè)務(wù)發(fā)展，保險公司對風(fēng)險管控要求越來(lái)越高，傳統的紙質(zhì)介質(zhì)不足以應對這種要求。保險公司需要借助電子化手段，實(shí)現更快的查詢(xún)調閱，這導致越來(lái)越多種類(lèi)型和數量的非結構化數據出現。
價(jià)值幾何
沒(méi)有人會(huì )看輕非結構化數據的價(jià)值。
史鴻飛告訴記者，非結構化數據管理對于醫院來(lái)說(shuō)意義重大：首先，它可以促進(jìn)數據的交換，無(wú)論是在醫院內部還是在不同醫院之間。試想，如果大量的病例、拍的片子都可以被有效存儲成非結構化數據，以電子方式存儲、傳遞、交換，那這對于醫院流程管理、方便患者就醫等是多么有價(jià)值。
其次，非結構化數據在臨床診斷方面，可以做更全面的展示，更高效地輔助醫生診斷。醫生在臨床就診時(shí)，不僅可以調出患者基本信息和以往診斷書(shū)，還可以直接調病人所拍的像胸透、腸鏡等檢查的影像資料，再加上現場(chǎng)望聞問(wèn)切病人的病情，醫生掌握了更加全面、直觀(guān)的病情資料，就可以提高診斷效果和效率。
另外，在醫院科研方面，非結構化數據管理也頗具價(jià)值。試想，如果某位醫生要想鉆研肺癌的研究治療，那么過(guò)去他只有抱著(zhù)厚厚的書(shū)和筆記本學(xué)習，而要研究個(gè)案時(shí)，需要去病案室在一堆封存已久的片子中尋找想找的那張，其難度和效率可想而知?，F在有了電子版的影像資料，醫生就可以根據病人的索引找到其電子病歷來(lái)研究。更遙遠的設想是，如果將來(lái)能對同一患者的不同片子或者是同一病種不同患者的片子都可以通過(guò)數字技術(shù)做比對分析，那就更有價(jià)值了。
而管理好非結構化數據對保險公司同樣也意義重大。楊李以理賠為例向記者進(jìn)行了介紹，她說(shuō)，一個(gè)理賠案子會(huì )涉及理賠對象、理賠數據等，像個(gè)人基本資料等理賠人屬性和賠付金額、日期等理賠數據都可以做成關(guān)系型數據存入數據庫，但還會(huì )有些資料，比如理賠對象住院時(shí)醫院的單據、其他說(shuō)明資料等非結構化數據則會(huì )以文件形式存儲起來(lái)。當理賠員做賠案的時(shí)候，他會(huì )把理賠對象的信息等關(guān)系型數據和原始單據、資料等都調出來(lái)，綜合考察，衡量定奪。這實(shí)際上就是結合結構化和非結構化數據把客戶(hù)、案子資料全面展示給理賠員，支撐其業(yè)務(wù)操作，提高業(yè)務(wù)效率的實(shí)例。因為之前沒(méi)有這些電子版的非結構化數據，對理賠的判斷，理賠員只能從客戶(hù)申請數據得到一些信息，需要憑經(jīng)驗判斷，否則如果要求看其他原始資料，那就需要走十天半月甚至更長(cháng)的紙質(zhì)流程，業(yè)務(wù)辦理時(shí)間會(huì )很長(cháng)，效率很低。
如何管理
楊李介紹，華泰人壽目前對于非結構化數據的管理還比較簡(jiǎn)單，就是以文件的形式存儲起來(lái)，按索引查詢(xún)。但由于權限管理的要求，比如某個(gè)崗位的人只能看部分文檔甚至是部分文檔的一部分，公司管理要求越來(lái)越細，讓華泰人壽開(kāi)始考慮是不是需要上一套專(zhuān)業(yè)的內容管理系統。另外，非結構化數據的量、種類(lèi)越來(lái)越多，要做到快速的查詢(xún)調閱需要占用系統大量的I/O資源，這也從另一個(gè)方面增強了對內容管理系統的需求。
史鴻飛也介紹，現在301醫院對于非結構化數據采用的也是文檔服務(wù)的管理模式，就是為影像、波形圖等建立不同的服務(wù)器存儲起來(lái)，用唯一的ID號為這些資料建立索引，以備查詢(xún)、展示。但對于更深入的管理應用，史鴻飛坦言，還并沒(méi)有有效推進(jìn)。他說(shuō)，確實(shí)國外有先進(jìn)的醫院在探索用不同的模型(如CDA)來(lái)統一各種非結構化數據進(jìn)行管理，但國內的各家醫院還都得根據自己的情況來(lái)做決定。
雖然對于非結構化數據的價(jià)值贊揚有加，但史鴻飛認為現階段對于醫院來(lái)說(shuō)最主要的還是流程的問(wèn)題，是做好基礎的HIS系統及其應用。他說(shuō)，現在301醫院有五大方面的信息化應用，一是HIS系統，實(shí)現醫院的高效運行管理；二是醫療業(yè)務(wù)，更有效地采集、存儲、展現、共享病歷信息，推進(jìn)電子病歷，但這也是醫院流程的一部分；三是實(shí)現醫院的精細化管理，利用信息手段進(jìn)行科學(xué)管理、降低醫院成本，從而降低患者看病成本，據悉301新近也在引入 ERP，希望借助先進(jìn)的企業(yè)管理工具，實(shí)現精細化管理；四是提升患者服務(wù)，提高主動(dòng)醫療；五是區域醫療，協(xié)同互聯(lián)。
精彩觀(guān)點(diǎn)
像心電圖、波形圖、CT片等診斷依據信息讓醫院自開(kāi)展數字化以來(lái)，一直都得面對大量非結構化數據的管理。非結構化數據在資料傳遞交換、臨床全面展示和醫學(xué)科研等方面有著(zhù)重要價(jià)值?，F在，301醫院是采用文檔服務(wù)的管理模式，建立不同的服務(wù)器存儲各種非結構化數據，建立索引，以供查詢(xún)展示，對其更深入的分析應用還無(wú)法展開(kāi)。目前最主要的還是搭建、應用好HIS系統，解決好流程的問(wèn)題。
——301醫院CIO史鴻飛
像申請書(shū)、保單等業(yè)務(wù)原始憑證都要被掃描存成電子文檔，呼叫中心的服務(wù)錄音文件和一些視頻資料，讓保險公司擁有越來(lái)越多的非結構化數據。以理賠為例，結合結構化和非結構化數據可以把資料全面展示給理賠員，支撐其業(yè)務(wù)操作，提高業(yè)務(wù)效率。華泰人壽目前對于非結構化數據的管理還比較簡(jiǎn)單，就是以文件的形式存儲起來(lái)，按索引查詢(xún)，但權限管理等方面的要求則讓華泰人壽開(kāi)始考慮上馬一套專(zhuān)業(yè)的內容管理系統?！A泰人壽CIO 楊李
eBay的非結構化數據主要來(lái)自使用者行為分析數據和網(wǎng)站點(diǎn)擊率的分析，這比過(guò)去更復雜、多變。以追蹤點(diǎn)擊率來(lái)說(shuō)，近年來(lái)大部分的網(wǎng)頁(yè)都是動(dòng)態(tài)網(wǎng)頁(yè)，過(guò)去只要透過(guò)網(wǎng)址就能知道使用者正在看什么網(wǎng)頁(yè)，但是現在一個(gè)網(wǎng)頁(yè)上的內容變多了，而且每一秒鐘都在變化，這對于分析使用者行為來(lái)說(shuō)，難度更高。近年來(lái)eBay在分析數據領(lǐng)域最大的挑戰就是要同時(shí)處理結構化與非結構化數據。分析點(diǎn)擊率等半結構性和非結構性數據是未來(lái)工作重點(diǎn)之一?！猠Bay分析平臺高級總監Oliver Ratzesberger
微博推薦 |
新浪科技官方微博
