何淑娟 【摘要】介紹了非結構化數據庫的概念。分析了非結構化數據庫在存儲機制和索引機制上的變革及作用。提出了在多類(lèi)型文檔管理中使用非結構化數據庫的思想，并分析了相關(guān)應用中的若干關(guān)鍵問(wèn)題。 【關(guān)鍵詞】非結構化；數據庫；多類(lèi)型文檔 1 非結構化數據庫的基本概念 所謂非結構化數據庫，是指其字段長(cháng)度可變，并且每個(gè)字段的記錄又可以由可重復或不可重復的子字段構成的數據庫。它從數據模型入手，采用子字段、多值字段以及變長(cháng)字段的機制，允許創(chuàng )建許多不同類(lèi)型的非結構化或任意格式的字段，從而突破了關(guān)系數據庫嚴格的表結構，解決了關(guān)系數據庫模型過(guò)于簡(jiǎn)單、不便表達復雜嵌套的問(wèn)題；在其底層存儲機制的變革基礎上，采用先進(jìn)的倒排檔索引技術(shù)，從而實(shí)現了對于海量文獻信息的快速全文檢索的功能，并同時(shí)支持多種字段限定檢索。對于多媒體信息的存儲和管理，非結構化數據庫系統采用外部文件方式，擯棄了傳統關(guān)系型數據庫采用二進(jìn)制字段存儲的方式，實(shí)現了對于圖形、聲音等多媒體信息的高效管理[1]。 其高效性具體表現在： （1）在數據庫結構定義上 非結構化數據庫系統實(shí)現了對于變長(cháng)字段、重復字段和子字段的定義、存儲和管理，并且記錄的數目、長(cháng)度，字段數目與長(cháng)度以及字段可重復次數均可不受限制，允許數據項具有多值性和可包含子字段，充分滿(mǎn)足了圖書(shū)館建立文獻數據庫的特殊管理要求。 （2）在數據著(zhù)錄格式方面 非結構化數據庫不僅支持國際標準（ISO-2709,MARC,CCF）和國內標準(CCFC)格式，而且支持最新的SGML和XML格式，具有可擴展性，可以與其他元數據單元(項目)連接使用。在數據處理對象上，非結構化數據庫采用面向對象技術(shù)，不僅可以處理TXT文本、DOC、EXCEL、PPT、PDF、S2、PS2等流行的文件類(lèi)型數據，而且可對圖象、音頻、視頻、計算機程序以及網(wǎng)址資源進(jìn)行編目和數字化處理，覆蓋了多類(lèi)型文檔應用領(lǐng)域內幾乎所有的文獻數據類(lèi)型。同時(shí)，非結構化數據庫支持外掛文件的全文檢索，其獨特的外部文件支持能力使圖書(shū)館能輕松實(shí)現二次文獻掛接全文的功能。 （3）在信息檢索查詢(xún)方面 非結構化數據庫內嵌全文檢索引擎，采用倒排檔索引技術(shù)，不僅能夠對整個(gè)字段進(jìn)行查詢(xún)，而且可以提供子字段、關(guān)鍵詞、自由詞、標引詞、位置詞和全文任意詞的單項及組配檢索。而且速度也非?？?，一般不受文獻量（上千萬(wàn)條記錄）的影響，滿(mǎn)足海量數據檢索的需要。 （4）在信息查全率和查準率方面，非結構化數據庫采用自然語(yǔ)言處理和人工智能技術(shù)，提供基于內容的檢索和ANY詞檢索方式，并在檢索中實(shí)現對于特定類(lèi)目相關(guān)詞的利用，大大提高了系統的查全率。同時(shí)非結構化數據庫支持的禁用詞，可以過(guò)濾掉一些沒(méi)有檢索意義的英文虛詞如“I、 TO”等，以提高查準率。 （5）非結構化數據庫提供了后控制詞表檢索系統。后控制詞表系統是提高自然語(yǔ)言全文檢索效率，減輕用戶(hù)負擔的有效途徑。該系統對于后控制詞表采取數據庫管理方式，與全文檢索的檢索式構造相連接。對每一個(gè)檢索詞提供用（UF）、代（USE）、屬（BT）、分（NT）、參（RT）等關(guān)系詞，用戶(hù)可根據具體檢索需求選取關(guān)系詞，并將之增加到檢索表達式中，從而實(shí)現檢索表達式的優(yōu)化，提高全文檢索的效率，降低用戶(hù)負擔 [2]。 2 非結構化數據庫的應用 關(guān)系數據庫從設計之初并沒(méi)有也不可能考慮到以HTTP為基礎、HTML為文件格式的因特網(wǎng)的需求，只是在因特網(wǎng)出現后才作出相應的調整，因此關(guān)系數據庫在基于網(wǎng)絡(luò )應用時(shí)由于結構模型等原因的限制，不能與網(wǎng)絡(luò )完全融合，需在網(wǎng)絡(luò )與數據庫之間加入大量的中間件，從而在無(wú)形中加大了數據庫基于網(wǎng)絡(luò )應用的難度。并且對于網(wǎng)絡(luò )環(huán)境下網(wǎng)絡(luò )應用，如各種非結構化文檔信息、多媒體信息以及全文檢索需求顯得力不從心。雖然后來(lái)關(guān)系數據庫對于這些需求作出了一些適應性調整，但對于網(wǎng)絡(luò )環(huán)境下網(wǎng)絡(luò )應用不可或缺的檢索效率、全文檢索能力等卻無(wú)法解決[3] [4]。同時(shí)，關(guān)系數據庫的基于中間件的解決方案又給網(wǎng)絡(luò )應用帶來(lái)了新的網(wǎng)絡(luò )瓶頸，應用服務(wù)器端由于與數據庫頻繁交互，因其本身的效率和數據庫檢索的效率造成網(wǎng)絡(luò )應用在應用服務(wù)器端的阻塞。 （1）文檔型和多媒體數據類(lèi)型的支持問(wèn)題 在網(wǎng)絡(luò )應用中，存在大量的復雜數據類(lèi)型，如各種超文本文檔信息，各種圖片、聲音等多媒體信息資源，如何對這些信息資源進(jìn)行有效的存儲、管理、檢索，是網(wǎng)絡(luò )數據庫必須解決的問(wèn)題，iBASE非結構化網(wǎng)絡(luò )數據庫系統通過(guò)其外部文件數據類(lèi)型，可以管理各種文檔信息、多媒體信息，并且，對于各種具有檢索意義的文檔信息資源，如HTML、DOC、RTF、TXT等還提供了強大的全文檢索能力。 （2）數據庫的全文檢索問(wèn)題 在網(wǎng)絡(luò )應用中，如何從浩瀚的信息海洋中查找到所需的信息，如何保證所查詢(xún)信息的全面性和準確性，也是一個(gè)網(wǎng)絡(luò )數據庫應用必須解決的問(wèn)題。非結構化網(wǎng)絡(luò )數據庫系統通過(guò)其獨特的索引技術(shù)和基于布爾檢索表達式的查詢(xún)檢索算法，解決了基于字段級和數據庫級的全文檢索問(wèn)題，用戶(hù)可以針對數據庫中特定的字段也可針對整個(gè)數據庫進(jìn)行全文檢索，從而從數據庫中檢索出感興趣的內容 [5]。 （3）網(wǎng)絡(luò )數據庫應用中的查詢(xún)和檢索效率問(wèn)題 作為網(wǎng)絡(luò )應用，由于需要面對大量的用戶(hù)群和大量的瞬時(shí)并發(fā)數據庫查詢(xún)檢索，其數據庫查詢(xún)和檢索效率就是一個(gè)極其關(guān)鍵的問(wèn)題。iBASE非結構化網(wǎng)絡(luò )數據庫系統主要通過(guò)重復字段和子字段來(lái)保證數據庫查詢(xún)和檢索的效率，實(shí)現了數據庫的一條記錄中一維表和二維表嵌套，從而避免了關(guān)系數據庫在大數據量時(shí)由于表連接查詢(xún)而導致的查詢(xún)檢索性能的急劇降低。 （4）對現有網(wǎng)絡(luò )應用的全文檢索支持問(wèn)題 非結構化網(wǎng)絡(luò )數據庫系統不僅能夠支持iBASE非結構化數據庫的直接上網(wǎng)發(fā)布和全文檢索，對于傳統關(guān)系型數據庫，如Oracle、SYBASE、SQL Server、DB2、Informix等，也提供了導入和鏈結的支持能力，用戶(hù)可以采用導入方式，將傳統關(guān)系數據庫轉換為非結構化數據庫，再進(jìn)行網(wǎng)上發(fā)布和開(kāi)發(fā)全文檢索應用；用戶(hù)也可采用鏈結方式，對傳統關(guān)系數據庫構建本地化索引，從而通過(guò)本地化索引實(shí)現對關(guān)系數據庫的全文檢索支持，iBASE非結構化網(wǎng)絡(luò )數據庫系統充當關(guān)系數據庫應用服務(wù)器，系統的檢索效率也將受關(guān)系數據庫自身檢索效率和應用服務(wù)器交互效率的影響[6]。 3 非結構化數據庫應用分析 網(wǎng)絡(luò )數據庫建設到底采用何種數據庫，擺在用戶(hù)面前的至少有三種方案：關(guān)系數據庫建設方案、非結構化網(wǎng)絡(luò )數據庫建設方案、關(guān)系數據庫和非結構化網(wǎng)絡(luò )數據庫共存方案[7]。 在事務(wù)處理和數值計算方面，由于關(guān)系數據庫經(jīng)過(guò)了多年的發(fā)展，其在事務(wù)處理、數值計算方面具有強大的能力并已被證實(shí)。但對于超文本、文檔信息管理和數據庫全文檢索方面，關(guān)系數據庫通過(guò)其MEMO或TEXT字段等也能實(shí)現這種信息的存儲，而對于這些信息或數據庫的全文檢索，關(guān)系數據庫則顯得捉襟見(jiàn)肘[8]。 非結構化網(wǎng)絡(luò )數據庫系統則完全解決了網(wǎng)上數據庫的全文檢索問(wèn)題，通過(guò)其獨特的單漢字、單英文詞、英文字母的索引方式及樹(shù)索引算法，能夠高效地解決數據庫的網(wǎng)上全文檢索問(wèn)題，構造出強大的網(wǎng)上全文搜索引擎。因此，在對于超文本、文檔信息管理和數據庫全文檢索方面，非結構化網(wǎng)絡(luò )數據庫建設方案應為首選。 然而，網(wǎng)絡(luò )數據庫建設并不能從嚴格意義上按以上兩種情況進(jìn)行區分，但有一點(diǎn)可以肯定的是，大多數網(wǎng)絡(luò )應用都會(huì )有全文檢索或構建搜索引擎的需求，從理論上講，除事務(wù)處理能力外，非結構化網(wǎng)絡(luò )數據庫能夠處理所有關(guān)系數據庫支持的網(wǎng)絡(luò )應用方式，并能對數據庫進(jìn)行全文檢索擴展，也就是說(shuō)，完全可以利用非結構化網(wǎng)絡(luò )數據庫構建獨立的網(wǎng)絡(luò )應用。 對于一些特殊的網(wǎng)絡(luò )應用，我們也可以采用關(guān)系數據庫和非結構化網(wǎng)絡(luò )數據庫兩者共存的建設方案，實(shí)現兩者的無(wú)縫集成，以發(fā)揮兩者各自的長(cháng)處。 主要參考文獻： [2] 向海華.數據庫技術(shù)發(fā)展綜述現代情報,2003, . [3] 王娣.多媒體數據庫技術(shù)綜述情.報雜志,2001, [4] 吳廣印,胡亞莉.非結構化網(wǎng)絡(luò )數據庫在圖書(shū)情報服務(wù)中的應用.圖書(shū)情報工作,2000, [5] 閻同喜.數據庫技術(shù)發(fā)展概述機械管理.開(kāi)發(fā),2004, [6] 趙淑梅,牛宏霞.新型的數據庫技術(shù)——XML數據庫系統綜述.鄭州鐵路職業(yè)技術(shù)學(xué)院學(xué)報,2004, [7] 陸曄,吉增瑞.數據庫系統安全技術(shù)綜述高性能.計算技術(shù),2001, [8] 李慧,顏顯森.數據庫技術(shù)發(fā)展的新方向——非結構化數據庫情.報理論與實(shí)踐,2001。 |
聯(lián)系客服
