亚洲av第一区第二区_ VC++ 中使用內存映射文件處理大文件

VC++中使用內存映射文件處理大文件2003-01-17··中國電波傳播研究所青島分所郎銳··yesky

　　摘要： 本文給出了一種方便實(shí)用的解決大文件的讀取、存儲等處理的方法，并結合相關(guān)程序代碼對具體的實(shí)現過(guò)程進(jìn)行了介紹。

　　引言

文件操作是應用程序最為基本的功能之一，Win32 API和MFC均提供有支持文件處理的函數和類(lèi)，常用的有Win32API的CreateFile()、WriteFile()、ReadFile()和MFC提供的CFile類(lèi)等。一般來(lái)說(shuō)，以上這些函數可以滿(mǎn)足大多數場(chǎng)合的要求，但是對于某些特殊應用領(lǐng)域所需要的動(dòng)輒幾十GB、幾百GB、乃至幾TB的海量存儲，再以通常的文件處理方法進(jìn)行處理顯然是行不通的。目前，對于上述這種大文件的操作一般是以?xún)却嬗成湮募姆绞絹?lái)加以處理的，本文下面將針對這種Windows核心編程技術(shù)展開(kāi)討論。

　　內存映射文件

內存映射文件與虛擬內存有些類(lèi)似，通過(guò)內存映射文件可以保留一個(gè)地址空間的區域，同時(shí)將物理存儲器提交給此區域，只是內存文件映射的物理存儲器來(lái)自一個(gè)已經(jīng)存在于磁盤(pán)上的文件，而非系統的頁(yè)文件，而且在對該文件進(jìn)行操作之前必須首先對文件進(jìn)行映射，就如同將整個(gè)文件從磁盤(pán)加載到內存。由此可以看出，使用內存映射文件處理存儲于磁盤(pán)上的文件時(shí)，將不必再對文件執行I/O操作，這意味著(zhù)在對文件進(jìn)行處理時(shí)將不必再為文件申請并分配緩存，所有的文件緩存操作均由系統直接管理，由于取消了將文件數據加載到內存、數據從內存到文件的回寫(xiě)以及釋放內存塊等步驟，使得內存映射文件在處理大數據量的文件時(shí)能起到相當重要的作用。另外，實(shí)際工程中的系統往往需要在多個(gè)進(jìn)程之間共享數據，如果數據量小，處理方法是靈活多變的，如果共享數據容量巨大，那么就需要借助于內存映射文件來(lái)進(jìn)行。實(shí)際上，內存映射文件正是解決本地多個(gè)進(jìn)程間數據共享的最有效方法。

　　內存映射文件并不是簡(jiǎn)單的文件I/O操作，實(shí)際用到了Windows的核心編程技術(shù)--內存管理。所以，如果想對內存映射文件有更深刻的認識，必須對Windows操作系統的內存管理機制有清楚的認識，內存管理的相關(guān)知識非常復雜，超出了本文的討論范疇，在此就不再贅述，感興趣的讀者可以參閱其他相關(guān)書(shū)籍。下面給出使用內存映射文件的一般方法：

首先要通過(guò)CreateFile()函數來(lái)創(chuàng )建或打開(kāi)一個(gè)文件內核對象，這個(gè)對象標識了磁盤(pán)上將要用作內存映射文件的文件。在用CreateFile()將文件映像在物理存儲器的位置通告給操作系統后，只指定了映像文件的路徑，映像的長(cháng)度還沒(méi)有指定。為了指定文件映射對象需要多大的物理存儲空間還需要通過(guò)CreateFileMapping()函數來(lái)創(chuàng )建一個(gè)文件映射內核對象以告訴系統文件的尺寸以及訪(fǎng)問(wèn)文件的方式。在創(chuàng )建了文件映射對象后，還必須為文件數據保留一個(gè)地址空間區域，并把文件數據作為映射到該區域的物理存儲器進(jìn)行提交。由MapViewOfFile()函數負責通過(guò)系統的管理而將文件映射對象的全部或部分映射到進(jìn)程地址空間。此時(shí)，對內存映射文件的使用和處理同通常加載到內存中的文件數據的處理方式基本一樣，在完成了對內存映射文件的使用時(shí)，還要通過(guò)一系列的操作完成對其的清除和使用過(guò)資源的釋放。這部分相對比較簡(jiǎn)單，可以通過(guò)UnmapViewOfFile()完成從進(jìn)程的地址空間撤消文件數據的映像、通過(guò)CloseHandle()關(guān)閉前面創(chuàng )建的文件映射對象和文件對象。

　　內存映射文件相關(guān)函數

　　在使用內存映射文件時(shí)，所使用的API函數主要就是前面提到過(guò)的那幾個(gè)函數，下面分別對其進(jìn)行介紹：

HANDLE CreateFile(LPCTSTR lpFileName,
DWORD dwDesiredAccess,
DWORD dwShareMode,
LPSECURITY_ATTRIBUTES lpSecurityAttributes,
DWORD dwCreationDisposition,
DWORD dwFlagsAndAttributes,
HANDLE hTemplateFile);

函數CreateFile()即使是在普通的文件操作時(shí)也經(jīng)常用來(lái)創(chuàng )建、打開(kāi)文件，在處理內存映射文件時(shí)，該函數來(lái)創(chuàng )建/打開(kāi)一個(gè)文件內核對象，并將其句柄返回，在調用該函數時(shí)需要根據是否需要數據讀寫(xiě)和文件的共享方式來(lái)設置參數dwDesiredAccess和dwShareMode，錯誤的參數設置將會(huì )導致相應操作時(shí)的失敗。

HANDLE CreateFileMapping(HANDLE hFile,
LPSECURITY_ATTRIBUTES lpFileMappingAttributes,
DWORD flProtect,
DWORD dwMaximumSizeHigh,
DWORD dwMaximumSizeLow,
LPCTSTR lpName);

CreateFileMapping()函數創(chuàng )建一個(gè)文件映射內核對象，通過(guò)參數hFile指定待映射到進(jìn)程地址空間的文件句柄（該句柄由CreateFile()函數的返回值獲?。?。由于內存映射文件的物理存儲器實(shí)際是存儲于磁盤(pán)上的一個(gè)文件，而不是從系統的頁(yè)文件中分配的內存，所以系統不會(huì )主動(dòng)為其保留地址空間區域，也不會(huì )自動(dòng)將文件的存儲空間映射到該區域，為了讓系統能夠確定對頁(yè)面采取何種保護屬性，需要通過(guò)參數flProtect來(lái)設定，保護屬性PAGE_READONLY、PAGE_READWRITE和PAGE_WRITECOPY分別表示文件映射對象被映射后，可以讀取、讀寫(xiě)文件數據。在使用PAGE_READONLY時(shí)，必須確保CreateFile()采用的是GENERIC_READ參數；PAGE_READWRITE則要求CreateFile()采用的是GENERIC_READ|GENERIC_WRITE參數；至于屬性PAGE_WRITECOPY則只需要確保CreateFile()采用了GENERIC_READ和GENERIC_WRITE其中之一即可。DWORD型的參數dwMaximumSizeHigh和dwMaximumSizeLow也是相當重要的，指定了文件的最大字節數，由于這兩個(gè)參數共64位，因此所支持的最大文件長(cháng)度為16EB，幾乎可以滿(mǎn)足任何大數據量文件處理場(chǎng)合的要求。

LPVOID MapViewOfFile(HANDLE hFileMappingObject,
DWORD dwDesiredAccess,
DWORD dwFileOffsetHigh,
DWORD dwFileOffsetLow,
DWORD dwNumberOfBytesToMap);

MapViewOfFile()函數負責把文件數據映射到進(jìn)程的地址空間，參數hFileMappingObject為CreateFileMapping()返回的文件映像對象句柄。參數dwDesiredAccess則再次指定了對文件數據的訪(fǎng)問(wèn)方式，而且同樣要與CreateFileMapping()函數所設置的保護屬性相匹配。雖然這里一再對保護屬性進(jìn)行重復設置看似多余，但卻可以使應用程序能更多的對數據的保護屬性實(shí)行有效控制。MapViewOfFile()函數允許全部或部分映射文件，在映射時(shí)，需要指定數據文件的偏移地址以及待映射的長(cháng)度。其中，文件的偏移地址由DWORD型的參數dwFileOffsetHigh和dwFileOffsetLow組成的64位值來(lái)指定，而且必須是操作系統的分配粒度的整數倍，對于Windows操作系統，分配粒度固定為64KB。當然，也可以通過(guò)如下代碼來(lái)動(dòng)態(tài)獲取當前操作系統的分配粒度：

SYSTEM_INFO sinf;
GetSystemInfo(&sinf);
DWORD dwAllocationGranularity = sinf.dwAllocationGranularity;

參數dwNumberOfBytesToMap指定了數據文件的映射長(cháng)度，這里需要特別指出的是，對于Windows9x操作系統，如果MapViewOfFile()無(wú)法找到足夠大的區域來(lái)存放整個(gè)文件映射對象，將返回空值（NULL）；但是在Windows2000下，MapViewOfFile()只需要為必要的視圖找到足夠大的一個(gè)區域即可，而無(wú)須考慮整個(gè)文件映射對象的大小。

　　在完成對映射到進(jìn)程地址空間區域的文件處理后，需要通過(guò)函數UnmapViewOfFile()完成對文件數據映像的釋放，該函數原型聲明如下：

BOOL UnmapViewOfFile(LPCVOID lpBaseAddress);

唯一的參數lpBaseAddress指定了返回區域的基地址，必須將其設定為MapViewOfFile()的返回值。在使用了函數MapViewOfFile()之后，必須要有對應的UnmapViewOfFile()調用，否則在進(jìn)程終止之前，保留的區域將無(wú)法釋放。除此之外，前面還曾由CreateFile()和CreateFileMapping()函數創(chuàng )建過(guò)文件內核對象和文件映射內核對象，在進(jìn)程終止之前有必要通過(guò)CloseHandle()將其釋放，否則將會(huì )出現資源泄漏的問(wèn)題。

　　除了前面這些必須的API函數之外，在使用內存映射文件時(shí)還要根據情況來(lái)選用其他一些輔助函數。例如，在使用內存映射文件時(shí)，為了提高速度，系統將文件的數據頁(yè)面進(jìn)行高速緩存，而且在處理文件映射視圖時(shí)不立即更新文件的磁盤(pán)映像。為解決這個(gè)問(wèn)題可以考慮使用FlushViewOfFile()函數，該函數強制系統將修改過(guò)的數據部分或全部重新寫(xiě)入磁盤(pán)映像，從而可以確保所有的數據更新能及時(shí)保存到磁盤(pán)。

　　使用內存映射文件處理大文件應用示例

下面結合一個(gè)具體的實(shí)例來(lái)進(jìn)一步講述內存映射文件的使用方法。該實(shí)例從端口接收數據，并實(shí)時(shí)將其存放于磁盤(pán)，由于數據量大（幾十GB），在此選用內存映射文件進(jìn)行處理。下面給出的是位于工作線(xiàn)程MainProc中的部分主要代碼，該線(xiàn)程自程序運行時(shí)啟動(dòng)，當端口有數據到達時(shí)將會(huì )發(fā)出事件hEvent[0]，WaitForMultipleObjects()函數等待到該事件發(fā)生后將接收到的數據保存到磁盤(pán)，如果終止接收將發(fā)出事件hEvent[1]，事件處理過(guò)程將負責完成資源的釋放和文件的關(guān)閉等工作。下面給出此線(xiàn)程處理函數的具體實(shí)現過(guò)程：

……
// 創(chuàng )建文件內核對象，其句柄保存于hFile
HANDLE hFile = CreateFile("Recv1.zip",
GENERIC_WRITE | GENERIC_READ,
FILE_SHARE_READ,
NULL,
CREATE_ALWAYS,
FILE_FLAG_SEQUENTIAL_SCAN,
NULL);

// 創(chuàng )建文件映射內核對象，句柄保存于hFileMapping
HANDLE hFileMapping = CreateFileMapping(hFile,NULL,PAGE_READWRITE,
0, 0x4000000, NULL);
// 釋放文件內核對象
CloseHandle(hFile);

// 設定大小、偏移量等參數
__int64 qwFileSize = 0x4000000;
__int64 qwFileOffset = 0;
__int64 T = 600 * sinf.dwAllocationGranularity;
DWORD dwBytesInBlock = 1000 * sinf.dwAllocationGranularity;

// 將文件數據映射到進(jìn)程的地址空間
PBYTE pbFile = (PBYTE)MapViewOfFile(hFileMapping,
FILE_MAP_ALL_ACCESS,
(DWORD)(qwFileOffset>>32), (DWORD)(qwFileOffset&0xFFFFFFFF), dwBytesInBlock);
while(bLoop)
{
// 捕獲事件hEvent[0]和事件hEvent[1]
DWORD ret = WaitForMultipleObjects(2, hEvent, FALSE, INFINITE);
ret -= WAIT_OBJECT_0;
switch (ret)
{
// 接收數據事件觸發(fā)
case 0:
// 從端口接收數據并保存到內存映射文件
nReadLen=syio_Read(port[1], pbFile + qwFileOffset, QueueLen);
qwFileOffset += nReadLen;

// 當數據寫(xiě)滿(mǎn)60%時(shí)，為防數據溢出，需要在其后開(kāi)辟一新的映射視圖
if (qwFileOffset > T)
{
T = qwFileOffset + 600 * sinf.dwAllocationGranularity;
UnmapViewOfFile(pbFile);
pbFile = (PBYTE)MapViewOfFile(hFileMapping,
FILE_MAP_ALL_ACCESS,
(DWORD)(qwFileOffset>>32), (DWORD)(qwFileOffset&0xFFFFFFFF), dwBytesInBlock);
}
break;

// 終止事件觸發(fā)
case 1:
bLoop = FALSE;

// 從進(jìn)程的地址空間撤消文件數據映像
UnmapViewOfFile(pbFile);

// 關(guān)閉文件映射對象
CloseHandle(hFileMapping);
break;
}
}
…

在終止事件觸發(fā)處理過(guò)程中如果只簡(jiǎn)單的執行UnmapViewOfFile()和CloseHandle()函數將無(wú)法正確標識文件的實(shí)際大小，即如果開(kāi)辟的內存映射文件為30GB，而接收的數據只有14GB，那么上述程序執行完后，保存的文件長(cháng)度仍是30GB。也就是說(shuō)，在處理完成后還要再次通過(guò)內存映射文件的形式將文件恢復到實(shí)際大小，下面是實(shí)現此要求的主要代碼：

// 創(chuàng )建另外一個(gè)文件內核對象
hFile2 = CreateFile("Recv.zip",
GENERIC_WRITE | GENERIC_READ,
FILE_SHARE_READ,
NULL,
CREATE_ALWAYS,
FILE_FLAG_SEQUENTIAL_SCAN,
NULL);

// 以實(shí)際數據長(cháng)度創(chuàng )建另外一個(gè)文件映射內核對象
hFileMapping2 = CreateFileMapping(hFile2,
NULL,
PAGE_READWRITE,
0,
(DWORD)(qwFileOffset&0xFFFFFFFF),
NULL);

// 關(guān)閉文件內核對象
CloseHandle(hFile2);

// 將文件數據映射到進(jìn)程的地址空間
pbFile2 = (PBYTE)MapViewOfFile(hFileMapping2,
FILE_MAP_ALL_ACCESS,
0, 0, qwFileOffset);

// 將數據從原來(lái)的內存映射文件復制到此內存映射文件
memcpy(pbFile2, pbFile, qwFileOffset);

file://從進(jìn)程的地址空間撤消文件數據映像
UnmapViewOfFile(pbFile);
UnmapViewOfFile(pbFile2);

// 關(guān)閉文件映射對象
CloseHandle(hFileMapping);
CloseHandle(hFileMapping2);

// 刪除臨時(shí)文件
DeleteFile("Recv1.zip");

　　結論

經(jīng)實(shí)際測試，內存映射文件在處理大數據量文件時(shí)表現出了良好的性能，比通常使用CFile類(lèi)和ReadFile()和WriteFile()等函數的文件處理方式具有明顯的優(yōu)勢。本文所述代碼在Windows 98下由Microsoft Visual C++ 6.0編譯通過(guò)。

本站僅提供存儲服務(wù)，所有內容均由用戶(hù)發(fā)布，如發(fā)現有害或侵權內容，請點(diǎn)擊舉報。

欧美性猛交XXXX免费看蜜桃,成人网18免费韩国,亚洲国产成人精品区综合,欧美日韩一区二区三区高清不卡,亚洲综合一区二区精品久久