內存區域

SQL Server是分2塊區域來(lái)組織內存分配，分別是Bpool (緩沖池區)和MemToLeave （內存釋放區），如果你使用AWE內存，那么實(shí)際上有第三個(gè)區：Windows AWE支持的高于3GB的物理內存區。

緩沖池區是這3塊內存區中最卓越的，是SQL SERVER最初分配的緩沖池供最初的數據頁(yè)和索引頁(yè)使用，并且被用來(lái)分配小于8K的內存。MemToLeave 是由虛擬內存空間組成包括在用戶(hù)內存空間沒(méi)有被緩沖池區使用的內存空間之中。Windows AWE調用3GB以上內存空間的函數作為緩沖池區的擴展可以提供額外的內存空間緩存數據頁(yè)和索引頁(yè)。

當你啟動(dòng)SQL SERVER時(shí)，緩沖池區的上限是根據機器中物理內存推算或用戶(hù)內存空間的大小。一旦緩沖池區的大小被確定，內存釋放區就緊隨其后,不至于被后面的緩沖池區保留部分劃分成分散的碎片。然后緩沖池區又在內存釋放區旁邊，使用32塊單獨的保留區運行DLL文件和其他在緩沖池區被預定時(shí)SQL SERVER中使用的虛擬內存空間。當緩沖池區被預留后，內存釋放區被釋放。這段區域被SQL SERVER內部用來(lái)擴展8K的數據頁(yè)和分配給其他外部應用(就像:內存消費者是SQL SERVER主要引擎以外的SQL SERVER進(jìn)程),比如:OLE DB providers,COM對象等等.

因此,當SQL SERVER已經(jīng)啟動(dòng), Bpool (緩沖池區)就被預留,但不提交,同時(shí)在該進(jìn)程在虛擬內存空間內的MemToLeave （內存釋放區）其實(shí)是空閑區域.如果你通過(guò)性能分析器的 Virtual Bytes Perform 計數器,在SQL Server啟動(dòng)后看SQL SERVER的進(jìn)程,你會(huì )看到它可以反映Bpool (緩沖池區)預留區.我看到人們有些驚慌,因為這個(gè)數值比較高—畢竟,它反映的不是本機器的總共物理內存就是最大的用戶(hù)內存空間減去MemToLeave （內存釋放區）.這是不用擔心的,比較而言這只是保留區,沒(méi)有提交的空間.就如我前面所述,保留空間只是地址空間—并沒(méi)有真實(shí)的物理內存存儲直到內存空間被提交. 隨著(zhù)時(shí)間的過(guò)去,內存空間被提交,Bpool (緩沖池區)將會(huì )增加,知道該SERVER原始啟動(dòng)時(shí)確定的上限.

監控SQL Server虛擬內存的使用

     你可以通過(guò) SQL Server:Buffer Manager\Target Pages Perform計數器跟蹤Bpool (緩沖池區)確定的最大空間.因為SERVER不同的部分需要內存, Bpool (緩沖池區)提交8K大小的頁(yè)(這是原始保留的直到提交的大小到達確定目標).你可以通過(guò) SQL Server:Buffer Manager\Total Pages Perform計數器跟蹤Bpool (緩沖池區)使用的提交虛擬內存, 你可以通過(guò) Pivate Bytes計數器跟蹤SQL Server進(jìn)程使用的全部提交的虛擬內存.

因為, 大部分的SQL Server的虛擬內存的使用是來(lái)自于Bpool (緩沖池區),通過(guò)上面2個(gè)計數器可以知道. 一般而言增長(cháng)和平穩是一前一后地.(請牢記:當應用程序啟動(dòng)了對AWE的支持, Pivate Bytes計數器不能反映總體SQL Server內存使用情況).如果Total Pages Perform計數器是水平的而Pivate Bytes計數器是向上傾斜的,這一般表示正在從MemToLeave （內存釋放區）分配新的內存.這個(gè)分配過(guò)程會(huì )正常結束—例如:在SERVER中分配相關(guān)聯(lián)的線(xiàn)程堆棧作為附加的工作線(xiàn)程,這也有可能是一個(gè)內部測COM對象或XPROC的內存泄漏.如果一個(gè)程序因為MemToLeave （內存釋放區）耗盡而用完虛擬內存空間,這是由于內存泄漏或內存過(guò)度消費.(或者在MemToLeave （內存釋放區）中最大空閑塊降低到默認線(xiàn)程堆棧0.5MB以下),這樣SERVER就不能產(chǎn)生新的工作線(xiàn)程,即使在sp_configure max worker threads 的值沒(méi)有到.在這種情況下,如果SERVER需要產(chǎn)生新的工作線(xiàn)程來(lái)執行一個(gè)工作請求—比如:處理一個(gè)對SERVER的新的連接請求,這些工作將會(huì )延遲,直到SERVER可以產(chǎn)生新的線(xiàn)程或其他的線(xiàn)程可以使用.這樣,在有足夠的MemToLeave （內存釋放區）釋放或其他的工作線(xiàn)程可以有效的處理連接之前,系統會(huì )阻止一個(gè)用戶(hù)連接到SERVER,因為這個(gè)連接會(huì )超時(shí)中止(time out).

內存分配器

    在SERVER中一個(gè)內存的消費者初始化一個(gè)內存分配器,首先是產(chǎn)生一個(gè)內存對象來(lái)管理這些請求.當這個(gè)對象來(lái)分配這些請求,他在SERVER的內存管理器中,從Bpool (緩沖池區)或MemToLeave （內存釋放區）來(lái)履行這些請求.如果這些請求小于8K,這些請求通常在Bpool (緩沖池區) 分配.如果請求需要8K或以上的內存空間, 這些請求通常在MemToLeave （內存釋放區）分配.因為一個(gè)單獨的內存對象可以用來(lái)執行多次內存分配.所以有可能一次內存分配正好在8K以下(包括管理對象的消費)的請求被分配在MemToLeave （內存釋放區）. 在SQL Server的處理空間中,內存消費者通常是內部的.換句話(huà)說(shuō),這些內存消費者和對象是SQL Server自己的規范需要消耗內存來(lái)執行任務(wù),但也不一定都這樣.也存在一些外部的消費者,就像我前面鎖說(shuō)的.通常,這些外部的內存消費者調用正常的Win32 API內存函數來(lái)分配和管理內存,并且從MemToLeave （內存釋放區）分配內存空間,非常明顯這是SQL Server程序中唯一有效的區域. 可是XPROCS有特殊的異常處理,當一個(gè)xproc調用Open Data Services(ODS)  srv_alloc API函數,這完全和其他的內存消費者一樣. 一般而言srv_alloc API函數從Bpool (緩沖池區)申請小于8K的內存,對于大的內存從MemToLeave （內存釋放區）分配.

內存管理者

當SERVER運行時(shí),內存管理者檢查物理內存的剩余有效容量,以保證WINDOWS和其他的應用程序可以可以平穩的運行.這個(gè)有效內存的大小在4MB和10MB直接變化.(在WINDOWS 2003中更接近10MB)并且這個(gè)基于系統內核加載和Bpool (緩沖池區)中的頁(yè)生命周期.如果SERVER上的有效物理內存空間在這個(gè)閥值以下,SERVER會(huì )減少提交Bpool (緩沖池區)頁(yè)來(lái)收縮內存物理存儲的使用(假設動(dòng)態(tài)內存分配是激活的).內存管理者也保證提交的內存頁(yè)在指定的時(shí)間點(diǎn)后空閑,這樣在接受到一個(gè)新的分配請求時(shí),就不再需要等待內存分配.通過(guò)”空閑”,我的意思是:內存頁(yè)提交后,但沒(méi)有被使用.沒(méi)有使用的提交Bpool (緩沖池區)頁(yè)可以通過(guò)一個(gè)空閑頁(yè)清單來(lái)跟蹤.這樣所有得新得頁(yè)都來(lái)自空閑頁(yè)清單, 內存管理者從Bpool (緩沖池區)預留區提交更多得頁(yè)直到全部得預留區被提交.你看:Process:Private Bytes Perfmon 計數器緩慢增長(cháng)(通常是成直線(xiàn)的)就是這個(gè)原因.

在多CPU系統中,沒(méi)一個(gè)都有自己?jiǎn)为毜目臻e頁(yè)清單,當一個(gè)空閑頁(yè)被要求響應一個(gè)應用程序的請求,首先在當前的CPU的空閑頁(yè)清單中滿(mǎn)足分配的空間被檢查,然后是其他CPU的空閑頁(yè)清單.這樣更好的利用每個(gè)處理器的本地緩存,提高了在多處理器的SERVER上提高穩定性.你可以通過(guò)SQL Server:Buffer Partition Perform對象監視指定的Bpool (緩沖池區)區,你可以可以通過(guò)SQL Server:Buffer Manager\Free Pages Perform計數器監視所有的Bpool (緩沖池區)區.

因此在SQL SERVER整個(gè)運行過(guò)程中,SQL SERVER的內存處理器(無(wú)論內存線(xiàn)程管理器或同其他的線(xiàn)程服務(wù))監視系統的內存使用狀態(tài),確認合理的剩余空閑物理內存的數量給其他的系統和預留合理的空閑頁(yè)響應新的內存請求.當SERVER使用AWE內存,有些內存狀態(tài)必需改變. Bpool (緩沖池區)區開(kāi)始通過(guò)SERVER的物理內存中獲得和鎖定內存,內存鎖的數量的變化是根據服務(wù)器最大內存是否設置了.如果配置了, Bpool (緩沖池區)區試圖根據最大的服務(wù)器內存鎖住相應數量的內存.如果沒(méi)有配置, Bpool (緩沖池區)區會(huì )鎖住接近128MB內存的所有物理內存,只有少量的區域留給其他處理.然后Bpool (緩沖池區)區使用高于3G的物理內存(AWE內存)用作運行數據和索引的頁(yè)文件. Bpool (緩沖池區)區根據需要映射物理內存和虛擬內存,因此可以被32位的指針引用.

概述

你已經(jīng)知道了:SQL Server內存管理器是一個(gè)難點(diǎn).理解一個(gè)程序是如何分配和管理內存是了解一個(gè)程序如何工作的基礎.內存是非常重要的資源,它的有效利用是一個(gè)可靠應用程序設計的基本因素,懂得一個(gè)應用程序內存管理機制會(huì )是你的程序設計如虎添翼.

一個(gè)開(kāi)發(fā)者,他是如何影響你呢?理解SERVER的內存管理機制賦予你如何寫(xiě)一個(gè)高效的應用程序和解決一些和內存相關(guān)聯(lián)問(wèn)題的洞察力. 比如說(shuō),在一個(gè)提高客戶(hù)端連接速度的調試中,你提高SQL Server的默認網(wǎng)絡(luò )包的大小為8K., 立即,SQL SERVER立刻開(kāi)始在ERROR LOG中寫(xiě)錯誤信息,提示預留虛擬內存在MemToLeave （內存釋放區）區有問(wèn)題.在看到這樣的信息后你立刻會(huì )知道這個(gè)改變至少是問(wèn)題的一部分,因為你知道分配8K或更多的內存是在MemToLeave （內存釋放區）區. 這樣SQL Server連接相關(guān)聯(lián)的緩存也是來(lái)自這個(gè)區域,因為你已經(jīng)配置網(wǎng)絡(luò )包的大小太高了.配置默認的網(wǎng)絡(luò )包適合于.NET framework的SQLClinet Provider 8KB.這種情況并不象聽(tīng)起來(lái)那么合理.實(shí)際上,這是非常常見(jiàn)的問(wèn)題,由于MemToLeave  (內存釋放區）缺乏內存空間而引起的,因為網(wǎng)絡(luò )包的大小太大,至少有些部分是這樣的.

同時(shí),了解SQL Server劃分內存的方法可以幫助你了解你定制在SQL Server中運行的代碼是否在系統資源的臨界值,比如數據緩存. 比如說(shuō),你建立一個(gè)擴展存儲過(guò)程調用SRV_PRO()函數來(lái)分配內存.假設,暫時(shí)你代碼中分配的緩存小于8KB.根據我們前面的討論,我們知道擴展存儲過(guò)程是從Bpool (緩沖池區)來(lái)分配內存.—可以用作數據緩存.

了解SQL Server是如何管理內存的,可以幫助我們按大小排列系統的開(kāi)始順序.這可以幫助你計算你所需的物理內存的數量和如何分配和分區給SQL SERVER.比如:良好的理解AWE