 |  |
 |
2005 年 9 月 日志文件系統可以在系統發(fā)生斷電或者其它系統故障時(shí)保證整體數據的完整性，Linux是目前支持日志文件系統最多的操作系統之一，本文重點(diǎn)研究了Linux常用的日志文件系統：EXT3、ReiserFS、XFS和JFS日志技術(shù)，并采用標準的測試工具PostMark和Bonnie++對它們進(jìn)行了測試，給出了詳細的性能分析，對Linux服務(wù)器應用具有重要的參考價(jià)值。 所謂日志文件系統是在傳統文件系統的基礎上，加入文件系統更改的日志記錄，它的設計思想是：跟蹤記錄文件系統的變化，并將變化內容記錄入日志。日志文件系統在磁盤(pán)分區中保存有日志記錄，寫(xiě)操作首先是對記錄文件進(jìn)行操作，若整個(gè)寫(xiě)操作由于某種原因(如系統掉電)而中斷，系統重啟時(shí)，會(huì )根據日志記錄來(lái)恢復中斷前的寫(xiě)操作。在日志文件系統中，所有的文件系統的變化都被記錄到日志，每隔一定時(shí)間，文件系統會(huì )將更新后的元數據及文件內容寫(xiě)入磁盤(pán)。在對元數據做任何改變以前，文件系統驅動(dòng)程序會(huì )向日志中寫(xiě)入一個(gè)條目，這個(gè)條目描述了它將要做些什么，然后它修改元數據。目前Linux的日志文件系統主要有：在Ext2基礎上開(kāi)發(fā)的Ext3，根據面向對象思想設計的ReiserFS，由SGI IRIX系統移植過(guò)來(lái)的XFS，由IBM AIX系統移植過(guò)來(lái)的JFS，其中EXT3完全兼容EXT2，其磁盤(pán)結構和EXT2完全一樣，只是加入日志技術(shù)；而后三種文件系統廣泛使用了B樹(shù)以提高文件系統的效率。
Ext3文件系統是直接從Ext2文件系統發(fā)展而來(lái)，目前Ext3文件系統已經(jīng)非常穩定可靠，它完全兼容Ext2文件系統，用戶(hù)可以平滑地過(guò)渡到一個(gè)日志功能健全的文件系統。Ext3日志文件系統的思想就是對文件系統進(jìn)行的任何高級修改都分兩步進(jìn)行。首先，把待寫(xiě)塊的一個(gè)副本存放在日志中；其次，當發(fā)往日志的I/O 數據傳送完成時(shí)（即數據提交到日志），塊就寫(xiě)入文件系統。當發(fā)往文件系統的I/O 數據傳送終止時(shí)（即數據提交給文件系統），日志中的塊副本就被丟棄。 Ext3既可以只對元數據做日志，也可以同時(shí)對文件數據塊做日志。具體來(lái)說(shuō)，Ext3提供以下三種日志模式：
Ext3 文件系統本身不處理日志，而是利用日志塊設備（Journaling Block Device）或叫JBD 的通用內核層。Ext3文件系統調用JDB例程以確保在系統萬(wàn)一出現故障時(shí)它的后續操作不會(huì )損壞磁盤(pán)數據結構。Ext3 與JDB 之間的交互本質(zhì)上基于三個(gè)基本單元：日志記錄，原子操作和事務(wù)。 日志記錄本質(zhì)上是文件系統將要發(fā)出的低級操作的描述。在某些日志文件系統中，日志記錄只包括操作所修改的字節范圍及字節在文件系統中的起始位置。然而，JDB 層使用的日志記錄由低級操作所修改的整個(gè)緩沖區組成。這種方式可能浪費很多日志空間（例如，當低級操作僅僅改變位圖的一個(gè)位時(shí)），但是，它還是相當快的，因為JBD 層直接對緩沖區和緩沖區首部進(jìn)行操作。 修改文件系統的任一系統調用都通常劃分為操縱磁盤(pán)數據結構的一系列低級操作。如果這些低級操作還沒(méi)有全部完成系統就意外宕機，就會(huì )損壞磁盤(pán)數據。為了防止數據損壞，Ext3文件系統必須確保每個(gè)系統調用以原子的方式進(jìn)行處理。原子操作是對磁盤(pán)數據結構的一組低級操作，這組低級操作對應一個(gè)單獨的高級操作。 出于效率的原因，JBD 層對日志的處理采用分組的方法，即把屬于幾個(gè)原子操作處理的日志記錄分組放在一個(gè)單獨的事務(wù)中。此外，與一個(gè)處理相關(guān)的所有日志記錄都必須包含在同一個(gè)事務(wù)中。一個(gè)事務(wù)的所有日志記錄都存放在日志的連續塊中。JBD層把每個(gè)事務(wù)作為整體來(lái)處理。例如，只有當包含在一個(gè)事務(wù)的日志記錄中的所有數據提交給文件系統時(shí)才回收該事務(wù)所使用的塊。
ReiserFS是一個(gè)非常優(yōu)秀的文件系統，其開(kāi)發(fā)者非常有魄力，整個(gè)文件系統完全是從頭設計的。目前，ReiserFS可輕松管理上百G的文件系統，這在企業(yè)級應用中非常重要。ReiserFS 是根據面向對象的思想設計的，由語(yǔ)義層（semantic layer)和存儲層（storage layer)組成。語(yǔ)義層主要是對對象命名空間的管理及對象接口的定義，以確定對象的功能。存儲層主要是對磁盤(pán)空間的管理。語(yǔ)義層與存儲層是通過(guò)鍵（key）聯(lián)系的。語(yǔ)義層通過(guò)對對象名進(jìn)行解析生成鍵，存儲層通過(guò)鍵找到對象在磁盤(pán)上存儲空間，鍵值是全局唯一的。 1) 文件接口 每個(gè)文件擁有一個(gè)接口ID，此ID標識一個(gè)方法集，此方法集包含訪(fǎng)問(wèn)ReiserFS 文件的所有接口。 2) 屬性接口 ReiserFS實(shí)現了一種新接口，把文件的每一種屬性當做一個(gè)文件，屬性的值就是此文件的內容，以實(shí)現對文件屬性的目錄式訪(fǎng)問(wèn)。 3) hash接口 目錄是文件名到文件的映射表，ReiserFS是通過(guò)B＋樹(shù)來(lái)實(shí)現這張映射表。由于文件名是變長(cháng)的，而且有時(shí)文件名會(huì )很長(cháng)，所以文件名不適合作為鍵值，故引入了Hash函數來(lái)產(chǎn)生鍵值。 4) 安全接口 安全接口處理所有的安全性檢查，通常是由文件接口觸發(fā)的。下面以讀文件為例：文件接口的read 方法在讀入文件數據之前會(huì )調用安全接口的read chech 方法來(lái)來(lái)進(jìn)行安全性檢查,而后者又會(huì )調用屬性文件的read方法把文件屬性讀入以便檢查。 5) 項（Item）接口 項接口主要是一些對項進(jìn)行平衡處理的方法，包括：項的拆分，項的評估，項的覆寫(xiě)，項的追加，項的刪除，插入及查找。 6) 鍵分配（key Assignment）接口 當把一個(gè)鍵分配給一個(gè)項時(shí)，鍵分配接口就會(huì )被觸發(fā)。每一種項都有一個(gè)與其對應的鍵分配方法。 ReiserFS是以B+樹(shù)來(lái)存儲數據的,其結構如圖： 圖1：ReiserFS B+ 樹(shù)  在B+樹(shù)中的各個(gè)結點(diǎn)中有一個(gè)稱(chēng)為項（Item）的數據結構。項是一個(gè)數據容器，一個(gè)項只屬于一個(gè)結點(diǎn)，是結點(diǎn)管理空間的基本單位。如圖所示，一個(gè)項包括以下內容： 1) Item_body：項的數據域 2) Item_key： 項的鍵值 3) Item_offset：數據域的起點(diǎn)在結點(diǎn)中的偏移量 4) Item_length： 數據域的長(cháng)度 5) Item_Plugin_id：項接口ID。 圖2： ReiserFS 項結構 ReiserFS設計了多種不同的項以存儲不同的數據，主要有以下幾種： 1) static_stat_data： 靜態(tài)統計數據，包括文件的所有者，訪(fǎng)問(wèn)權限，創(chuàng )建時(shí)間，最近修改時(shí)間，鏈接數等 2) cmpnd_dir_item： 包含各個(gè)目錄項 3) extend_pointers： 指向一個(gè)盤(pán)區（extend） 4) node_pointers： 指向一個(gè)結點(diǎn) 5) bodies： 包含的是文件的小部分數據 與ext3一樣，ReiserFS也有三種日志模式，即journal,ordered,writeback。同時(shí)，ReiserFS引入了兩種日志優(yōu)化方法：copy-on-capture和steal-on-capture。copy-on-capture:當一個(gè)事務(wù)要修改的塊在另一個(gè)未提交的事務(wù)中時(shí)，就把這個(gè)塊復制一份，這樣這兩個(gè)事務(wù)就可以并發(fā)進(jìn)行了。steal-on-capture：當一個(gè)塊被多個(gè)事務(wù)修改時(shí)，只有最晚提交的那個(gè)事務(wù)才把這個(gè)塊實(shí)際寫(xiě)入文件系統，其他事務(wù)都不寫(xiě)這個(gè)塊。
XFS 是一種高性能的64 位文件系統，由SGI 公司為了替代原有的EFS 文件系統而開(kāi)發(fā)的。XFS 通過(guò)保持cache 的一致性、定位數據和分布處理磁盤(pán)請求來(lái)提供對文件系統數據的低延遲、高帶寬的訪(fǎng)問(wèn)。目前SGI已經(jīng)將XFS文件系統從IRIX移植到Linux。 當創(chuàng )建 XFS 文件系統時(shí)，底層塊設備被分割成八個(gè)或更多個(gè)大小相等的線(xiàn)性區域（region），用戶(hù)可以將它們想象成"塊"（chunk）或者"線(xiàn)性范圍（range）"，在 XFS 中，每個(gè)區域稱(chēng)為一個(gè)"分配組"。分配組是唯一的，因為每個(gè)分配組管理自己的索引節點(diǎn)（inode）和空閑空間，實(shí)際上是將這些分配組轉化為一種文件子系統，這些子系統透明地存在于 XFS 文件系統內。有了分配組，XFS 代碼將允許多個(gè)線(xiàn)程和進(jìn)程持續以并行方式運行，即使它們中的許多線(xiàn)程和進(jìn)程正在同一文件系統上執行大規模 IO 操作。因此，將 XFS 與某些高端硬件相結合，將獲得高性能而不會(huì )使文件系統成為瓶頸。分配組在內部使用高效的 B+樹(shù)來(lái)跟蹤主要數據，具有優(yōu)越性能和極大的可擴展性。 XFS 也是一種日志記錄文件系統，它允許意外重新引導后的快速恢復。象 ReiserFS 一樣，XFS 使用邏輯日志；它不象 ext3 那樣將文字文件系統塊記錄到日志，而是使用一種高效的磁盤(pán)格式來(lái)記錄元數據的變動(dòng)。就 XFS 而言，邏輯日志記錄是很適合的；在高端硬件上，日志經(jīng)常是整個(gè)文件系統中爭用最多的資源。通過(guò)使用節省空間的邏輯日志記錄，可以將對日志的爭用降至最小。另外，XFS 允許將日志存儲在另一個(gè)塊設備上，例如，另一個(gè)磁盤(pán)上的一個(gè)分區。這個(gè)特性很有用，它進(jìn)一步改進(jìn)了 XFS 文件系統的性能。 延遲分配是 XFS 獨有的特性，它是查找空閑空間區域并用于存儲新數據的過(guò)程。通過(guò)延遲分配，XFS 贏(yíng)得了許多機會(huì )來(lái)優(yōu)化寫(xiě)性能。到了要將數據寫(xiě)到磁盤(pán)的時(shí)候，XFS 能夠以這種優(yōu)化文件系統性能的方式，智能地分配空閑空間。尤其是，如果要將一批新數據添加到單一文件，XFS 可以在磁盤(pán)上分配一個(gè)單一、相鄰區域來(lái)儲存這些數據。如果 XFS 沒(méi)有延遲它的分配決定，那么，它也許已經(jīng)不知不覺(jué)地將數據寫(xiě)到了多個(gè)非相鄰塊中，從而顯著(zhù)地降低了寫(xiě)性能。但是，因為 XFS 延遲了它的分配決定，所以，它能夠一下子寫(xiě)完數據，從而提高了寫(xiě)性能，并減少了整個(gè)文件系統的碎片。在性能上，延遲分配還有另一個(gè)優(yōu)點(diǎn)。在要創(chuàng )建許多"短命的"臨時(shí)文件的情況下，XFS 可能根本不需要將這些文件全部寫(xiě)到磁盤(pán)。因為從未給這些文件分配任何塊，所以，也就不必釋放任何塊，甚至根本沒(méi)有觸及底層文件系統元數據。
JFS 由IBM 公司開(kāi)發(fā)，最初出現在A(yíng)IX 操作系統之上，它提供了基于日志的字節級、面向事務(wù)的高性能文件系統。它具有可伸縮性和健壯性，與非日志文件系統相比，它的優(yōu)點(diǎn)是其快速重啟能力：JFS 能夠在幾秒或幾分鐘內就把文件系統恢復到一致?tīng)顟B(tài)。JFS 是完全 64 位的文件系統。所有 JFS 文件系統結構化字段都是 64 位大小。這允許 JFS 同時(shí)支持大文件和大分區。 為了支持 DCE DFS（分布式計算環(huán)境分布式文件系統），JFS 將磁盤(pán)空間分配池（稱(chēng)為聚集）的概念, 與可安裝的文件系統子樹(shù)（稱(chēng)為文件集）的概念分開(kāi)。每個(gè)分區只有一個(gè)聚集；每個(gè)聚集可能有多個(gè)文件集。在第一個(gè)發(fā)行版中，JFS 僅支持每個(gè)聚集一個(gè)文件集；但是，所有元數據都已設計成適用于所有情況。 如圖3所示，聚集開(kāi)始部分是32K的保留區，緊隨其后的是聚集主超級塊。超級塊包含聚集的信息，例如：聚集的大小、分配組的大小、聚集塊的尺寸等等。超級塊位于固定位置，這使得 JFS 不依賴(lài)任何其它信息，就能夠找到它們。在聚集中還有一個(gè)重要的結構是聚集索引結點(diǎn)表（Aggregate Inode Table）以及用于其映射的聚集索引結點(diǎn)分配映射表（Aggregate Inode Allocation Map）。AIT表中的inode 0 保留，inode 1 描述聚集本身，inode 2 描述聚集塊映射表（block map）， inode 3 描述安裝時(shí)的內嵌日志，inode 4 描述在聚集格式化期間發(fā)現的壞塊，保留inode 5 到 15 以備將來(lái)擴展。 從inode 16 開(kāi)始，每個(gè)inode代表一個(gè)文件集。文件集中也有索引結點(diǎn)表以及用于其映射的索引結點(diǎn)分配映射表，文件集中的inode 描述文件集中的每一個(gè)文件。 圖3 JFS磁盤(pán)結構 JFS 使用基于盤(pán)區的尋址結構，連同主動(dòng)的塊分配策略，產(chǎn)生緊湊、高效、可伸縮的結構，以將文件中的邏輯偏移量映射成磁盤(pán)上的物理地址。盤(pán)區是象一個(gè)單元那樣分配給文件的相連塊序列，可用一個(gè)由 <邏輯偏移量，長(cháng)度，物理地址> 組成的三元組來(lái)描述。尋址結構是一棵 B+ 樹(shù)，該樹(shù)由盤(pán)區描述符（上面提到的三元組）填充，根在 inode 中，鍵為文件中的邏輯偏移量。 JFS 按需為磁盤(pán) inode 動(dòng)態(tài)地分配空間，同時(shí)釋放不再需要的空間。這一支持避開(kāi)了在文件系統創(chuàng )建期間，為磁盤(pán) inode 保留固定數量空間的傳統方法，因此用戶(hù)不再需要估計文件系統包含的文件和目錄最大數目。另外，這一支持使磁盤(pán) inode 與固定磁盤(pán)位置分離。 JFS 提供兩種不同的目錄組織。第一種組織用于小目錄，并且在目錄的 inode 內存儲目錄內容。這就不再需要不同的目錄塊 I/O，同時(shí)也不再需要分配不同的存儲器。最多可有 8 個(gè)項可直接存儲在 inode 中，這些項不包括自己(.)和父(..)目錄項，這兩個(gè)項存儲在 inode 中不同的區域內。第二種組織用于較大的目錄，用按名字鍵控的 B+ 樹(shù)表示每個(gè)目錄。與傳統無(wú)序的目錄組織比較，它提供更快的目錄查找、插入和刪除能力。
所用的測試工具是Postmark和Bonnie++。Postmark主要用于測試文件系統在郵件系統或電子商務(wù)系統中性能，這類(lèi)應用的特點(diǎn)是：需要頻繁、大量地存取小文件。而B(niǎo)onnie++主要測試大文件的IO性能。 下面將詳細分析用上述兩種測試工具在各種測試參數配置下的結果。 圖4 PostMark 小文件 圖 4是PostMark測試小文件的結果，其參數是文件大小50B增至1K, 同一目錄下的文件數從5k至20k，事務(wù)總數為25k。從圖中我們可以看出： 1. 不論是Ext3 還是ReiserFS,在三種日志模式中，寫(xiě)回（writeback）最快，預定（ordered）次之，日志（journal）最慢。 2. 在各種文件系統中，ReiserFS 的寫(xiě)回和預定模式是最快的，且隨著(zhù)文件數的增加事務(wù)處理速度下降的也很慢。 3. Ext3在文件數較少時(shí)，事務(wù)處理速度也比較快，但當文件數超過(guò)10k后，速度就比較慢了。 4. XFS和JFS的速度較慢，但隨著(zhù)文件數的增加，速度下降的比較緩慢。 圖5 PostMark 大文件 圖5是PostMark測試大文件的結果，其參數是文件大小1k至16K,同一目錄下的文件數從5k增至20k，事務(wù)總數為25k時(shí)的測試結果。從圖中我們可以看出： 1. 在處理大文件時(shí)，當文件數達到15k時(shí)，各種文件系統處理能力都較差。 2. 當文件數在小于10k時(shí)，ReiserFS的寫(xiě)回、預定模式和EXT3的寫(xiě)回模式性能是比較好的。但這兩種文件系統的全日志模式都比較差。 3. XFS文件系統的性能居中，JFS文件系統的性能最差。 圖6：Bonnie++順序寫(xiě)的速率 圖7：Bonnie++順序寫(xiě)時(shí)CPU利用率 圖6是Bonnie++對文件大小分別為1G，2G，4G順序寫(xiě)的性能比較，圖7是其CPU的利用率比較。從上述兩圖中我們可以看出： 1. 除了Ext3和ReiserFS的Journal模式的性能較差外，其他幾種模式和XFS、JFS寫(xiě)磁盤(pán)的速率相當。 2. 從CPU利用率來(lái)看，各種文件系統的CPU利用率都比較低，而且隨著(zhù)數據量的增大CPU的利用率降低。 3. Journal模式的CPU利用率比其他兩種模式要低。 圖8：Bonnie++ 順序創(chuàng )建文件 圖9：Bonnie++ 隨機創(chuàng )建文件 圖10：Bonnie++ 隨機刪除文件 圖11：Bonnie++ 隨機刪除文件時(shí)的CPU利用率 圖8至圖11是Bonnie++對創(chuàng )建和刪除文件的性能比較，文件數由50k增至400k。從中可以看出： 1. 不管是創(chuàng )建文件，還是刪除文件，Ext3和ReiserFS的三種日志模式之間的性能差別可以忽略不計。這主要是由于創(chuàng )建、刪除文件都是對元數據的操作，而對元數據的操作三種模式之間本身就沒(méi)有什么區別。 2. 不管是創(chuàng )建文件，還是刪除文件，Ext3的性能都比較差；ReiserFS的性能是最好的，特別是文件數少于100k時(shí)。這主要是由于Ext3是基于Ext2的，其目錄項是線(xiàn)性組織的，而其他文件系統都是樹(shù)形結構。 3. 從CPU的利用率來(lái)看，除Ext3的利用率交給外，其他幾種文件系統的利用率都很低。 綜上所述，我們可以得出以下結論： 1. 在小型系統，如：郵件系統或小規模的電子商務(wù)系統應用時(shí)，ReiserFS和Ext3 的性能是比較好的。但由于Ext3的目錄項是線(xiàn)型的，而ReiserFS的目錄項是樹(shù)型的，故當目錄下文件較多時(shí)，ReiserFS的性能更優(yōu)。 2. 在對于上G的這種大文件做I/O時(shí)，各種文件系統間的性能差距很小，性能瓶頸往往在磁盤(pán)上。 3. 雖然XFS和JFS在設計結構上都比較好，但它們主要是針對大中型系統的，在小型系統中由于硬件的原因性能發(fā)揮不明顯。 4. 全日志模式和預定、寫(xiě)回這兩種模式相比，性能差距是比較大的；而預定和寫(xiě)回之間的性能差距不大。所以性能和安全兼顧時(shí)，文件系統的缺省安全模式，即預定模式是比較好的選擇。
|
聯(lián)系客服
