長(cháng)期以來(lái)，磁盤(pán)帶寬的增長(cháng)速度都遠小于計算能力的增長(cháng)速度，而雙核、四核乃至多核服務(wù)器的普及與發(fā)展讓這種不匹配的差距進(jìn)一步拉大。包括RAID陣列等，我們目前有多種技術(shù)可提高I/O性能，并行文件系統也是其中之一。它可以把多個(gè)結點(diǎn)上的磁盤(pán)組織成為一個(gè)大的存儲系統，提供更大的存儲容量和聚集的I/O帶寬，并隨系統規模的擴大而擴展，在多種存儲環(huán)境下發(fā)揮著(zhù)重要的作用，尤其是集群結構的高性能計算領(lǐng)域。
高性能計算的存儲基石
隨著(zhù)網(wǎng)絡(luò )的高速發(fā)展，如何管理高速網(wǎng)絡(luò )上互聯(lián)的計算機的集群系統，建立一種性能優(yōu)越的并行文件系統是一件非常重要的事情，這樣可以使整個(gè)集群系統可以具備高可用性、可擴展性和高可靠性，從而構建出上千節點(diǎn)的超大規模集群計算機，為整個(gè)網(wǎng)絡(luò )提供性?xún)r(jià)比高的集群服務(wù)器和超強的網(wǎng)格節點(diǎn)。
目前各個(gè)研究機構和商業(yè)團體對并行文件系統的研究比較看重，取得了不少的技術(shù)進(jìn)步和 相關(guān)的商業(yè)產(chǎn)品，我們對整個(gè)分布式并行文件系統研究情況大致可以分為三類(lèi)： 商業(yè)用途的并行文件系統；公開(kāi)的分布式并行文件系統；供研究的并行文件系統。
并行文件系統工作原理
其中較為成熟的商用并行文件系統，像 IBM 的 GPFS，Intel 的 PFS等在性能，可用性上均有良好表現，但都價(jià)格昂貴，且需要特殊的存儲設備的支持，給普通用戶(hù)構建集群服務(wù)器帶來(lái)困難。對于公開(kāi)源碼的并行文件系統，聲譽(yù)最好的是 Clemson 大學(xué)和 NASA 實(shí)驗室聯(lián)合開(kāi)發(fā)的 PVFS，它相對與傳統的集中存儲 NFS具有良好的性能。由于它采用單一元數據服務(wù)器的集中管理方式和存儲節點(diǎn)的靜態(tài)配置，因而不具備容錯性和動(dòng)態(tài)可擴展性。
另外，由 HP、Intel 贊助，Cluster File System 公司開(kāi)發(fā)的面向對象存儲的并行文件系統 Lustre吸收了很多文件系統（Code， InterMezzo）的優(yōu)點(diǎn)。它采用智能化的對象存儲設備（Object StorageDevice），在性能方面具有很大優(yōu)勢，在可用行和動(dòng)態(tài)可擴展性上的表現仍然有待研究和完善。而 XFS是作為最早的Serverlesss分布式文件系統，主要側重于通過(guò)合作式緩存來(lái)提高讀寫(xiě)性能，不具備系統的在線(xiàn)動(dòng)態(tài)擴展功能，并沒(méi)能真正實(shí)用起來(lái)。
我們對這些系統分別做出分析，讓我們可以更深入的了解并行文件系統的構成和功能。
xFS：走入象牙塔的學(xué)院派
xFS作為一種采用無(wú)服務(wù)方式以提供可擴展的文件服務(wù)的機群文件系統。它同 zebra 一樣，xFS 集成了存儲分組結構和日志結構，并且也實(shí)現了數據存儲于元數據管理的彼此分離。
xFS 通過(guò)全部分布數據存儲于元數據管理的功能減少了集中的瓶頸。為了獲得更高的性能，xFS采用了合作緩存，一種通過(guò)各客戶(hù)緩存的協(xié)調合作來(lái)替代傳統的集中的服務(wù)端緩存。在 xFS中，任何機器都可以緩存、存儲或則控制任意的數據塊，這種方式可以提供比傳統文件系統結構更好的性能和可擴展性。
xFS并行文件系統存取原理
xFS 的一個(gè)主要的特點(diǎn)是它的合作緩存的算法，即是“N-Chance”算法。這種算法動(dòng)態(tài)地把每個(gè)客戶(hù)端的緩存分開(kāi)成塊，以提供給當地的和那些存儲在合作緩存的應用程序的應用。算法的置換機制是綜合應用了當地“LRU”信息和重復避免（duplicate avoidance）以決定所最應該置換的塊。
實(shí)際上，xFS 所應用的緩存結構與遠端緩存結構以及“Feeley”描述的全局存儲服務(wù)（GMS）具有相類(lèi)似的構想。GMS比“N-Chance”算法更具有通用性，但它沒(méi)有提供一致性機制并且依靠一種集中式的算法來(lái)決定塊的置換。Sarkar andHartman提出了一種基于提示（hint-based）的合作緩存方式,這種方式可以減少客戶(hù)機在通過(guò)提示調用和置換塊是對管理者的依靠性。實(shí)驗表明這種方式可以在增加少量的負載的情況下獲得同 xFS 所相似的效果。
xFS的缺陷包括：它必須維護在文件級粒度下的緩存一致性，否則可能導致在某些情況下的共享錯誤問(wèn)題（false-sharingproblem）。同時(shí)不具備系統的在線(xiàn)動(dòng)態(tài)擴展功能，這使得xFS在集群文件系統中并沒(méi)有真正得到應用，實(shí)際上局限于實(shí)驗室的象牙塔中。
COSMOS：自主研發(fā)的實(shí)用型文件系統
COSMOS 并行系統是我們國家自己研制的一種可擴展單一映象集群的文件系統，它部署在曙光 3000超級服務(wù)器上，具有很好的操作性能。COSMOS 的底層基于A(yíng)IX文件系統JFS，系統中每個(gè)節點(diǎn)通過(guò)高速網(wǎng)絡(luò )互相連接，COSMOS構建于這些操作系統平臺之上，向用戶(hù)提供文件服務(wù)。
COSMOS分片數據管理模式
在整個(gè)COSMOS并行系統中，系統是由核心相關(guān)層（kernel）和用戶(hù)層兩部分組成。核心層是在虛擬文件系統一級中實(shí)現的，它接收來(lái)自邏輯文件系統的 I/O請求，并以一定的格式轉發(fā)給用戶(hù)層。而 COSMOS 的用戶(hù)層是由 3類(lèi)用戶(hù)進(jìn)程構成，被分別稱(chēng)為客戶(hù)(client)、元數據管理器(manager)和存儲服務(wù)器(storage)，它們協(xié)調工作，共同完成核心層轉發(fā)過(guò)來(lái)的I/O請求。
其中storage實(shí)現具體的數據存儲，client完成數據及元數據的緩存，而manager負責緩存一致性的維護及元數據的存儲管理。需要存取 COSMOS 文件系統的節點(diǎn)要配置client，本地磁盤(pán)上存有 COSMOS 子文件數據的節點(diǎn)要配置 storage，對于 manager，通常是平均每數個(gè)節點(diǎn)才配置一個(gè)。
COSMOS 中文件數據的定位是由管理服務(wù)器來(lái)完成的，并且在 COSMOS中實(shí)現的是分布式的元數據管理機制以提供可擴展的定位服務(wù)。另外，管理服務(wù)器的另一個(gè)任務(wù)是維持緩存的一致性。在 COSMOS中，每一個(gè)管理服務(wù)器負責維護整個(gè)文件系統的一個(gè)子集的位置信息，管理服務(wù)器可以應用這種信息來(lái)轉發(fā) I/O需求到正確的位置信息（合作緩存或附屬存儲器）。管理服務(wù)器也控制對相同數據塊的并行存取。COSMOS利用一個(gè)管理服務(wù)器映射來(lái)實(shí)現分布式元數據管理。這種映射包括了一系列的機器標志符，運用這個(gè)可以知道哪個(gè)機器管理文件系統的哪一部分子集。
相比較 xFS，COSMOS 的低層是基于 JFS 來(lái)實(shí)現的，沒(méi)有實(shí)現日志管理功能，因此元數據的內容和組織是不同的。在COSMOS 中，沒(méi)有必要記錄在一個(gè)節點(diǎn)中記錄每個(gè)數據塊的磁盤(pán)位置信息，而是“塊組ID，起始節點(diǎn)”對信息被記錄在節點(diǎn)中。起始節點(diǎn)標志了起始塊存儲在哪個(gè)機器上。因為不同的緩存一致性協(xié)議，緩存相關(guān)的元數據的內容和組織也是不相同的。為了減少網(wǎng)絡(luò )的負載，COSMOS 直接將元數據和目錄文件存儲在管理服務(wù)器上，這是與 xFS 不同的另一個(gè)方面，在 xFS中，目錄文件和元數據都存儲在存儲服務(wù)器上，這是由 xFS 采用的日志結構所決定的。
GPFS：商業(yè)并行文件系統代表
我們再看看 GPFS 這個(gè)商業(yè)產(chǎn)品，GPFS 是用于IBM Linux 集群系統的高性能、可擴展、并行文件系統。它可以通過(guò)所有的集群節點(diǎn)來(lái)共享文件。GPFS 可以充分利用 IBM Linux集群系統中的“虛擬”共享磁盤(pán)，使得在多節點(diǎn)上運行的多個(gè)應用程序可以同時(shí)讀寫(xiě)同一文件；它包含了 IBM可擴展集群系統技術(shù)（RSCT），可將存儲內容自動(dòng)恢復到活節點(diǎn)；在發(fā)生故障時(shí)，記錄（日志）能夠快速恢復數據，并恢復數據的一致性；具有文件訪(fǎng)問(wèn)的單一鏡像，可以從任意節點(diǎn)訪(fǎng)問(wèn)文件，而無(wú)需改變應用程序。
GPFS文件管理模式
在 GPFS 中，通過(guò)它的共享磁盤(pán)結構來(lái)實(shí)現它的強大的擴展性，一個(gè) GPFS系統由許多集群節點(diǎn)組成，GPFS文件系統和應用程序在上面運行。這些節點(diǎn)通過(guò)光纖交換機連接磁盤(pán)和子磁盤(pán)。所有的節點(diǎn)對所有的磁盤(pán)有相同的訪(fǎng)問(wèn)權。文件被分割存儲在文件系統中所有的磁盤(pán)上。用來(lái)連接文件系統和磁盤(pán)的光纖通道是由存儲區域網(wǎng)(SAN)所組成，例如光纖通道或者 iSCSI。還有個(gè)別的磁盤(pán)依附于一些 I/O節點(diǎn)，它們通過(guò)一個(gè)運行在通用的網(wǎng)絡(luò )上的軟件層來(lái)實(shí)現存取，例如 IBM 的運行于 SP switch 上的虛擬共享磁盤(pán)。
GPFS依靠一個(gè)組服務(wù)層，通過(guò)監測節點(diǎn)和通訊連接出錯的早期征兆，來(lái)監測節點(diǎn)錯誤，并且提供了一個(gè)組成員協(xié)議。當一個(gè)節點(diǎn)出現錯誤時(shí)，這個(gè)服務(wù)層通知其余的節點(diǎn)組成員變化了，通過(guò)早期的行為來(lái)觸發(fā)恢復程序。導致通訊失敗的原因，如網(wǎng)絡(luò )適配器損壞、線(xiàn)纜松動(dòng)導致孤立節點(diǎn)、光纖交換機可以產(chǎn)生了一個(gè)不可識別的網(wǎng)絡(luò )分區等。
因為 GPFS 把數據和元數據條塊化存儲在文件系統中的所有磁盤(pán)上，所以損失單個(gè)磁盤(pán)也 會(huì )不同程度的影響文件。因此，典型的GPFS 用雙重附帶的 RAID 控制器。大型的 GPFS 文件系統分布在多個(gè) RAID 上，這種情況下，文件系統塊大小和 RAID的匹配就非常重要，這樣可以防止寫(xiě)數據時(shí)發(fā)生奇偶校驗的錯誤。
作為 RAID 的替代或補充，GPFS支持替代機制，它為每個(gè)數據和元數據塊都分配空間，將兩份拷貝存在兩個(gè)不同的磁盤(pán)上。當一個(gè)磁盤(pán)不可靠時(shí)，GPFS會(huì )追蹤上面文件塊的更新，以便磁盤(pán)恢復時(shí)恢復數據。如果磁盤(pán)完全無(wú)效了，它會(huì )用備份來(lái)代替所有可能影響到其他磁盤(pán)的塊。數據和元數據可以單獨的運行這種恢復機制。事實(shí)上當一個(gè)磁盤(pán)部分磁道不可讀時(shí)，元數據的恢復保證了只需要恢復很少的幾個(gè)數據塊，而不需要徹底的去恢復很多文件。
PVFS：虛擬并行文件系統
PVFS用來(lái)為運行 Linux 操作系統的 PC群集創(chuàng )建一個(gè)開(kāi)放源碼的并行文件系統。PVFS 已被廣泛地用作臨時(shí)存儲的高性能的大型文件系統和并行 I/O研究的基礎架構。作為一個(gè)并行文件系統，PVFS將數據存儲到多個(gè)群集節點(diǎn)的已有的文件系統中，而且多個(gè)客戶(hù)端可以同時(shí)訪(fǎng)問(wèn)這些數據。
PVFS 具有很多優(yōu)點(diǎn)，它可以提供一個(gè)全局命名空間，可以將數據分配到多個(gè)磁盤(pán)上，并且允許使用不同的用戶(hù)界面，還可以包含其它的I/O 接口來(lái)支持大型文件。該并行文件系統最早是Clemson大學(xué)的并行虛擬文件系統（PVFS）項目，由于該并行文件系統可開(kāi)放源代碼進(jìn)行二次開(kāi)發(fā)，因此在高性能計算系統的并行文件系統中占有獨特的地位。
為高速訪(fǎng)問(wèn)群集中的文件系統，PVFS 將文件數據進(jìn)行條塊化劃分，分散存儲到某些群集節點(diǎn)（稱(chēng)作 I/O節點(diǎn)）的多個(gè)磁盤(pán)上。條塊化數據的方法可在群集上提供相當大的存儲容量，具體容量取決于群集中節點(diǎn)的數量。PVFS所帶來(lái)的存儲容量可以為用戶(hù)提供整個(gè)集群內的大型全局操作空間。
與很多網(wǎng)絡(luò )文件系統或并行文件系統一樣，PVFS 是利用客戶(hù)端－服務(wù)器架構實(shí)現的。它利用一組協(xié)作的用戶(hù)空間進(jìn)程（daemon），提供一個(gè)群集范圍內的一致的命名空間，并將數據條塊化，分配到多個(gè)群集節點(diǎn)中。
PVFS 客戶(hù)和服務(wù)器之間的消息傳遞通過(guò) TCP/IP 來(lái)完成，提供可靠的通訊環(huán)境。所有的 PVFS 文件系統數據都保存在I/O 節點(diǎn)的本地文件系統中，本地的文件系統可以是一個(gè)硬盤(pán)驅動(dòng)器上的一個(gè)分區，可以是整個(gè)磁盤(pán)驅動(dòng)器，也可以利用本地所支持的 Linux文件系統（例如 ext2，ext3 和 ReiserFS）所提供的多個(gè)磁盤(pán)驅動(dòng)器的邏輯卷。
PVFS 使用管理節點(diǎn)，I/O節點(diǎn)和計算節點(diǎn)三種類(lèi)型的節點(diǎn)。一個(gè)群集節點(diǎn)可以提供其中的一種功能，也可以同時(shí)提供其中的兩種功能或三種功能。但是 PVFS還是存在不少問(wèn)題，比方說(shuō)它的集中的元數據管理可能成為整個(gè)系統的瓶頸，可擴展性受到一定限制。還有它的系統中的數據沒(méi)有采取相應的容錯機制，系統的可用性有待提高。由于是采用的靜態(tài)配置，因此不具備動(dòng)態(tài)擴展性。
Lustre：前景廣闊的分布式并行文件系統
最后我們談?wù)労苡星熬暗姆植际讲⑿形募到y——Lustre。Lustre 是 HP，Intel，Cluster File System公司聯(lián)合美國能源部開(kāi)發(fā)的 Linux 集群并行文件系統。該系統目前推出 1.4.6的發(fā)布版本，是第一個(gè)基于對象存儲設備的，開(kāi)源的并行文件系統。整個(gè)系統由客戶(hù)端，兩個(gè) MDS，OSD 設備池通過(guò)高速的以太網(wǎng)所構成。目前可以支持1000 個(gè)客戶(hù)端節點(diǎn)的 I/O 請求，兩個(gè) MDS采用共享存儲設備的 Active－Standby方式的容錯機制，存儲設備跟普通的，基于塊的 IDE 存儲設備不同，是基于對象的智能存儲設備。
Lustre分布式并行文件系統
Lustre 采用分布式的鎖管理機制來(lái)實(shí)現并發(fā)控制，元數據和文件數據的通訊鏈路分開(kāi)管理。與 PVFS 相比，Lustre雖然在性能，可用行和擴展性上略勝一躊，但它需要特殊設備的支持，而且分布式的元數據服務(wù)器管理還沒(méi)有實(shí)現。下一個(gè)版本的 Lustre系統將會(huì )加入分布式元數據管理，使得其性能得到進(jìn)一步的提升。
我們期待并行文件系統的發(fā)展，作為網(wǎng)絡(luò )集群系統的重要組成部分，并行文件系統的發(fā)展將會(huì )向著(zhù)高可用性、可擴展性和高可靠性方向發(fā)展，像分布式的元數據管理這些技術(shù)將會(huì )不斷的應用和改進(jìn)到分布式并行文件系統中，我們期待著(zhù)這個(gè)領(lǐng)域的繼續突破。
聯(lián)系客服
