2002集群技術(shù)綜述
(496 本文字數)
(1930 閱讀) 2002集群技術(shù)綜述
在本文，把在freshmeat.net網(wǎng)站上已有的Clustering/Distributed Networks工具做一個(gè)綜述。為了更清楚地描述，將按以下分類(lèi)來(lái)說(shuō)明：
構建和使用集群的軟件：
高性能科學(xué)計算集群軟件(Beowulf/Scyld, OSCAR, OpenMosix...)，包括象SSI（Single System Image systems）這樣的特殊集群系統
高可用性集群軟件(Kimberlite, Heartbeat...)
負載均衡型集群軟件(Linux Virtual Server, Ultra Monkey...)
常用的管理集群軟件：
文件系統(Intermezzo, ClusterNFS, DRBD...)
安裝和配置(FAI, System Installation Suite...)
監視和管理(Ganglia, MOSIXVIEW, Performance Co-Pilot...)
編程開(kāi)發(fā)與集群計算環(huán)境(MPI, PVM, spread...)
輔助小程序
構建和使用集群的軟件
在本節中，將介紹一些完全的集群解決方案（從安裝、管理、監視到編程開(kāi)發(fā)環(huán)境）。要注意的是這些解決是針對不同類(lèi)型集群的，比如是專(zhuān)門(mén)為高性能科學(xué)計算集群，它并不適合高可用性集群。
高性能科學(xué)計算集群
高性能科學(xué)計算集群是當前的熱點(diǎn)。其目的是對任何類(lèi)型的任務(wù)提供一個(gè)可任意分配多結點(diǎn)機器的系統資源環(huán)境，以充分利用機器的能力。比如環(huán)境模擬和動(dòng)畫(huà)渲
染等應用。
下面是一些較成功的項目：
首先是眾所周知的Beowulf項目，在Scyld網(wǎng)站保留著(zhù)很多相關(guān)的內核和工具來(lái)構建一個(gè)“單一映像系統”。目的是在一臺主控機器上控制集群內部眾多的結點(diǎn)，達到集群對外表現為單一的主機形式（從系統資源管理到應用程序運行）。
對單一映像系統最重要的一點(diǎn)是它們通常要在內核空間運行，因此要注意應用中需要特殊的內核。內核版本和補丁是這些應用常見(jiàn)的安裝方法。應用單一映像系統來(lái)構建集群的項目有Compaq的NonStop Clusters for Unixware軟件，現在它成為Single System Image Clusters的一部分。而OpenMosix是對標準內核做了相應的擴展開(kāi)發(fā)，并提供了相當多的用戶(hù)程序以提高集群的使用效率。還有SCE（Scalable Cluster Environment），也提供了相當多的構建和管理集群的工具。
Bproc是Beowulf項目的核心功能，現在以Clubmask形式出現。其它有用的項目有Kickstart, cfengine, the Maui scheduler, LAM/MPI, 等等。
另外也有不需要改變內核的解決方案。它們通常是對用戶(hù)任務(wù)直接進(jìn)行調度、分發(fā)，比如Cplant, the Ka Clustering Toolkit, and OSCAR都可以讓你用這種方式構建、使用集群系統。
現在也有一些針對高性能科學(xué)計算的集群系統分行版本出現，主要是對一些常用的程序進(jìn)行收集、整理后發(fā)布。比如Warewulf是一種發(fā)行版本，配置并生成一張安裝光盤(pán)后，在各結點(diǎn)機上直接安裝后，就直接得到了一個(gè)可用的集群系統。
ClumpOS是針對MOSIX的一個(gè)發(fā)行版本，它提供一張光盤(pán)，用戶(hù)可以迅速地將任一機器自動(dòng)變成集群的結點(diǎn)機。最好的是它不用安裝，其集群系統全部是基于光盤(pán)的，即從光盤(pán)啟動(dòng)該機就是集群的一個(gè)結點(diǎn)，而不從光盤(pán)啟動(dòng)，該機依然可以使用它原有的系統。MSC.Linux則提供了從內核功能擴展、引擎工具、Beowulf工具、桌面環(huán)境等適合集群計算的一個(gè)發(fā)行版本。
高可用性集群
現在維持系統的可用性對每個(gè)人都是非常重要的。沒(méi)有人希望重要的服務(wù)有停頓的時(shí)候，如mail、web、database或其它的服務(wù)。過(guò)去，有很多項目為解決這個(gè)目標而努力，最終有些項目成功并成為成熟的系統，如AIX和Solaris。
高可用性的實(shí)現思想很簡(jiǎn)單，一臺機器正常工作，另一臺機器在待機。當主工作機出現故障時(shí)，待機者接管相應的服務(wù)。通常采用的辦法是共享文件系統、硬件/IP地址搶奪，自動(dòng)偵測對方系統狀態(tài)，等等。幾乎每個(gè)項目都采用類(lèi)似的辦法。
Kimberlite利用共享的存儲設備和數據一致性保證實(shí)現。Piranha (a.k.a. the Red Hat High Availability Server Project)，實(shí)現了兩種解決方案——雙機熱備和多機負載均衡。最有名的項目是High Availability Linux Project，即Linux-HA。其核心組件是Heartbeat，提供了心跳機制、監視功能和IP搶奪程序。
它可用串口設備、UDP廣播/組播實(shí)現心跳檢測，并可在一個(gè)結點(diǎn)機宕機時(shí)重新分配IP地址和其它資源給集群內部的各結點(diǎn)，而宕機結點(diǎn)恢復時(shí)又將集群系統恢復到原來(lái)的樣子。一個(gè)引起廣泛關(guān)注的項目是peerd,它提供簡(jiǎn)單的監視和災難恢復。它并不提供秒級的監視，但提供了在服務(wù)器失效幾分鐘后完全恢復服務(wù)功能(包括硬件上的恢復，如同樣配置的服務(wù)器)的解決方案。另一個(gè)值得關(guān)注的項目是Poor Man‘s High Availability項目，其使用動(dòng)dnsart.com網(wǎng)站提供的態(tài)DNS分配服務(wù)來(lái)實(shí)現網(wǎng)站服務(wù)的高可用性。
下面要介紹另一類(lèi)型的高可用性：
負載均衡集群系統
負載均衡是一種特殊的高可用性功能，它既提供了高可用性項目的結點(diǎn)監測、恢復功能，還能將服務(wù)請求均衡分布到各結點(diǎn)，這可提高服務(wù)的響應和減輕服務(wù)器的
負載。
負載均衡技術(shù)一般有一個(gè)前端分配機和兩個(gè)以上的服務(wù)機，前端機把用戶(hù)請求分發(fā)給服務(wù)機，如果服務(wù)機的服務(wù)是可用的，就由它們處理用戶(hù)請求并返回結果。
最有名的負載均衡項目是Linux Virtual Server Project。它可以將用戶(hù)請求均衡地分發(fā)給各服務(wù)器，任何基于TCP或UDP協(xié)議的服務(wù)都適用，如HTTP(S), DNS, ssh, POP, IMAP, SMTP, and FTP。很多負載均衡項目都是基于LVS的。Ultra Monkey擴展了LVS項目，提供心跳檢測、結點(diǎn)監視功能，為負載均衡型集群提供了高可用性。而原來(lái)的Piranha是完全基于LVS的。Keepalived為L(cháng)VS增加了健壯、自動(dòng)的災難恢復功能。它監測各結點(diǎn)，當結點(diǎn)宕機時(shí)，它通知內核把宕機服務(wù)器刪除，保證用戶(hù)請求不會(huì )被錯誤分發(fā)。Zeus Load Balancer不基于LVS，但提供了相似的功能。它包括了保證網(wǎng)站服務(wù)的流量控制、站點(diǎn)狀態(tài)監視、災難恢復功能。另一個(gè)不基于LVS的項目是Pen,一個(gè)簡(jiǎn)單的適用于象HTTP/SMTP這樣的TCP協(xié)議應用的解決方案。Turbolinux Cluster Server要介紹的最后一個(gè)負載均衡項目。它提供了從應用服務(wù)到硬件安全的災難恢復解決方案。
常用的管理集群軟件
本節將介紹常用的集群軟件，包括執行環(huán)境、編程接口、監視/管理軟件、文件系統等等。
文件系統
首先介紹文件系統和集群文件系統項目?，F在有很多文件系統，其中很多都包括了日志功能，還有一些是專(zhuān)門(mén)為集群系統設計的分布式文件系統。因為有太多的文
件系統，這里只介紹比較常用的集群文件系統。
OpenAFS (an open version of the Andrew Filesystem originally developed at Carnegie Mellon University), GFS (the Global Filesystem), Coda, and InterMezzo是常見(jiàn)的集群文件系統。
另外要介紹一些對文件系統的擴展項目。ClusterNFS項目，提供了對Universal NFS Daemon的一些補丁，使得不同的結點(diǎn)機可以共享主控機上提供的一個(gè)根分區。它對不同的結點(diǎn)機提供了相應的“標志”信息。這對于構建NFS掛接根分區或是無(wú)盤(pán)集群是非常有用的。
另一個(gè)項目是ENBD，the Enhanced Network Block Device，通過(guò)DRBD項目可以允許遠程磁盤(pán)變成本地的硬件塊設備。這對建立一個(gè)鏡像RAID很有幫助，不同機器上的數據可以實(shí)時(shí)地更新，提高了可用性。
安裝配置
如果要安裝數百臺服務(wù)器，并一一配置，這將是個(gè)很難的過(guò)程?，F在有一些項目可以幫助我們解決這樣問(wèn)題。
FAI（Fully Automatic Installation）自動(dòng)安裝項目。這是一個(gè)不需要交互的
Debian GNU/Linux系統安裝軟件。多結點(diǎn)的安裝是自動(dòng)進(jìn)行的，當安裝完成時(shí)，系
統已經(jīng)正確配置并可正常運行，過(guò)程不需要與用戶(hù)交互。要注意的是FAI只適用于
Debian GNU/Linux系統。
要安裝機器，請使用System Installation Suite，這就是答案。
System Installation Suite項目是基于磁盤(pán)映像技術(shù)的工具。對已經(jīng)配置好的結點(diǎn)生成磁盤(pán)映像，映像文件存放在映像服務(wù)器上，結點(diǎn)機從安裝盤(pán)啟動(dòng)后會(huì )自動(dòng)根據映像的內容生成與舊結點(diǎn)機一樣的系統?，F在它適用于Red Hat, Mandrake, SuSE, Conectiva, and Turbolinux。SIS不久也可以適用于Debian系統。SIS由三個(gè)項目組成：SystemImager, System Installer, and System Configurator。
監視管理
當管理上百臺結點(diǎn)的集群服務(wù)器時(shí)，能夠在單一的機器上管理這么多的結點(diǎn)是個(gè)有用的功能。在這方面有很多項目在進(jìn)行，它們分別解決了不同的這方面的常見(jiàn)問(wèn)題。ClusterIt僅用于維護和管理過(guò)大數目的系統。Ganglia是一個(gè)可擴展、有名的、大量測試過(guò)的、實(shí)時(shí)監視和遠程執行環(huán)境。它在各地的大學(xué)、政府實(shí)驗室、集群主機使用者中廣泛使用，并得到一致好評。Performance Co-Pilot由SGI公司發(fā)布的一個(gè)監視和管理軟件。原來(lái)是為IRIX系統編寫(xiě)的，SGI公司將它改為在Linux上運行并改為開(kāi)源版本。經(jīng)過(guò)多年的開(kāi)發(fā)，SGI應該能夠將它的技術(shù)和經(jīng)驗轉為項目穩定、可用的保證。
以上項目可運行在任何系統上。除此之外，有些項目是為另一些專(zhuān)門(mén)的項目開(kāi)發(fā)的，如MOSIXVIEW是MOSIX集群系統管理的一個(gè)GUI界面。它支持MOSIX和OpenMosix，做為一個(gè)可執行命令的前端界面。LVSmon是為L(cháng)VS項目開(kāi)發(fā)的維護LVS連接表的監視管理工具。
在這么多的項目中，很多項目是相似的。下面只介紹一些常用的：Syncopt是解決在多結點(diǎn)上保持軟件一致性的問(wèn)題。利用Syncopt，軟件自動(dòng)從一個(gè)中心服務(wù)器安裝，保持各結點(diǎn)上的軟件版本一致。
Fsync與rsync和CVS類(lèi)似。它使得在不同的機器間的文件保持一致，有消除文件差異的功能和保持目錄樹(shù)結構的程序。它只是個(gè)Perl腳本，設計在以Modem網(wǎng)絡(luò )連接速度上運行。Ghosts(global hosts)是個(gè)可對機器分組定義，生成宏定義的系統，利用這些宏，gsh，一個(gè)并行執行環(huán)境可以對不同的組執行相應的命令。最后，有一個(gè)項目是pconsole，它和Ghosts類(lèi)似。但它是個(gè)運行界面，實(shí)際提供的是一個(gè)管理shell環(huán)境。用戶(hù)可以通過(guò)它同時(shí)連接到多臺結點(diǎn)機上，用戶(hù)執行的命令將同時(shí)送到這些結點(diǎn)上運行。
編程開(kāi)發(fā)與執行環(huán)境
當你建立起一個(gè)集群系統后，你怎么使用它？你如何編寫(xiě)程序以利用集群的優(yōu)點(diǎn)？什么開(kāi)發(fā)庫和編程工具可以利用？有什么軟件幫助你在集群上運行程序或對程序
的運行進(jìn)行調度？這些問(wèn)題在本小節將得到回答。
PVM意指Parallel Virtual Machine。它利用消息傳遞功能將多臺機器形成集群形式?？梢允褂盟膽贸绦蚩捎肅，C++或Fortran編寫(xiě)，也可以編譯為單獨分開(kāi)的進(jìn)程。PVM++試圖提供為PVM在C++開(kāi)發(fā)時(shí)一個(gè)好用的開(kāi)發(fā)庫。pvmpov 或 PVM Gmake工具都使用了PVM接口。Pvmpov是為POV-Ray編寫(xiě)的一個(gè)補丁，它允許該渲染程序在基于PVM編程的程序可以在集群上運行。PVM Gmake是一個(gè)GNU make程序的擴展，其允許編譯過(guò)程在多臺結點(diǎn)上進(jìn)行，縮短編譯時(shí)間。
另一類(lèi)的消息傳遞開(kāi)發(fā)接口是MPI，指"The Message Passing Interface"。MPI有幾種發(fā)行版本：LAM/MPI 和 MPICH是其中的兩種。而Object-Oriented MPI是標準MPI在更高層次C++開(kāi)發(fā)時(shí)使用的面向對象開(kāi)發(fā)庫。PETSc是為并行程序用MPI開(kāi)發(fā)時(shí)可重用的數據結構和運行庫。
另一個(gè)消息傳遞系統是Spread。Sprea是一個(gè)開(kāi)發(fā)庫，提供了消息傳遞接口，可以開(kāi)發(fā)高可用性程序，如集群消息總線(xiàn)、高可靠數據庫、災難恢復程序。
現在你可能要問(wèn)，如何跟蹤在集群各結點(diǎn)機運行的程序。為此，你需要一個(gè)調度程序。這里有很多不同的調度程序，但在Linux集群上，只有兩個(gè)最主要的，Condor and Maui。這兩個(gè)調度程序可以處理調度優(yōu)先級、跟蹤資源分配、動(dòng)態(tài)改變優(yōu)先級/資源等等。
輔助工具
一個(gè)是IBM的Distributed Lock Manager項目。DLM是為VAX集群鎖機制開(kāi)發(fā)的。這是個(gè)特別的工具，并不是集群環(huán)境。在共享庫里內含了相應的API接口。
Linux Terminal Server Project是構建無(wú)盤(pán)系統的有力工具（工作站、集群結點(diǎn)或其它類(lèi)型的無(wú)盤(pán)系統）。LTSP提供利用遠程系統資源的工具。
摘自 南大小百合（鴿子王）
綜述_files/print.gif)
