前不久,記者來(lái)到南京大學(xué)高性能計算中心采訪(fǎng)了負責此項目的周慶林老師,具體了解了南京大學(xué)選用IBM HS22刀片服務(wù)器的背景故事,并參觀(guān)了該高性能計算中心機房。這套系統采用IBM HS22刀片服務(wù)器打造,于2009年第二季度開(kāi)始建設,2010年7月份完成全部調試工作正式投入對南京大學(xué)各科學(xué)院系的高性能計算服務(wù)中。在2010年國內高性能計算排行榜Top100上,來(lái)自南京大學(xué)的高性能計算系統以34萬(wàn)億次的Linpack成績(jì)排第20名
南京大學(xué)高性能計算中心的建設背景
據周慶林老師介紹,南京大學(xué)從事高性能計算方面的建設始于1980年天文系的應用需求。隨著(zhù)科學(xué)技術(shù)以及教育需求的提升,各個(gè)院系也相繼開(kāi)始購買(mǎi)服務(wù)器解決自己的計算需求。但是各個(gè)院系由于成本、人力等原因自己建設科研教學(xué)用高性能計算節點(diǎn)過(guò)于浪費,且不符合資源利用最大化的需求。
因此,在985工程二期的項目中,南京大學(xué)撥出了專(zhuān)門(mén)款項購置和更新全校所需的共享大型計算設備,力求為全校理科院系提供更強大的計算能力。到了2005年左右,x86架構高性能計算集群開(kāi)始升溫,大大動(dòng)搖了傳統共享內存模式的小型機地位。因此,南京大學(xué)打算做小規模的小型機,另一部分做x86集群——但是有兩個(gè)問(wèn)題:第一是機房選址問(wèn)題,第二是到底選擇什么樣的x86服務(wù)器。
周慶林老師表示,當時(shí)再機房選址時(shí)主要考慮了兩個(gè)方面的問(wèn)題:1、機房的承重問(wèn)題,由于每個(gè)機架塞滿(mǎn)服務(wù)器之后有數噸重,建設在高樓層需要對樓層進(jìn)行加固,因此最終選擇了建設在一樓。2、機房的制冷和走線(xiàn)問(wèn)題,南京大學(xué)當時(shí)選擇了物理系1層做數據中心機房,但是問(wèn)題在于電力配給不夠,考慮到增容需要對樓宇進(jìn)行改造,因此最后選擇在天文系的樓宇建設機房。
機房選址的問(wèn)題解決之后,究竟選擇機架服務(wù)器還是刀片服務(wù)器做高性能計算中心的計算節點(diǎn)呢?周慶林老師表示,當時(shí)專(zhuān)家組也經(jīng)過(guò)了一些討論,并結合學(xué)校有些院系的使用經(jīng)驗,最終選擇了刀片服務(wù)器。據周老師介紹,刀片服務(wù)器至今已經(jīng)經(jīng)過(guò)了幾代的發(fā)展,日趨成熟。而機架服務(wù)器相對來(lái)說(shuō)存在布線(xiàn)、管理較復雜的問(wèn)題。
南京大學(xué)高性能計算中心從選用IBM HS22刀片服務(wù)器以來(lái)至今,沒(méi)有出現過(guò)任何計算節點(diǎn)的問(wèn)題,穩定性方面不弱于機架服務(wù)器(甚至更好)。散熱方面,目前高端刀片機箱由于計算密度高,計算資源集中,因此只要做好冷熱通道就能很好的解決散熱效率,滿(mǎn)足系統需求(第三節有機房的具體介紹,會(huì )著(zhù)重介紹散熱)。




南京大學(xué)高性能計算中心架構揭秘
確定了選擇刀片服務(wù)器之后,通過(guò)招標南京大學(xué)選擇了IBM BladeCenter HS22刀片服務(wù)器作為高性能計算系統的計算節點(diǎn)。整個(gè)系統由10個(gè)登陸節點(diǎn),4個(gè)管理節點(diǎn),54TB高速并行存儲、128TB SAN架構存儲以及4x Infiniband全線(xiàn)速網(wǎng)絡(luò )、千兆作業(yè)調度管理網(wǎng)絡(luò )等構成。
南京大學(xué)高性能計算中心系統架構圖
據周老師介紹,全套系統由402片HS22刀片服務(wù)器構成,每節點(diǎn)12GB內存,2顆英特爾至強5500系列處理器(主頻2.66GHz,8MB Cache),20Gb Infiniband HCA卡。其中有10片HS22刀片服務(wù)器用作登陸節點(diǎn),每節點(diǎn)24GB內存,4Gb光纖卡,20Gb Infiniband以及千兆網(wǎng)卡。另有30臺刀片機箱與上述計算節點(diǎn)配套,擁有16口Infiniband交換模塊、六口千兆交換機和兩個(gè)百兆管理網(wǎng)口。
存儲和管理方面,南大高性能計算中心選擇了20臺IBM x3650做存儲節點(diǎn),每節點(diǎn)配置32GB內存,20Gb Inifiniband卡,6塊450GB 15000轉SAS盤(pán),共54TB組成并行存儲系統,連續讀寫(xiě)I/O大于每秒6GB。另有一臺IBM DS3000 SAN架構官仙共享存儲系統共128TB容量容量,配備16GB Cache,兩個(gè)8口光纖卡,連續讀寫(xiě)帶寬大于每秒2GB。此外,還有一臺x3550用作集群管理監控節點(diǎn),3臺x3650用作管理和作業(yè)調度節點(diǎn)。
網(wǎng)絡(luò )交換方面,周老師介紹說(shuō)他們采用了兩臺288口20Gb 4x Infiniband交換機(當時(shí)還沒(méi)有成熟的40Gb Infiniband交換設別),組成全線(xiàn)速無(wú)阻塞并行計算網(wǎng)絡(luò )。此外還有四臺4口萬(wàn)兆上行48口BNT的交換機用作作業(yè)調度和管理。

▲南京大學(xué)高性能計算系統邏輯架構圖
對于刀片服務(wù)器的散熱和供電是重中之重,南大高性能計算中心采用了4臺90千瓦制冷量的艾默生LibertPex機房精密空調,120千瓦UPS擁有96節湯式100AH電池,可在斷電的情況下維持數據中心1小時(shí)時(shí)間,足夠工作負載暫停和系統正常關(guān)閉。此外,南京大學(xué)高性能中心還配備了三個(gè)配電柜,提供500KVA機房電力增容,一套七氟丙烷氣體消防滅火系統為機房提供消防保障。

走進(jìn)高性能計算中心的機房,首先可以看到外側監控人員的坐席

通過(guò)監控軟件,外面的管理員可以輕松的了解目前設備的工作情況,包括溫度、供電、機房視頻監控等

周慶林老師向我們展示了管理平臺的功能之一:每天向手機發(fā)短信匯報目前機房的狀況,一旦遇到問(wèn)題也會(huì )立刻發(fā)短信通知到指定的手機。





機房?jì)仁菙[放整齊的機柜,可以看到上面用玻璃從機柜正中封死了機房后部和前部,這樣做的好處是隔絕了冷熱通道——空調的冷風(fēng)從下面(架高60cm)送到前部,被機柜風(fēng)扇吸入排出到后面直接送給空調。封死之后冷熱通道徹底隔絕,大大提升了散熱效率。

打開(kāi)機架,可以看到IBM HS22刀片服務(wù)器,這個(gè)機柜比較特殊,可以看到上面的那個(gè)刀片機箱只插了10個(gè)刀片——這既是我們前文提到的管理登陸節點(diǎn),而下面和旁邊的其他刀片則插滿(mǎn)了14個(gè)計算刀片

IBM x3650服務(wù)器用作并行存儲,為實(shí)時(shí)計算的數據調用提供了一個(gè)緩沖(前端是刀片,后端是SAN)

IBM DS3000 SAN負責后端存儲

兩臺288口20Gb 4x Infiniband交換機

如此多的Infiniband連接線(xiàn),碼放的非常整齊

機房的消防設施

七氟丙烷滅火系統的儲氣罐——有毒,可窒息

96組UPS電池柜一角
聯(lián)系客服