基于云架構的全臺資源整合探討 |
[摘要] 基于對電視臺全臺網(wǎng)建設中存在的諸如系統無(wú)法快速擴展和改變、維護困難等問(wèn)題的思考，結合最新的云計算技術(shù)，本文提出了采用云架構進(jìn)行全臺資源整合的思路：剝離用戶(hù)、設備、操作系統、應用、數據之間的綁定關(guān)系，構建池化的全臺新型IT架構；構建統一的內容管理中間層，將系統結構和設備決定業(yè)務(wù)流程的傳統模式改變?yōu)橐越y一的內容管理為核心的更靈活、適應性更強的業(yè)務(wù)模式。 根據這兩種思路，本文又提出了全臺資源整合的具體技術(shù)架構，對其中的關(guān)鍵問(wèn)題進(jìn)行了分析，并介紹了中科大洋在云計算技術(shù)方面的探索和實(shí)踐，包括大洋云媒資的服務(wù)模式和建設模式等。 [關(guān)鍵詞] 廣電 云計算 云架構 池化 全臺網(wǎng) 資源整合 虛擬化 云媒資 前言近幾年來(lái)，計算機技術(shù)的發(fā)展突飛猛進(jìn)，而其中又以被譽(yù)為科技業(yè)下一次革命的云計算技術(shù)的發(fā)展最為迅猛，對于廣電行業(yè)來(lái)說(shuō)，云計算必將帶來(lái)一次新的廣電IT架構的革命，如何跟進(jìn)云計算技術(shù)的發(fā)展，讓云計算在廣電行業(yè)落地，對整個(gè)行業(yè)的信息化建設非常關(guān)鍵。 一、現有全臺網(wǎng)架構存在的問(wèn)題 回顧廣電IT系統的發(fā)展，從單機到網(wǎng)絡(luò )再到全臺的整合，我們在數字化和全臺網(wǎng)資源整合方面邁出了堅實(shí)的第一步，走在了國際前列，但是從現有電視臺標準的全臺網(wǎng)架構看，我們在設計和建設全臺網(wǎng)的過(guò)程中還有很多的問(wèn)題和困擾有待解決。 第一，系統規模無(wú)法快速擴展和改變 在設計全臺網(wǎng)架構時(shí)，我們都面臨一個(gè)系統規模難以準確衡量的問(wèn)題，以新聞系統為例，如果新聞系統按照滿(mǎn)足日常新聞制播業(yè)務(wù)的要求來(lái)設計，那么一旦有突發(fā)事件或者大型活動(dòng)報道需求時(shí)，系統資源會(huì )明顯不足，而如果按最大規模設計，平時(shí)又會(huì )產(chǎn)生資源閑置和浪費的現象。 第二，無(wú)法滿(mǎn)足業(yè)務(wù)服務(wù)質(zhì)量的要求 全臺網(wǎng)中一些核心系統都是雙機備份，甚至三機備份，但是依然存在設備宕機后維護時(shí)間過(guò)長(cháng)、業(yè)務(wù)中斷的問(wèn)題，另外，系統的計算、存儲、帶寬資源在不同的業(yè)務(wù)系統間分配不均衡，一些繁忙的業(yè)務(wù)分配不到足夠的資源從而導致效率低下，而另外一些業(yè)務(wù)又存在大量的閑置資源。 第三，業(yè)務(wù)流程存在大量遷移消耗 現有全臺網(wǎng)普遍采用采編播存業(yè)務(wù)流程，相對獨立的各業(yè)務(wù)系統通過(guò)全臺互聯(lián)平臺實(shí)現業(yè)務(wù)系統間的資源交換，存在著(zhù)大量的遷移流轉消耗，也就是說(shuō)并非業(yè)務(wù)決定了流程，而是系統的架構限定了業(yè)務(wù)流程。
圖表1 現有全臺網(wǎng)架構下核心業(yè)務(wù)流程舉例 第四，系統建設和后期維護成本很高 據統計，在全臺網(wǎng)中，多數服務(wù)平均負載不到總容量的 5%~10%，而且由于服務(wù)器和工作站的獨占性，不同業(yè)務(wù)系統間難以共享設備，無(wú)形中拉高了系統的建設成本，從長(cháng)期看也會(huì )導致大量的電力資源和機房空間浪費，維護管理成本很高；另外，設備更新淘汰周期很短，2~3年更換一次，造成了高昂的維護和遷移成本。 仔細分析后我們發(fā)現，業(yè)務(wù)與設備高度耦合是出現上述問(wèn)題的根源。 傳統的全臺網(wǎng)整合更多的是系統的整合、網(wǎng)絡(luò )的整合，是一種系統化的整合思路，全臺網(wǎng)中存在著(zhù)大量煙囪化的業(yè)務(wù)系統，每一個(gè)系統都有自己的數據庫服務(wù)器、遷移服務(wù)器、轉碼服務(wù)器、存儲服務(wù)器等設備，系統的平臺化程度相對比較低，每個(gè)系統都是從頭到尾的，每一個(gè)業(yè)務(wù)都和設備綁定，每一個(gè)業(yè)務(wù)人員都唯一綁定了一個(gè)設備、一個(gè)操作系統和一個(gè)軟件，從這個(gè)意義上講，解決這些問(wèn)題的關(guān)鍵依然是整合。 二、基于云架構的全臺資源整合思路 云計算技術(shù)的出現為我們解決上述問(wèn)題提供了可能，云計算旨在通過(guò)網(wǎng)絡(luò )把多個(gè)成本相對較低的計算實(shí)體整合成一個(gè)具有強大計算能力的完美系統，構成資源池，使各種應用系統能夠根據需要獲取計算能力、存儲空間和信息服務(wù)。云計算的主要特征包括按需的自服務(wù)、無(wú)所不在的網(wǎng)絡(luò )訪(fǎng)問(wèn)、共享的資源池、快速彈性能力、可度量的服務(wù)等，這些都是我們在進(jìn)行全臺資源整合時(shí)迫切需要的特性。 云計算除了是一種技術(shù)，也是一種資源和服務(wù)交付的模式，對于廣電行業(yè)來(lái)講，應用云計算技術(shù)可以采用兩種形式： 一種是軟件即服務(wù)的形式（SaaS），例如某個(gè)廠(chǎng)商搭建了一個(gè)內容加工平臺，這個(gè)平臺負責做轉碼、拆條等內容加工工作，客戶(hù)只要把數據提交給平臺，由平臺處理后客戶(hù)拿走處理結果即可，對客戶(hù)來(lái)說(shuō)這個(gè)平臺就是一個(gè)云，這個(gè)平臺可以是很先進(jìn)的自動(dòng)化生產(chǎn)平臺或者是云計算平臺，也可以采用傳統的依靠人工進(jìn)行加工處理的方式，這些都不妨礙整個(gè)平臺對外表現為云服務(wù)的模式。 另一種是基礎設施或平臺即服務(wù)的形式（PaaS/IaaS），利用云的架構和云計算技術(shù)構建全臺業(yè)務(wù)系統，打造面向全臺所有業(yè)務(wù)系統的私有云平臺，徹底解決長(cháng)期困擾廣電行業(yè)的難題，這種形式非常適合自建數據中心的電視臺，也是本文論述的重點(diǎn)所在。 基于對現有全臺網(wǎng)存在的問(wèn)題和云計算優(yōu)勢的分析，我們提出了兩種基于云架構的全臺資源整合思路。 第一種整合思路是剝離用戶(hù)、設備、操作系統、應用、數據之間的綁定關(guān)系，構建池化的新型IT架構，剝離之后，用戶(hù)無(wú)需知曉要用的軟件在哪臺機器上、內容存在哪里，只需要輸入自己的賬號就可以隨時(shí)隨地的開(kāi)展工作。
圖表2 多層次剝離綁定關(guān)系 第二種整合思路是構建統一的內容管理中間層，將系統結構和設備決定業(yè)務(wù)流程的傳統模式改變?yōu)橐越y一的內容管理為核心的更靈活、適應性更強的業(yè)務(wù)模式，以?xún)热轂楹诵倪M(jìn)行業(yè)務(wù)流程再造，業(yè)務(wù)流程也會(huì )由傳統的制播存變成更高效的存制播。
圖表3 傳統制播存流程vs新型存制播流 三、全臺資源整合架構設計 根據全臺資源整合的思路，我們需要構建全臺共享的資源池，即全臺的私有云平臺，全臺的各個(gè)業(yè)務(wù)系統都將運行在這個(gè)資源池上，進(jìn)行物理的整合；同時(shí)需要將內容和業(yè)務(wù)剝離，形成統一的內容管理中間層，統一管理全臺的節目?jì)热?，進(jìn)行內容的整合。
圖表4全臺資源整合框架 如上圖所示，全臺共享資源池主要包括桌面池、計算池、存儲池和應用池，全臺現有的業(yè)務(wù)系統都將繼續存在，但是這些業(yè)務(wù)系統已經(jīng)不再是物理的系統，而是邏輯的系統，對應一個(gè)共同的資源池，每一個(gè)系統都有自己的軟件、數據庫和業(yè)務(wù)邏輯，但是這個(gè)系統所需要的數據庫、服務(wù)器、軟件都在全臺共享的資源池內。 桌面池 桌面池化的技術(shù)目前已經(jīng)非常成熟，簡(jiǎn)單的描述桌面池化就是用一個(gè)標準的協(xié)議把一個(gè)計算機的界面用網(wǎng)絡(luò )方式傳送到某個(gè)遠程終端上，然后展現出來(lái)，這一過(guò)程不會(huì )單純的用圖像的方式傳送，而是用經(jīng)過(guò)優(yōu)化的以太網(wǎng)傳輸手段，現在國際上已經(jīng)有多種通用的遠程桌面協(xié)議。
圖表5桌面的池化 訪(fǎng)問(wèn)桌面池的終端是一個(gè)小盒子，功耗非常低，只有幾瓦，使用非常廉價(jià)的嵌入式CPU，它幾乎不負擔任何計算工作，只是把云計算平臺里的桌面傳到本地，所有系統的客戶(hù)端都變成這樣的盒子，應用都在云里，桌面池里的設備通常以共享的方式被用戶(hù)使用，每個(gè)終端連接時(shí)，用戶(hù)都無(wú)需關(guān)心連接的是哪臺服務(wù)器里的哪個(gè)虛擬機。 全臺網(wǎng)中還有一些廣電專(zhuān)用設備需要獨占訪(fǎng)問(wèn)，這些設備依然可以池化，只不過(guò)終端每次連接時(shí)，系統會(huì )從設備池中動(dòng)態(tài)分配一個(gè)設備供用戶(hù)使用，與共享訪(fǎng)問(wèn)方式不同的是，在這種模式下，兩個(gè)用戶(hù)不能共享一個(gè)設備。 計算池 計算資源的池化也是非常成熟的技術(shù)，電視臺的轉碼中心、打包中心、遷移中心、流服務(wù)器等都可以放到計算池里，以動(dòng)態(tài)、易擴展的方式對外提供相應的服務(wù)，這個(gè)計算池甚至可以不用云計算，只需要做虛擬化就行，現在虛擬化的軟件非常多，幾個(gè)主流的廠(chǎng)家都有很成熟的解決方案。
圖表6 計算資源的池化 存儲池 存儲的池化也就是我們常說(shuō)的云存儲，云存儲通過(guò)集群應用、網(wǎng)格技術(shù)或分布式文件系統等技術(shù)，將網(wǎng)絡(luò )中大量不同類(lèi)型的存儲設備集合起來(lái)協(xié)同工作，共同對外提供統一的數據存儲服務(wù)，采用云存儲具有安全、靈活、可管理、海量、易擴展等好處。 云存儲目前還存在一些技術(shù)問(wèn)題有待突破，但是我們耳熟能詳的幾個(gè)廠(chǎng)商的存儲產(chǎn)品已經(jīng)展現了云存儲的特征，云存儲也是存儲廠(chǎng)商未來(lái)重要的發(fā)展方向。
圖表7 存儲的池化 應用池 如果一個(gè)業(yè)務(wù)系統要安裝200個(gè)工作站，按照現在的做法，我們需要在每一臺機器上安裝軟件，共需安裝200次；如果把主機虛擬化之后則需要把軟件裝在200個(gè)虛擬主機上，也要安裝200次。 但當把應用、操作系統和主機剝離之后，我們可以單獨把所有的應用和配置文件部署在應用池中，每個(gè)虛擬機不用單獨安裝這個(gè)應用，當客戶(hù)端發(fā)起請求時(shí)，平臺會(huì )動(dòng)態(tài)的進(jìn)行組合，把應用、配置文件、虛擬機、系統資源組合在一起，最終呈現給用戶(hù)，所有用戶(hù)看到的桌面都是根據需要動(dòng)態(tài)組合而成的，這將大大減輕系統維護的工作量。
圖表8應用的池化 統一的內容管理中間層 在構建了全臺共享的資源池之后，各個(gè)系統雖然邏輯上實(shí)現了整合，達到了整合的第一個(gè)目標，但是各個(gè)業(yè)務(wù)系統煙囪似的條塊分割局面并沒(méi)有徹底得到改變，當數據在一個(gè)系統加工完需要傳遞給另一個(gè)系統時(shí)，仍然需要進(jìn)行遷移，這會(huì )帶來(lái)過(guò)多的資源消耗，因此，我們還需要構建一個(gè)全臺統一的資源管理中間層，由中間層來(lái)進(jìn)行資源的流轉和遷移，這種遷移更多的是提供一種指針式的訪(fǎng)問(wèn)，效率會(huì )非常高，也幾乎不占用系統資源。 在完成全臺資源池化和內容的整合后，所有的業(yè)務(wù)系統在每個(gè)用戶(hù)看來(lái)依然是獨立的，每個(gè)系統都有單獨的業(yè)務(wù)流程，有自己的資源和用戶(hù)認證體系，用戶(hù)登錄之后可以看到相應的素材，能夠編輯、修改、存儲，后臺也有相應的數據庫支持，但是所有的資源已經(jīng)平臺化了，用戶(hù)桌面剩下的只有通用的終端，唯一的例外是用戶(hù)需要本地采集信號或做預覽的情況，這種情況需要額外加以考慮，這個(gè)平臺就是面向全臺的私有云平臺。
圖表9 統一的內容管理中間層 資源已經(jīng)平臺化了，用戶(hù)桌面剩下的只有通用的終端，唯一的例外是用戶(hù)需要本地采集信號或做預覽的情況，這種情況需要額外加以考慮，這個(gè)平臺就是面向全臺的私有云平臺。 私有云平臺具有非常明顯的優(yōu)勢，首先是系統維護更加簡(jiǎn)單，應用軟件可以快速的進(jìn)行部署和更新，設備故障也不再是問(wèn)題，當資源池中的一臺物理服務(wù)器出現故障時(shí)，另一臺服務(wù)器會(huì )自動(dòng)接管；其次是資源動(dòng)態(tài)調整的優(yōu)勢，例如白天編輯業(yè)務(wù)繁忙時(shí)，系統可以把計算資源集中在編輯方面，晚上則可以快速把資源集中到遷移和轉換環(huán)節，所有資源都是可以動(dòng)態(tài)調整的，這一點(diǎn)也是云計算技術(shù)的重要特征；另外還有資產(chǎn)保值的優(yōu)勢，傳統的計算機2~3年就需要更換，而采用云架構后，瘦客戶(hù)端可以多年不用更換，需要更新的只是資源池里的設備，而且資源池里的設備更換周期也比原來(lái)要長(cháng)，例如一臺服務(wù)器擁有五個(gè)虛擬機，應用需求增加以后這臺機器可以只保留兩個(gè)虛擬機，再新加幾臺服務(wù)器即可，原來(lái)的設備無(wú)需淘汰。
圖表10 面向全臺的私有云平臺架構 四、大洋的探索與實(shí)踐 大洋從2009年起就開(kāi)始研究云計算技術(shù)，與相關(guān)廠(chǎng)商也做了很多的交流與合作，目前云計算技術(shù)還處于剛剛興起的階段，在面向全臺整合方面還有若干關(guān)鍵技術(shù)問(wèn)題有待解決，包括帶寬的問(wèn)題以及云平臺的安全性問(wèn)題等，云存儲的技術(shù)目前還不是很成熟，因此現階段我們的建議是：技術(shù)跟進(jìn)、局部入手、面向全臺，現在基于云架構全面構建全臺網(wǎng)是非常困難的，但可將一些新規劃建設的業(yè)務(wù)系統、面向全臺的資源服務(wù)平臺等作為切入點(diǎn)。 大洋是以媒資系統作為切入點(diǎn)來(lái)構建廣電云系統的，大洋的“浩瀚”媒體資產(chǎn)管理系統已經(jīng)全面構建在云平臺上，并在2011年的CCBN展會(huì )上進(jìn)行了展示，該云媒資系統已經(jīng)不再是傳統意義上的歸檔型、存儲型或者生產(chǎn)型的媒資系統，而是融合了很多基于云的管理和運營(yíng)方面內容的媒資系統。 云媒資系統結構非常簡(jiǎn)單，簡(jiǎn)單來(lái)說(shuō)就是機柜里插了若干臺服務(wù)器，所有的桌面全都變成瘦終端，這些瘦終端沒(méi)有計算能力，只是遠程桌面而已，系統主要的管理維護工作是對服務(wù)器進(jìn)行節點(diǎn)切分，配置虛擬機的CPU資源、內存資源、帶寬資源，存儲方面使用云存儲或普通存儲均可。
圖表11 大洋云媒資拓撲示意 2011年CCBN展會(huì )上，大洋推出了兩種形態(tài)的云媒資，第一種是計算服務(wù)云，是私有的云媒資，在這種形態(tài)下，各個(gè)業(yè)務(wù)部門(mén)按需獲取計算資源，比較適合于自建數據中心的電視臺；第二種是軟件服務(wù)云，采用公有云的方式，面向的客戶(hù)主要是中小用戶(hù)，允許用戶(hù)通過(guò)網(wǎng)絡(luò )按需獲取所需要的加工、存儲、管理、瀏覽服務(wù)，就像企業(yè)郵箱一樣，這種模式目前還有兩個(gè)障礙需要解決，一個(gè)是傳輸帶寬問(wèn)題，一個(gè)是數據安全問(wèn)題。 對于規模較大的用戶(hù)，大洋提供了兩種云媒資建設模式，一種是電視臺自己的私有云媒資，采用這種模式，用戶(hù)可以享受到平臺池化后維護的低成本和高效率優(yōu)勢；另一種是面向集團的云媒資，這是一種介于純公有云和純私有云之間的集團云，集團建立的這個(gè)云平臺既擁有計算資源，也擁有服務(wù)資源，集團下所有分支機構都可以方便快捷的獲得所需要的軟件和服務(wù)。 五、結束語(yǔ) 云計算是一項令各級電視臺和所有系統設計人員興奮的技術(shù)，基于云的架構來(lái)整合全臺資源、重構電視臺業(yè)務(wù)流程、降低成本、提高效率，必將是未來(lái)若干年的技術(shù)熱點(diǎn)，大洋愿與廣大用戶(hù)一起進(jìn)行深入的探索和實(shí)踐！ |
聯(lián)系客服
