01
DCI接口的需求
DCI（Data Center Interconnect）是在多個(gè)數據中心之間進(jìn)行遠距離直接互聯(lián)的接口技術(shù)。雖然現在很多超大規模數據中心的服務(wù)器數量都達到了數萬(wàn)臺甚至超過(guò)10萬(wàn)臺，但是對于全球布局的大型互聯(lián)網(wǎng)公司來(lái)說(shuō)，無(wú)論單個(gè)數據中心的性能如何強大，也無(wú)法滿(mǎn)足全世界客戶(hù)對于云端計算和數據存儲的需求的。而且受限于周邊環(huán)境和電力供應，單個(gè)數據中心的規模也是有限的，必須建立很多數據中心才能滿(mǎn)足業(yè)務(wù)發(fā)展的需求。從業(yè)務(wù)層面，一些云計算的服務(wù)，比如大數據挖掘、智能輔助駕駛、在線(xiàn)游戲等，對于時(shí)延都是非常敏感的，這就要求承載這類(lèi)業(yè)務(wù)的數據中心不能離最終用戶(hù)太遠。另外，出于容災和備份的需求，很多大型數據中心也是有相距十幾公里到幾十公里的2～3個(gè)站址組成，各個(gè)站址間需要有大量的低時(shí)延的數據交互通道。
以目前全球最大的云計算服務(wù)提供商Amazon公司為例，截至到2019年，其遍布全球的數據中心網(wǎng)絡(luò )由多個(gè)20多個(gè)地理區域（Region）組成。每個(gè)區域都是完全獨立的，服務(wù)于一個(gè)獨立的地理區域，正常情況下資源不會(huì )跨區域復制，以滿(mǎn)足各國或地區的監管及合規要求，典型的區域如美國的弗吉尼亞州、俄亥俄州、加州、俄勒岡州，中國的寧夏、北京，歐洲的法蘭克福、倫敦、巴黎、愛(ài)爾蘭，其它亞太國家的東京、孟買(mǎi)、首爾、悉尼等。在每個(gè)地理區域內又分為2～3個(gè)可用區（Available Zone），每個(gè)可用區都有有獨立的供電和網(wǎng)絡(luò )，相距可能從幾十公里到上千公里，這樣假如一個(gè)可用區出現問(wèn)題時(shí)也不會(huì )影響另外的可用區，各個(gè)可用區的數據中心之間需要通過(guò)低延時(shí)、高吞吐量、冗余備份的網(wǎng)絡(luò )連接在一起。（參考資料：https://aws.amazon.com/cn/about-aws/global-infrastructure/）
圖1 Amazon公司的數據中心分布
早期的數據中心都是通過(guò)直接接入Internet進(jìn)行互聯(lián)，后來(lái)隨著(zhù)業(yè)務(wù)流量的增加，數據中心之間的數據流量達到了Tbit/s以上，網(wǎng)絡(luò )的時(shí)延、擁塞、安全問(wèn)題都要求有專(zhuān)門(mén)的接口來(lái)支持數據中心之間大量的數據交換?，F代虛擬化技術(shù)的廣泛應用使得多個(gè)物理上分開(kāi)的數據中心可以象一個(gè)虛擬的數據中心那樣工作，大型的互聯(lián)網(wǎng)廠(chǎng)商可以在多個(gè)數據中心和業(yè)務(wù)之間分擔負荷、減少運營(yíng)成本以及最大化業(yè)務(wù)性能，這使得DCI接口從需求和軟件層面的技術(shù)上都得到了很好的支撐。
02
相干通信技術(shù)
DCI（Data Center Interconnect）是在多個(gè)數據中心之間進(jìn)行遠距離直接互聯(lián)的接口技術(shù)。雖然現在很多超大規模數據中心的服務(wù)器數量都達到了數萬(wàn)臺甚至超過(guò)10萬(wàn)臺，但是對于全球布局的大型互聯(lián)網(wǎng)公司來(lái)說(shuō)，無(wú)論單個(gè)數據中心的性能如何強大，也無(wú)法滿(mǎn)足全世界客戶(hù)對于云端計算和數據存儲的需求的。而且受限于周邊環(huán)境和電力供應，單個(gè)數據中心的規模也是有限的，必須建立很多數據中心才能滿(mǎn)足業(yè)務(wù)發(fā)展的需求。從業(yè)務(wù)層面，一些云計算的服務(wù)，比如大數據挖掘、智能輔助駕駛、在線(xiàn)游戲等，對于時(shí)延都是非常敏感的，這就要求承載這類(lèi)業(yè)務(wù)的數據中心不能離最終用戶(hù)太遠。另外，出于容災和備份的需求，很多大型數據中心也是有相距十幾公里到幾十公里的2～3個(gè)站址組成，各個(gè)站址間需要有大量的低時(shí)延的數據交互通道。
對于DCI接口來(lái)說(shuō)，其面對的連接需求和數據中心內部之間的互聯(lián)接口差別很大，主要挑戰體現在連接距離、接口帶寬、安全性及運營(yíng)成本上。
從連接距離上來(lái)說(shuō)，數據中心內部的互聯(lián)接口一般是幾十米到幾百米，即使在同一園區的不同樓宇之間連接距離也很少超過(guò)2公里。但是，數據中心之間的距離一般都比較遠，一般在十幾公里到幾十公里，甚至百公里以上。在這么遠的傳輸距離上，光纖本身的損耗和色散比起在數據中心內部傳輸時(shí)都要大得多，因此需要考慮光信號的放大和色散補償，除了物理的技術(shù)以外，現代DSP信號處理技術(shù)也廣泛應用于遠距離傳輸時(shí)的信號補償。
另外，遠距離光纖資源的獲得和成本也是關(guān)鍵因素之一。由于政策不同，各國光纖資源的獲得方法不同，有些是互聯(lián)網(wǎng)廠(chǎng)商自建或租用電信運營(yíng)商鋪設但未使用的光纖（Dark Fiber），有些是要借助于電信運營(yíng)商的傳輸網(wǎng)絡(luò )。為了充分利用來(lái)之不易的光纖資源，需要在有限的光纖鏈路上復用更多路的光信號進(jìn)行傳輸，所以DWDM（密集波分復用）技術(shù)在DCI接口上被廣泛使用，在一根纖芯里復用40～80個(gè)波長(cháng)的光信號。采用DWDM技術(shù)對于光模塊的功率、波長(cháng)精度、線(xiàn)寬都有嚴格要求，因此其光模塊成本比數據中心內部互聯(lián)用的光模塊成本高很多。另外，為了盡可能減少DCI接口的時(shí)延，需要選擇盡可能短的物理路徑以及時(shí)延盡可能小的網(wǎng)絡(luò )轉發(fā)技術(shù)，同時(shí)從軟件層面上進(jìn)行時(shí)延的優(yōu)化。
從接口帶寬上來(lái)說(shuō)，DCI接口需要在每個(gè)波長(cháng)上傳輸更高速率的信號以提高總的接口帶寬。傳統采用直接簡(jiǎn)單調制的技術(shù)很難滿(mǎn)足這個(gè)要求，因為如果希望通過(guò)提高波特率來(lái)提高接口帶寬的話(huà)，一方面對于光、電器件的帶寬要求比較高，另一方面高波特率的直接調制會(huì )造成激光頻譜的展寬，從而影響到DWDM系統的相鄰波長(cháng)。目前在傳輸網(wǎng)上遠距離光傳輸使用比較成熟的是相干（Coherent）光通信技術(shù)，即采用類(lèi)似無(wú)線(xiàn)通信的QPSK或16QAM調制對光信號的幅度和相位同時(shí)調制并進(jìn)行信號的成型濾波以控制帶寬，而接收端也有專(zhuān)門(mén)的本振激光器和輸入信號進(jìn)行混頻以檢測幅度和相位變化。相干光通信的調制方式雖然比較復雜和昂貴，但是在相同帶寬內傳輸的有效信息多，而且檢測靈敏度高，可以用DSP技術(shù)進(jìn)行復雜的色散和通道補償，所以已經(jīng)成為遠距離高帶寬光傳輸的主流技術(shù)，目前單波長(cháng)400Gbps的相干光傳輸技術(shù)已經(jīng)成熟，單波長(cháng)600Gbps或800Gbps的傳輸技術(shù)也已經(jīng)有設備或芯片廠(chǎng)商進(jìn)行展示。下圖是Acacia公司于2019年初發(fā)布的1.2Tbps的相干光模塊，其采用了2個(gè)波長(cháng)，每個(gè)波長(cháng)上的數據速率達到600Gbps。（資料來(lái)源：https://www.lightwaveonline.com/articles/2019-lightwave-innovation-reviews/）
圖2 1.2Tbps的相干通信的光模塊
對于數據中心的DCI接口互聯(lián)來(lái)說(shuō)，其應用需求其實(shí)比傳輸網(wǎng)上要簡(jiǎn)單一些，主要體現在傳輸距離不需要那么遠（傳輸網(wǎng)的距離可達上千甚至上萬(wàn)公里，數據中心之間互聯(lián)大部分在80公里以?xún)?，中間進(jìn)行簡(jiǎn)單放大即可，一般不需要復雜的色散補償），網(wǎng)絡(luò )拓撲也比較簡(jiǎn)單（數據中心大部分2～3個(gè)站址間點(diǎn)到點(diǎn)連接，傳輸網(wǎng)是網(wǎng)狀網(wǎng)絡(luò )，需要復雜的在各個(gè)節點(diǎn)進(jìn)行光分插復用的ROADM設備），可以對傳統傳輸網(wǎng)上使用的相干通信技術(shù)降低一些需求以節約成本。
相干通信技術(shù)之前在傳輸網(wǎng)上應用時(shí)一直沒(méi)有統一的標準，不同廠(chǎng)商設備的數據速率、調制方式、數據包結構、FEC校驗方式等都不完全一樣，因此必須收發(fā)都使用同一廠(chǎng)商的設備，之間很難互聯(lián)互通，成本也居高不下。另外，相干通信中大量使用DSP和FEC技術(shù)來(lái)保證傳輸誤碼率，這也會(huì )增加一些設備處理和轉發(fā)的時(shí)延。目前，OIF組織的400-ZR工作組正在制定80km以?xún)葌鬏斁嚯x的相干光通信標準，其波特率為59.8GBaud，采用DP-16QAM（即偏振復用的16QAM調制）技術(shù)，因此其單波長(cháng)上的理論數據傳輸速率= 59.8GBaud * 4bit(16QAM調制) * 2(偏振復用) ≈ 480Gbps，除去約15%的FEC校驗開(kāi)銷(xiāo)后約為400Gbps。如果采用80個(gè)波長(cháng)傳輸的話(huà)單根光纖上的有效數據速率=400Gbps *80波長(cháng) = 32Tbps。
03
ColorZ技術(shù)
DCI（Data Center Interconnect）是在多個(gè)數據中心之間進(jìn)行遠距離直接互聯(lián)的接口技術(shù)。雖然現在很多超大規模數據中心的服務(wù)器數量都達到了數萬(wàn)臺甚至超過(guò)10萬(wàn)臺，但是對于全球布局的大型互聯(lián)網(wǎng)公司來(lái)說(shuō)，無(wú)論單個(gè)數據中心的性能如何強大，也無(wú)法滿(mǎn)足全世界客戶(hù)對于云端計算和數據存儲的需求的。而且受限于周邊環(huán)境和電力供應，單個(gè)數據中心的規模也是有限的，必須建立很多數據中心才能滿(mǎn)足業(yè)務(wù)發(fā)展的需求。從業(yè)務(wù)層面，一些云計算的服務(wù)，比如大數據挖掘、智能輔助駕駛、在線(xiàn)游戲等，對于時(shí)延都是非常敏感的，這就要求承載這類(lèi)業(yè)務(wù)的數據中心不能離最終用戶(hù)太遠。另外，出于容災和備份的需求，很多大型數據中心也是有相距十幾公里到幾十公里的2～3個(gè)站址組成，各個(gè)站址間需要有大量的低時(shí)延的數據交互通道。
圖3 ColorZ技術(shù)
從安全性和運營(yíng)來(lái)說(shuō)，由于大量的商業(yè)及個(gè)人信息在數據中心之外的光纖和設備上傳輸，必須對傳輸的數據進(jìn)行可靠的加密，并且有可靠的網(wǎng)絡(luò )故障發(fā)現和定位手段，同時(shí)可以根據業(yè)務(wù)需求靈活擴容和調整。
04
DCI的未來(lái)
從目前的趨勢看，在80公里以上距離的DCI連接上，還是會(huì )主要采用DWDM的相干通信技術(shù)，或者還是用傳統的方式把以太網(wǎng)直接承載在現有的傳輸網(wǎng)上；在20公里到80公里距離的DCI連接上，采用DWDM的相干光通信和采用DWDM的PAM4技術(shù)還會(huì )在建設及運營(yíng)成本、可靠性方面存在一段時(shí)間的競爭；在20公里以下的DCI連接上，根據連接帶寬和光纖資源的場(chǎng)景不同，基于傳統以太網(wǎng)CWDM的PAM4技術(shù)和DWDM的PAM4技術(shù)應該都會(huì )有應用。以上幾種方式，特別是前兩種可能都可能會(huì )涉及到OTN（光傳輸網(wǎng)）的租用或者運營(yíng)管理，這和傳統數據中心內部的IP網(wǎng)絡(luò )有很大區別，需要慎重考慮相關(guān)技術(shù)和運營(yíng)方案。
李凱
ODCC新技術(shù)與測試工作組項目經(jīng)理
Keysight資深技術(shù)顧問(wèn)
聯(lián)系客服
