可擴展視頻編解碼器已經(jīng)被開(kāi)發(fā)了許多年。廣播行業(yè)嚴格地受到業(yè)已建立的各種標準的控制，因此在采用這一技術(shù)上一直反應遲緩。處理器、傳感器以及顯示技術(shù)的進(jìn)步正在點(diǎn)爆各種視頻應用?；ヂ?lián)網(wǎng)以及IP技術(shù)正無(wú)縫地把視頻伺服至更為不同和遠程的由顯示設備構成的社群?？蓴U展視頻編解碼器——如H.264 SVC滿(mǎn)足了許多這些系統的需求，并且它們可能促使視頻被廣泛采納為通信媒介的催化劑。
編解碼器被用于壓縮視頻，以減小傳輸視頻流所需要的帶寬，或者，降低把視頻文件存檔所需要的存儲空間。這種壓縮的代價(jià)就是增大計算要求：壓縮比越高，對計算能力的要求就越高。
在帶寬與計算要求之間做出折中，對于定義承載編碼視頻流所需要的最小信道帶寬以及編碼設備的最小指標均有影響。在傳統的像廣播電視機這樣的視頻系統中，解碼器的最小規范(在機頂盒的情形下)易于被定義。
然而，目前視頻被越來(lái)越多地由各種各樣的應用所采用，相應地，有各種各樣的客戶(hù)設備，這些設備包括從計算機觀(guān)看互聯(lián)網(wǎng)視頻，到便攜式數字助理(PDA)以及小巧的蜂窩電話(huà)。針對這些設備的視頻流必需是不同的。
為了更好地兼容特定的觀(guān)看設備以及信道帶寬，必須采用不同的設置對視頻流多次編碼。每一個(gè)設置的組合必須向用戶(hù)產(chǎn)生一個(gè)滿(mǎn)足視頻流傳輸所需帶寬的視頻流以及對觀(guān)看設備進(jìn)行解碼的能力。如果原始解壓視頻流不可用，那么，編碼視頻流必須首先被解碼，然后采用新的設置進(jìn)行解碼。這種做法是十分昂貴的。
在理想的情形下，視頻僅僅以高效率的編解碼器被編碼一次。如果經(jīng)過(guò)解碼的話(huà)，得到的視頻流會(huì )產(chǎn)生全分辨率的視頻。此外，在理想的情形下，如果較低分辨率或帶寬的視頻流需要被進(jìn)一步延伸至網(wǎng)絡(luò )之中，以鎖定較低性能的設備，那么，可以不必采取附加的處理，就能夠發(fā)送一小部分的編碼視頻。這種較小的視頻流便于解碼并產(chǎn)生較低分辨率的視頻。以這種方式，編碼視頻流自身就能夠適應它需要經(jīng)過(guò)的信道帶寬以及目標設備的性能。這些就是可擴展視頻編解碼器的品質(zhì)所在。
H.264 可擴展視頻編解碼器
擴展至H.264的可擴展視頻編解碼器(H.264 SVC)，被設計來(lái)傳遞上述理想情形的各種好處。它以H.264先進(jìn)視頻編解碼器標準(H.264 AVC)為基礎，并高度利用了原始編解碼器的各種工具以及概念。然而，它產(chǎn)生的編碼視頻是空間上臨時(shí)可擴展的，并且是在視頻質(zhì)量方面可擴展的。也就是說(shuō)，它能夠產(chǎn)生不同幀速率、分辨率或質(zhì)量等級的解碼視頻。
SVC擴展引入了一種原始H.264 AVC編解碼器—在編碼視頻內的各層—不存在的概念?；A層對視頻流的最低臨時(shí)、空間和品質(zhì)表現進(jìn)行編碼。增強各層利用基礎層作為起點(diǎn)，對附加信息進(jìn)行編碼，從而在解碼過(guò)程中把編碼結果用于重構高質(zhì)量、高分辨率或；臨時(shí)的視頻版本。
圖1：H.264 SVC分層結構。
圖2：調節等級以降低帶寬和分辨率。
也就是說(shuō)，隨著(zhù)視頻流從高帶寬轉換為較低帶寬的網(wǎng)絡(luò )(例如，通過(guò)WiFi鏈路從以太網(wǎng)轉換至手持)，要針對可用的帶寬調節視頻流的大小。在上述例子中，要針對無(wú)線(xiàn)鏈路的帶寬調節視頻流的大小以及手持解碼器的解碼能力。圖2顯示了個(gè)人電腦把低帶寬的視頻流轉為為移動(dòng)設備視頻流的例子。
圖3：傳統的I、P和B幀的關(guān)系。
圖4：在SVC中的分層預測幀。
這個(gè)方案具有四個(gè)嵌套的臨時(shí)層：T0 (基礎層)、T1、T2和T3。由T1和T2各層構成的幀僅僅由T0層中的各幀預測。在T3層中的各幀僅僅由T1或T2各層中的各幀來(lái)預測。
為了以3.75幀每秒的速度播放編碼幀，僅僅構成T0的各幀需要被解碼。所有的其它各幀可以被丟棄。為了以7.5fps的速度播放，要對構成T0以及T1的各層進(jìn)行解碼。在T2和T3中的各幀被丟棄。類(lèi)似地，如果構成T0、T1和T2的各幀被解碼，所得到的視頻流將以15fps的速度播放。如果所有幀均被解碼，那么，完全的30fps視頻流被恢復。
相比之下，在H.264 SVC(對于Baseline Profile來(lái)說(shuō)，僅僅雙向預測幀被應用)中，不管需要的顯示率是什么，所有幀均需被解碼。為了轉換至一個(gè)低帶寬網(wǎng)絡(luò )，整個(gè)視頻流均需要被解碼，不需要的幀可以被丟棄，然后，重新編碼。
在H.264 SVC中的空間可擴展性遵循類(lèi)似的原則。在這一情形下，較低分辨率的各幀被編碼為基礎幀。經(jīng)解碼和上行采樣的基礎幀被用于對較高階各層進(jìn)行預測。重構原始場(chǎng)景細節所需要的附加信息被編碼為一個(gè)獨立的增強層。在某些情形下，重用運動(dòng)信息能夠進(jìn)一步增加編碼效率。
同時(shí)聯(lián)播與SVC
在H.264 SVC中存在于可擴展性相關(guān)的開(kāi)銷(xiāo)。正如我們在圖3中所看到的那樣，參考幀與預測幀之間的距離在時(shí)間(例如從T0至T1)上比傳統的幀結構要長(cháng)。在具有高運動(dòng)圖像的場(chǎng)景中，這能夠導致效率稍低的壓縮。為了對視頻流各層級結構進(jìn)行管理，也存在相關(guān)的開(kāi)銷(xiāo)。
整體而言，跟不具備可擴展性的全分辨率以及全幀速率視頻構成的H.264視頻流相比，具有三層臨時(shí)可擴展性以及三層空間可擴展性的SVC視頻可能要大20%以上。如果采用H.264 編解碼器對可擴展性進(jìn)行仿真，就需要多個(gè)編碼視頻流，從而導致更高的帶寬要求或貫穿網(wǎng)絡(luò )的昂貴解碼和二次編碼。
SVC的額外好處：
誤碼恢復
誤碼恢復的傳統實(shí)現方法是把附加的信息添加至視頻流之中，以便監測和校正誤碼。SVC的分層方法意味著(zhù)不需要增加大的開(kāi)銷(xiāo)，就可以在較小的基本層上執行高級別的誤碼監測和校正。如果要把相同程度的誤碼監測和校正功能應用于A(yíng)VC視頻流中，那就需要把整個(gè)視頻流保護起來(lái)，從而導致視頻流更大。如果在SVC視頻流中監測出誤碼，那么，就可以逐漸讓分辨率和幀速率退化，直至—如果需要的話(huà)—只有高度受保護的基礎層才可以使用。按照這一方式，在噪聲條件下的退化要比在H.264 AVC環(huán)境下更讓人可以接受。
因為SVC視頻流或文件即使在被刪節的情況下仍然可被解碼，SVC既可以在傳輸過(guò)程之中、也可以在文件被存儲之后采用。把被分解的文件存儲在光盤(pán)上并取消增強層，就可以在不對存儲在文件中的視頻流進(jìn)一步處理的情況下，壓縮文件的大小。這對于需要“要么全部管、要么不管”的方法進(jìn)行光盤(pán)管理的AVC文件來(lái)說(shuō)是不可能的。
內容管理
SVC視頻流或文件固有地包含較低分辨率以及幀速率的視頻流。這些視頻流可以被用于加速視頻分析的應用或分類(lèi)各種算法。臨時(shí)可擴展性也使得視頻流易于以快速進(jìn)退的方式搜索。
應用案例
H.264 SVC的典型應用是監控系統(Stretch公司在這個(gè)領(lǐng)域提供市場(chǎng)領(lǐng)先的解決方案，請訪(fǎng)問(wèn)其網(wǎng)站了解更多的細節)。以IP攝像機把視頻饋入視頻內容被存儲的控制間的情況為例，在視頻流上要運行基本運動(dòng)監測分析。在控制間顯示器上，以攝像機最大的分辨率(1280 x 720)觀(guān)看饋入的視頻，并以D1 (720 x 480)的分辨率存儲在保存光盤(pán)空間上。第一反應團隊也在現場(chǎng)反應車(chē)內的移動(dòng)終端上接入視頻流。那些顯示器的分辨率是CIF (352 x 240)，而視頻流的伺服速率為7fps。
在利用H.264 AVC實(shí)現的過(guò)程中，首要約束可能就是該攝像機伺服多個(gè)視頻流。在這個(gè)例子中，一個(gè)分辨率為1280x720，而另一個(gè)分辨率為720 x 480。在就給攝像機增加了額外的成本，但是，讓視頻流可以在控制間被直接記錄，與此同時(shí)，另一個(gè)視頻流被解碼和顯示。
如果沒(méi)有這一功能，那就需要采用昂貴的解碼、重定尺寸以及重新編碼步驟。D1流也可以被解碼并重新調節大小，以轉換為CIF分辨率，從而饋入在視頻流上運行的視頻分析(工具)上。CIF分辨率在時(shí)間上驟減以實(shí)現每秒7幀以及重新編碼，以便讓第一反應車(chē)通過(guò)無(wú)線(xiàn)鏈路加以利用。圖5顯示了利用H.264 AVC可能實(shí)現的一個(gè)系統。
圖5：H.264 AVC的視頻監控應用。
利用H.264 SVC編解碼器，就可以放寬對攝像機伺服多個(gè)視頻流的要求，降低系統復雜性，壓縮攝像機與控制間之間的網(wǎng)絡(luò )帶寬。完整的1280 x 720視頻流現在可以被存儲在網(wǎng)絡(luò )視頻刻錄機(NVR)上，這些文件可以被方便地分解，以創(chuàng )建D1(或CIF)視頻流，從而在給定的時(shí)期之后把光盤(pán)空間騰空出來(lái)。CIF視頻流可以直接由NVR伺服，以實(shí)現分析工作，而降低了幀速率的第二視頻流可以被提供給第一反應車(chē)使用。圖6顯示了H.264 SVC的一種可能的實(shí)現方案。
圖6：H.264 SVC視頻監控應用。
因此，根本沒(méi)有必要在視頻流本身上進(jìn)行操作，在業(yè)已存儲的文件上進(jìn)行操作就足夠了。其優(yōu)勢是明顯的：
壓縮網(wǎng)絡(luò )帶寬；
具有靈活的存儲管理；
取消了昂貴的解碼以及二次編碼的步驟；
如果需要的話(huà)，在NVR上的高清晰度視頻可以用來(lái)歸檔；
本文小結
可擴展視頻編解碼器已經(jīng)被開(kāi)發(fā)了許多年。廣播行業(yè)嚴格地受到業(yè)已建立的各種標準的控制，因此在采用這一技術(shù)上一直反應遲緩。處理器、傳感器以及顯示技術(shù)的進(jìn)步正在點(diǎn)爆各種視頻應用?；ヂ?lián)網(wǎng)以及IP技術(shù)正無(wú)縫地把視頻伺服至更為不同和遠程的由顯示設備構成的社群?？蓴U展視頻編解碼器----如H.264 SVC滿(mǎn)足了許多這些系統的需求，并且它們可能促使視頻被廣泛采納為通信媒介的催化劑。
關(guān)于作者
Mark Oliver是Stretch公司的產(chǎn)品市場(chǎng)營(yíng)銷(xiāo)總監。作為英國本地人，Oliver在利茲大學(xué)獲得了電氣和電子工程學(xué)為。在就職于惠普公司的十年期間，他在歐洲和美國曾經(jīng)管理惠普公司的工程和制造功能部門(mén)，之后，在一些與視頻相關(guān)的初創(chuàng )公司中領(lǐng)導產(chǎn)品市場(chǎng)營(yíng)銷(xiāo)以及應用活動(dòng)。在加盟Stretch公司之前，他曾任賽靈思公司DSP部門(mén)內部視頻與成像產(chǎn)品的市場(chǎng)營(yíng)銷(xiāo)管理人員。
聯(lián)系客服
