數字視頻的采樣格式及數字化標準
模擬視頻的數字化包括不少技術(shù)問(wèn)題,如電視信號具有不同的制式而且采用復合的YUV信號方式,而計算機工作在RGB空間;電視機是隔行掃描,計算機顯示器大多逐行掃描;電視圖像的分辨率與顯示器的分辨率也不盡相同等等。因此,模擬視頻的數字化主要包括色彩空間的轉換、光柵掃描的轉換以及分辨率的統一。
模擬視頻一般采用分量數字化方式,先把復合視頻信號中的亮度和色度分離,得到YUV或YIQ分量,然后用三個(gè)模/數轉換器對三個(gè)分量分別進(jìn)行數字化,最后再轉換成RGB空間。
一、數字視頻的采樣格式
根據電視信號的特征,亮度信號的帶寬是色度信號帶寬的兩倍。因此其數字化時(shí)可采用幅色采樣法,即對信號的色差分量的采樣率低于對亮度分量的采樣率。用Y:U:V來(lái)表示YUV三分量的采樣比例,則數字視頻的采樣格式分別有4:1:1、4:2:2和4:4:4三種。電視圖像既是空間的函數,也是時(shí)間的函數,而且又是隔行掃描式,所以其采樣方式比掃描儀掃描圖像的方式要復雜得多。分量采樣時(shí)采到的是隔行樣本點(diǎn),要把隔行樣本組合成逐行樣本,然后進(jìn)行樣本點(diǎn)的量化,YUV到RGB色彩空間的轉換等等,最后才能得到數字視頻數據。
二、數字視頻標準
為了在PAL、NTSC和 SECAM電視制式之間確定共同的數字化參數,國家無(wú)線(xiàn)電咨詢(xún)委員會(huì )(CCIR)制定了廣播級質(zhì)量的數字電視編碼標準,稱(chēng)為CCIR 601標準。在該標準中,對采樣頻率、采樣結構、色彩空間轉換等都作了嚴格的規定,主要有:
1、采樣頻率為f s=13.5MHz
2、分辨率與幀率
電視制式 分辨率 幀 率
NTSC 640×480 30
PAL、SECAM 768×576 25
3、根據f s的采樣率,在不同的采樣格式下計算出數字視頻的數據量:
采樣格式(Y:U:V) 數據量(Mbyte / s)
4:2:2 27
4:4:4 40
這種未壓縮的數字視頻數據量對于目前的計算機和網(wǎng)絡(luò )來(lái)說(shuō)無(wú)論是存儲或傳輸都是不現實(shí)的,因此在多媒體中應用數字視頻的關(guān)鍵問(wèn)題是數字視頻的壓縮技術(shù)。
三、視頻序列的SMPTE表示單位
通常用時(shí)間碼來(lái)識別和記錄視頻數據流中的每一幀,從一段視頻的起始幀到終止幀,其間的每一幀都有一個(gè)唯一的時(shí)間碼地址。根據動(dòng)畫(huà)和電視工程師協(xié)會(huì )SMPTE(Society of Motion Picture and Television Engineers)使用的時(shí)間碼標準,其格式是:小時(shí):分鐘:秒:幀,或 hours:minutes:seconds:frames。 一段長(cháng)度為00:02:31:15的視頻片段的播放時(shí)間為2分鐘31秒15幀,如果以每秒30幀的速率播放,則播放時(shí)間為2分鐘31.5秒。
根據電影、錄像和電視工業(yè)中使用的幀率的不同,各有其對應的SMPTE標準。由于技術(shù)的原因NTSC制式實(shí)際使用的幀率是29.97fps而不是30fps,因此在時(shí)間碼與實(shí)際播放時(shí)間之間有0.1%的誤差。為了解決這個(gè)誤差問(wèn)題,設計出丟幀(drop-frame)格式,也即在播放時(shí)每分鐘要丟2幀(實(shí)際上是有兩幀不顯示而不是從文件中刪除),這樣可以保證時(shí)間碼與實(shí)際播放時(shí)間的一致。與丟幀格式對應的是不丟幀(nondrop-frame)格式,它忽略時(shí)間碼與實(shí)際播放幀之間的誤差。
視頻壓縮編碼的基本概念
視頻壓縮的目標是在盡可能保證視覺(jué)效果的前提下減少視頻數據率。視頻壓縮比一般指壓縮后的數據量與壓縮前的數據量之比。由于視頻是連續的靜態(tài)圖像,因此其壓縮編碼算法與靜態(tài)圖像的壓縮編碼算法有某些共同之處,但是運動(dòng)的視頻還有其自身的特性,因此在壓縮時(shí)還應考慮其運動(dòng)特性才能達到高壓縮的目標。在視頻壓縮中常需用到以下的一些基本概念:
一、有損和無(wú)損壓縮:在視頻壓縮中有損(Lossy )和無(wú)損(Lossless)的概念與靜態(tài)圖像中基本類(lèi)似。無(wú)損壓縮也即壓縮前和解壓縮后的數據完全一致。多數的無(wú)損壓縮都采用RLE行程編碼算法。有損壓縮意味著(zhù)解壓縮后的數據與壓縮前的數據不一致。在壓縮的過(guò)程中要丟失一些人眼和人耳所不敏感的圖像或音頻信息,而且丟失的信息不可恢復。幾乎所有高壓縮的算法都采用有損壓縮,這樣才能達到低數據率的目標。丟失的數據率與壓縮比有關(guān),壓縮比越小,丟失的數據越多,解壓縮后的效果一般越差。此外,某些有損壓縮算法采用多次重復壓縮的方式,這樣還會(huì )引起額外的數據丟失。
二、幀內和幀間壓縮:幀內(Intraframe)壓縮也稱(chēng)為空間壓縮(Spatial compression)。當壓縮一幀圖像時(shí),僅考慮本幀的數據而不考慮相鄰幀之間的冗余信息,這實(shí)際上與靜態(tài)圖像壓縮類(lèi)似。幀內一般采用有損壓縮算法,由于幀內壓縮時(shí)各個(gè)幀之間沒(méi)有相互關(guān)系,所以壓縮后的視頻數據仍可以以幀為單位進(jìn)行編輯。幀內壓縮一般達不到很高的壓縮。
采用幀間(Interframe)壓縮是基于許多視頻或動(dòng)畫(huà)的連續前后兩幀具有很大的相關(guān)性,或者說(shuō)前后兩幀信息變化很小的特點(diǎn)。也即連續的視頻其相鄰幀之間具有冗余信息,根據這一特性,壓縮相鄰幀之間的冗余量就可以進(jìn)一步提高壓縮量,減小壓縮比。幀間壓縮也稱(chēng)為時(shí)間壓縮(Temporal compression),它通過(guò)比較時(shí)間軸上不同幀之間的數據進(jìn)行壓縮。幀間壓縮一般是無(wú)損的。幀差值(Frame differencing)算法是一種典型的時(shí)間壓縮法,它通過(guò)比較本幀與相鄰幀之間的差異,僅記錄本幀與其相鄰幀的差值,這樣可以大大減少數據量。
三、對稱(chēng)和不對稱(chēng)編碼:對稱(chēng)性(symmetric)是壓縮編碼的一個(gè)關(guān)鍵特征。對稱(chēng)意味著(zhù)壓縮和解壓縮占用相同的計算處理能力和時(shí)間,對稱(chēng)算法適合于實(shí)時(shí)壓縮和傳送視頻,如視頻會(huì )議應用就以采用對稱(chēng)的壓縮編碼算法為好。而在電子出版和其它多媒體應用中,一般是把視頻預先壓縮處理好,爾后再播放,因此可以采用不對稱(chēng)(asymmetric)編碼。不對稱(chēng)或非對稱(chēng)意味著(zhù)壓縮時(shí)需要花費大量的處理能力和時(shí)間,而解壓縮時(shí)則能較好地實(shí)時(shí)回放,也即以不同的速度進(jìn)行壓縮和解壓縮。一般地說(shuō),壓縮一段視頻的時(shí)間比回放(解壓縮)該視頻的時(shí)間要多得多。例如,壓縮一段三分鐘的視頻片斷可能需要10多分鐘的時(shí)間,而該片斷實(shí)時(shí)回放時(shí)間只有三分鐘。
目前有多種視頻壓縮編碼方法,但其中最有代表性的是MPEG數字視頻格式和AVI數字視頻格式。
MPEG數字視頻
MPEG(Moving Picture Experts Group)是1988年成立的一個(gè)專(zhuān)家組。這個(gè)專(zhuān)家組在1991年制定了一個(gè)MPEG-1國際標準,其標準名稱(chēng)為“動(dòng)態(tài)圖像和伴音的編碼--用于速率小于每秒約1.5兆比特的數字存儲媒體(Coding of moving picture and associated audio--for digital storage media at up to about 1.5Mbit / s)”。這里的數字存儲媒體指一般的數字存儲設備如CD-ROM、硬盤(pán)和可擦寫(xiě)光盤(pán)等。MPEG的最大壓縮可達約1:200,其目標是要把目前的廣播視頻信號壓縮到能夠記錄在CD光盤(pán)上并能夠用單速的光盤(pán)驅動(dòng)器來(lái)播放,并具有VHS的顯示質(zhì)量和高保真立體伴音效果。MPEG采用的編碼算法簡(jiǎn)稱(chēng)為MPEG算法,用該算法壓縮的數據稱(chēng)為MPEG數據,由該數據產(chǎn)生的文件稱(chēng)MPEG文件,它以MPG為文件后綴。
MPEG數字視頻格式
MPEG采用有損和不對稱(chēng)的壓縮編碼算法。MPEG標準詳細地說(shuō)明了視頻圖像的壓縮和解壓縮方法,以及播放MPEG數據所需的圖像與聲音的同步。MPEG標準包括三個(gè)部分:MPEG視頻(Video)、MPEG音頻(Audio)和MPEG系統(System)。
一、MPEG視頻:MPEG視頻是標準的核心。MPEG-1是為了適應在數字存儲媒體如CD-ROM上有效地存取視頻圖像而制定的標準。CD-ROM驅動(dòng)器的數據傳輸率不會(huì )低于150KB/s=1.2Mb/s(單倍速),而容量不會(huì )低于650MB,MPEG-1算法就是針對這個(gè)速率開(kāi)發(fā)的。MPEG-1的的視窗尺寸為CCIR 601定義分辨率的二分之一,可達到30fps或25fps的幀率,它采用多種壓縮算法,壓縮后的數據率為1.2-3MB/s。因此可以實(shí)時(shí)播放存儲在光盤(pán)上的數字視頻圖像。
二、MPEG音頻:MPEG-1標準支持高壓縮的音頻數據流,其采樣率為44、22和11KHz,16位量化。還原后聲音質(zhì)量接近于原來(lái)的聲音質(zhì)量,如CD-DA的音質(zhì)。CA-DA音質(zhì)的音頻數據率為每分鐘約10兆字節(10MB/min),等價(jià)于每秒約1.4兆位(1.4Mb/s),這是單速CD-ROM的整個(gè)帶寬!采用MPEG-1音頻壓縮算法可以把單聲道位速率降到0.192Mb/s,甚至更低,而聲音的質(zhì)量又無(wú)明顯的下降。MPEG-1支持兩個(gè)聲道,可設置成單聲道(mono)、雙聲道(dual)、立體聲(stereo)等。
目前在網(wǎng)絡(luò )上廣泛使用的MP3音頻文件,就是利用 MPEG-3的音頻技術(shù), 實(shí)現了1:10 甚至 1:12 的壓縮率,而且失真很小。
三、MPEG系統:這部分是有關(guān)同步和多路復合技術(shù),用來(lái)把數字電視圖像和伴音復合成單一的、位速率為1.5Mb/s的數據位流。MPEG的數據位流分成內外兩層,外層為系統層,內層為壓縮層。系統層提供在一個(gè)系統中使用MPEG數據位流所必須的功能,包括定時(shí)、復合和分離視頻圖像和伴音,以及在播放期間圖像和伴音的同步。壓縮層包含壓縮的視頻和伴音數據位流。
在多種視頻壓縮算法中,MPEG是可提供低數據率和高質(zhì)量的最好算法。MPEG-1已經(jīng)為廣大用戶(hù)所采用,如VCD或小影碟的發(fā)行等。其播放質(zhì)量可以達到家用錄像機的水平。采用不同的編碼參數,得到的MPEG-1數據的質(zhì)量也是不同的。同時(shí),MPEG專(zhuān)家組在1993年又制定了MPEG-2標準,DVD 就是采用的這種標準。
MPEG-1數據的回放
由于MPEG采用非對稱(chēng)的壓縮算法,在PC機上用軟件來(lái)進(jìn)行MPEG壓縮編碼是很費機時(shí)的,即使編碼幾個(gè)視頻片斷也要花費好幾小時(shí)。因此,一般用專(zhuān)門(mén)的MPEG編碼卡,用硬件實(shí)現MPEG壓縮編碼。要回放壓縮的MPEG數據,首先要對其進(jìn)行解碼,然后把解壓縮后的大量數字視頻數據送往顯示緩存進(jìn)行屏幕顯示。因此,影響回放效果的因素主要有兩點(diǎn):一是解碼的速率,二是顯示的速率。解碼的速度比編碼的速度快得多,因此在不同的MPC硬件基礎上可以采用軟件解碼和硬件解碼兩種方式。
一、MPEG-1軟件解碼:軟件解碼即采用軟件算法的方式讀取MPEG壓縮數據,對其進(jìn)行解壓縮并把解壓縮后的大量數字視頻數據送往顯示緩存進(jìn)行屏幕顯示。所以MPEG解壓縮軟件也稱(chēng)為MPEG播放軟件。采用軟件解碼的優(yōu)點(diǎn)是它無(wú)需額外硬件的支持,在MPC機上就可以播放MPEG數字視頻,使用方便;其缺點(diǎn)是解碼的速度和解碼后的視頻質(zhì)量完全取決于MPC的處理能力。
如果MPC的處理速度和顯示速度不夠快,采用軟件解碼播放MPEG數據時(shí)可能出現幀率不夠、圖像和伴音不同步或者圖像的“馬賽克”現象(圖像呈塊狀)。因此,在一定的硬件條件下,盡可能地利用MPC的系統資源是達到較好回放效果的關(guān)鍵。
二、MPEG-1硬解壓卡:MPEG硬解壓卡(簡(jiǎn)稱(chēng)解壓卡)是專(zhuān)用于MPEG數據的解壓和回放的硬件設備,解壓卡的核心是一塊解壓芯片。采用硬件解壓的優(yōu)點(diǎn)是其解壓和回放的速率不受MPC主機速率的影響,達到全屏實(shí)時(shí)回放,播放VCD時(shí)其穩定性和色彩效果也較好。但其缺點(diǎn)是需額外的硬件設備,并且其安裝調試也較麻煩。因此,硬件解壓卡一般用于處理速度不夠高的MPC中。
解壓卡需插入MPC主機的擴展槽中,把端口與MPC相應的端口相連,設置好系統參數,利用解壓卡自帶的播放軟件就可以進(jìn)行MPEG-1的回放了。
雖然MPEG-1具有標準化、高壓縮、視頻質(zhì)量好的特點(diǎn),但是它生成的MPEG文件需要用專(zhuān)門(mén)的解壓軟件或硬件來(lái)回放,解壓軟件的回放效果取決于系統的處理能力,而解壓硬件又需額外的設備,不利于用戶(hù)在自己開(kāi)發(fā)的軟件中應用。此外,為了獲得高壓縮,MPEG采用幀間壓縮算法,由于幀間壓縮時(shí)每一幀僅存儲與前一幀信息的差值,對幀進(jìn)行編輯時(shí)就非常困難。MPEG文件只能用解壓軟件或硬件解壓后回放,而不能用絕大多數的視頻編輯軟件進(jìn)行編輯。因此,除了MPEG數字視頻以外,目前較為流行的還有AVI數字視頻。