| （1） 分層設計
H.264的算法在概念上可以分為兩層：視頻編碼層（VCL：Video Coding Layer）負責高效的視頻內容表示，網(wǎng)絡(luò )提取層（NAL：Network Abstraction Layer）負責以網(wǎng)絡(luò )所要求的恰當的方式對數據進(jìn)行打包和傳送。在VCL和NAL之間定義了一個(gè)基于分組方式的接口，打包和相應的信令屬于NAL的一部分。這樣，高編碼效率和網(wǎng)絡(luò )友好性的任務(wù)分別由VCL和NAL來(lái)完成。
VCL層包括基于塊的運動(dòng)補償混合編碼和一些新特性。與前面的視頻編碼標準一樣，H.264沒(méi)有把前處理和后處理等功能包括在草案中，這樣可以增加標準的靈活性。
................................ NAL負責使用下層網(wǎng)絡(luò )的分段格式來(lái)封裝數據，包括組幀、邏輯信道的信令、定時(shí)信息的利用或序列結束信號等。例如，NAL支持視頻在電路交換信道上的傳輸格式，支持視頻在Internet上利用RTP/UDP/IP傳輸的格式。NAL包括自己的頭部信息、段結構信息和實(shí)際載荷信息，即上層的VCL數據。（如果采用數據分割技術(shù)，數據可能由幾個(gè)部分組成）。
（2） 高精度、多模式運動(dòng)估計
H.264支持1/4或1/8像素精度的運動(dòng)矢量。在1/4像素精度時(shí)可使用6抽頭濾波器來(lái)減少高頻噪聲，對于1/8像素精度的運動(dòng)矢量，可使用更為復雜的8抽頭的濾波器。在進(jìn)行運動(dòng)估計時(shí)，編碼器還可選擇“增強”內插濾波器來(lái)提高預測的效果。
在H.264的運動(dòng)預測中，一個(gè)宏塊（MB）可以按圖2被分為不同的子塊，形成7種不同模式的塊尺寸。這種多模式的靈活和細致的劃分，更切合圖像中實(shí)際運動(dòng)物體的形狀，大大提高了運動(dòng)估計的精確程度。在這種方式下，在每個(gè)宏塊中可以包含有1、2、4、8或16個(gè)運動(dòng)矢量。
在H.264中，允許編碼器使用多于一幀的先前幀用于運動(dòng)估計，這就是所謂的多幀參考技術(shù)。例如2幀或3幀剛剛編碼好的參考幀，編碼器將選擇對每個(gè)目標宏塊能給出更好的預測幀，并為每一宏塊指示是哪一幀被用于預測。
（3） 4×4塊的整數變換
H.264與先前的標準相似，對殘差采用基于塊的變換編碼，但變換是整數操作而不是實(shí)數運算，其過(guò)程和DCT基本相似。這種方法的優(yōu)點(diǎn)在于：在編碼器中和解碼器中允許精度相同的變換和反變換，便于使用簡(jiǎn)單的定點(diǎn)運算方式。也就是說(shuō)，這里沒(méi)有“反變換誤差”。變換的單位是4×4塊，而不是以往常用的8×8塊。由于用于變換塊的尺寸縮小，運動(dòng)物體的劃分更精確，這樣，不但變換計算量比較小，而且在運動(dòng)物體邊緣處的銜接誤差也大為減小。為了使小尺寸塊的變換方式對圖像中較大面積的平滑區域不產(chǎn)生塊之間的灰度差異，可對幀內宏塊亮度數據的16個(gè)4×4塊的DC系數（每個(gè)小塊一個(gè)，共16個(gè)）進(jìn)行第二次4×4塊的變換，對色度數據的4個(gè)4×4塊的DC系數（每個(gè)小塊一個(gè)，共4個(gè)）進(jìn)行2×2塊的變換。
H.264為了提高碼率控制的能力，量化步長(cháng)的變化的幅度控制在12.5%左右，而不是以不變的增幅變化。變換系數幅度的歸一化被放在反量化過(guò)程中處理以減少計算的復雜性。為了強調彩色的逼真性，對色度系數采用了較小量化步長(cháng)。
（4） 統一的VLC
H.264中熵編碼有兩種方法，一種是對所有的待編碼的符號采用統一的VLC（UVLC ：Universal VLC），另一種是采用內容自適應的二進(jìn)制算術(shù)編碼（CABAC：Context-Adaptive Binary Arithmetic Coding）。CABAC是可選項，其編碼性能比UVLC稍好，但計算復雜度也高。UVLC使用一個(gè)長(cháng)度無(wú)限的碼字集，設計結構非常有規則，用相同的碼表可以對不同的對象進(jìn)行編碼。這種方法很容易產(chǎn)生一個(gè)碼字，而解碼器也很容易地識別碼字的前綴，UVLC在發(fā)生比特錯誤時(shí)能快速獲得重同步。
圖3顯示了碼字的語(yǔ)法。這里，x0，x1，x2，…是INFO比特，并且為0或1。圖4列出了前9種碼字。如：第4號碼字包含INFO01，這一碼字的設計是為快速再同步而經(jīng)過(guò)優(yōu)化的，以防止誤碼。
（5） 幀內預測
在先前的H.26x系列和MPEG-x系列標準中，都是采用的幀間預測的方式。在H.264中，當編碼Intra圖像時(shí)可用幀內預測。對于每個(gè)4×4塊（除了邊緣塊特別處置以外），每個(gè)像素都可用17個(gè)最接近的先前已編碼的像素的不同加權和（有的權值可為0）來(lái)預測，即此像素所在塊的左上角的17個(gè)像素。顯然，這種幀內預測不是在時(shí)間上，而是在空間域上進(jìn)行的預測編碼算法，可以除去相鄰塊之間的空間冗余度，取得更為有效的壓縮。
如圖4所示，4×4方塊中a、b、...、p為16 個(gè)待預測的像素點(diǎn)，而A、B、...、P是已編碼的像素。如m點(diǎn)的值可以由（J＋2K＋L＋2）/ 4 式來(lái)預測，也可以由（A+B+C+D+I+J+K+L）/ 8 式來(lái)預測，等等。按照所選取的預測參考的點(diǎn)不同，亮度共有9類(lèi)不同的模式，但色度的幀內預測只有1類(lèi)模式。
（6） 面向IP和無(wú)線(xiàn)環(huán)境
H.264 草案中包含了用于差錯消除的工具，便于壓縮視頻在誤碼、丟包多發(fā)環(huán)境中傳輸，如移動(dòng)信道或IP信道中傳輸的健壯性。
為了抵御傳輸差錯，H.264視頻流中的時(shí)間同步可以通過(guò)采用幀內圖像刷新來(lái)完成，空間同步由條結構編碼（slice structured coding）來(lái)支持。同時(shí)為了便于誤碼以后的再同步，在一幅圖像的視頻數據中還提供了一定的重同步點(diǎn)。另外，幀內宏塊刷新和多參考宏塊允許編碼器在決定宏塊模式的時(shí)候不僅可以考慮編碼效率，還可以考慮傳輸信道的特性。
除了利用量化步長(cháng)的改變來(lái)適應信道碼率外，在H.264中，還常利用數據分割的方法來(lái)應對信道碼率的變化。從總體上說(shuō)，數據分割的概念就是在編碼器中生成具有不同優(yōu)先級的視頻數據以支持網(wǎng)絡(luò )中的服務(wù)質(zhì)量QoS。例如采用基于語(yǔ)法的數據分割（syntax-based data partitioning）方法，將每幀數據的按其重要性分為幾部分，這樣允許在緩沖區溢出時(shí)丟棄不太重要的信息。還可以采用類(lèi)似的時(shí)間數據分割（temporal data partitioning）方法，通過(guò)在P幀和B幀中使用多個(gè)參考幀來(lái)完成。
在無(wú)線(xiàn)通信的應用中，我們可以通過(guò)改變每一幀的量化精度或空間/時(shí)間分辨率來(lái)支持無(wú)線(xiàn)信道的大比特率變化?？墒?，在多播的情況下，要求編碼器對變化的各種比特率進(jìn)行響應是不可能的。因此，不同于MPEG-4中采用的精細分級編碼FGS（Fine Granular Scalability）的方法（效率比較低），H.264采用流切換的SP幀來(lái)代替分級編碼。
H.264的性能測試
TML-8為H.264的測試模式，用它來(lái)對H.264的視頻編碼效率進(jìn)行比較和測試。測試結果所提供的PSNR已清楚地表明，相對于MPEG-4（ASP：Advanced Simple Profile）和H.263++（HLP：High Latency Profile）的性能，H.264的結果具有明顯的優(yōu)越性，如圖5所示。
H.264的PSNR比MPEG-4（ASP）和H.263++（HLP）明顯要好，在6種速率的對比測試中，H.264的PSNR比MPEG-4（ASP）平均要高2dB，比H.263（HLP）平均要高3dB。6個(gè)測試速率及其相關(guān)的條件分別為：32 kbit/s速率、10f/s幀率和QCIF格式；64 kbit/s速率、15f/s幀率和QCIF格式；128kbit/s速率、15f/s幀率和CIF格式；256kbit/s速率、15f/s幀率和QCIF格式；512 kbit/s速率、30f/s幀率和CIF格式；1024 kbit/s速率、30f/s幀率和CIF格式。
實(shí)現難度
對每個(gè)考慮實(shí)際應用的工程師而言，在關(guān)注H.264的優(yōu)越性能的同時(shí)必然會(huì )衡量其實(shí)現難度。從總體上說(shuō)，H.264性能的改進(jìn)是以增加復雜性為代價(jià)而獲得的。目前全球也只有中國杭州?？低晹底旨夹g(shù)有限公司在安防領(lǐng)域實(shí)現了H.264的實(shí)際應用，這一次我們走到了世界的前端！ | 
