H.264/AVC 是ITU-T VCEG 和ISO/IEC MPEG 共同開(kāi)發(fā)的視頻處理標準，ITU-T作為標準建議H.264，ISO/IEC作為國際標準14496-10（MPEG-4 第10部分）高級視頻編碼（AVC）。
MPEG-2視頻編碼標準（又稱(chēng)為ITU-T H.262[2]）已有10年的歷史了，由MPEG-1擴充而來(lái)，支持隔行掃描。使用十分廣泛，幾乎用于所有的數字電視系統，適合標清和高清電視，適合各種媒體傳輸，包括衛星、有線(xiàn)、地面等，都能有效地傳輸。然而，類(lèi)似xDSL、UMTS（通用移動(dòng)系統）技術(shù)只能提供較小的傳輸速率，甚至DVB-T，也沒(méi)有足夠的頻段可用，提供的節目很有限，隨著(zhù)高清電視的引入，迫切需要高壓縮比技術(shù)的出現。
應用于電信的視頻編碼經(jīng)歷了ITUT H.261、H.262（MPEG-2）、H.263、H.263+、H.263++，提供的服務(wù)從ISDN和T1/E1到PSTN、移動(dòng)無(wú)線(xiàn)網(wǎng)和LAN/INTERNET網(wǎng)。
最近MPEG-4 第二部分進(jìn)入了實(shí)用領(lǐng)域，提供了視頻形狀編碼，目標是與MPEG-2一樣獲得廣泛的數字電視應用。
1998年，視頻編碼專(zhuān)家組（VCEG-ITU-T SG16 Q.6）啟動(dòng)了H.26L工程，旨在研制出新的壓縮標準，與以前的任何標準相比，效率要提高一倍，同時(shí)具有簡(jiǎn)單、直觀(guān)的視頻編碼技術(shù)，網(wǎng)絡(luò )友好的視頻描述，適合交互和非交互式應用（廣播、存儲、流煤體）。
2001年12月，VCEG和運動(dòng)圖像專(zhuān)家組（MPEG-ISO/IEC JTC 1/SC 29/WG 11）組成了聯(lián)合視頻組（JVT，Joint Video Team），研究新的編碼標準H.264/AVC，該標準于2003年3月正式獲得批準。
視頻的各種應用必須通過(guò)各種網(wǎng)絡(luò )傳送，這要求一個(gè)好的視頻方案能處理各種應用和網(wǎng)絡(luò )接口。H.264/AVC為了解決這個(gè)問(wèn)題，提供了很多靈活性和客戶(hù)化特性。H.264/AVC的設計方案包含兩個(gè)層次，視頻編碼層（VCL，Video Coding Layer）和網(wǎng)絡(luò )抽象層（NAL，Network Abstraction Layer）。視頻編碼層主要致力于有效地表示視頻內容，網(wǎng)絡(luò )抽象層格式化VCL視頻表示，提供頭部信息，適合多種傳輸和存儲媒體。
VCL的設計同以前的ITU-T和 ISO/IEC JTC一樣，基于塊的混合視頻編碼方法?；镜脑淳幋a算法是： 利用時(shí)間統計的相關(guān)性，開(kāi)發(fā)幀間預測算法；利用預測殘留變換編碼，開(kāi)發(fā)空間統計的相關(guān)性。在提高編碼效率方面，沒(méi)有一個(gè)單一的算法做出特別的貢獻，而是大量的小的改善算法綜合產(chǎn)生的結果。
一 主要特性
1. H.264/AVC相對以前的編碼方法，以MPEG-2為例，在圖像內容預測方面提高編碼效率，改善圖像質(zhì)量的主要特點(diǎn)如下：
● 可變塊大小運動(dòng)補償： 選擇運動(dòng)補償大小和形狀比以前的標準更靈活，最小的亮度運動(dòng)補償塊可以小到4×4。
● 1/4采樣精度運動(dòng)補償：以前的標準最多1/2精度運動(dòng)補償，首次1/4采樣精度運動(dòng)補償出現在MPEG-4第二部分高級類(lèi)部分，但H.264/AVC大大減少了內插處理的復雜度。
● 運動(dòng)矢量可跨越圖像邊界：在以前的標準中，運動(dòng)矢量限制在已編碼參考圖像的內部。圖像邊界外推法作為可選技術(shù)首次出現在H.263中。
● 多參考圖像運動(dòng)補償：在MPEG-2及以前的標準中，P幀只使用一幀，B幀只使用兩幀圖像進(jìn)行預測。H.264/AVC使用高級圖像選擇技術(shù)，可以用以前已編碼過(guò)且保留在緩沖區的大量的圖像進(jìn)行預測，大大提高了編碼效率。
● 消除參考圖像順序和顯示圖像順序的相關(guān)性：在以前的標準中，參考圖像順序依賴(lài)顯示圖像順序，H.264/AVC消除了該限制，可以任意選擇。
● 消除參考圖像與圖像表示方法的限制：在以前的標準中，B幀圖像不能作為預測圖像，H.264/AVC 在很多情況可以利用B幀圖像作為參考。
● 加權預測： H.264/AVC采用新技術(shù)，允許加權運動(dòng)補償預測和偏移一定量。在淡入淡出場(chǎng)景中該技術(shù)極大提高編碼效率，該技術(shù)還可用于其他多種用途。
● 改善“跳過(guò)”和“直接”運動(dòng)推測：在以前的標準中，預測編碼圖像的“跳過(guò)”區不能有運動(dòng)。當編碼有全局運動(dòng)的圖像時(shí)，該限制非常有害。H.264/AVC對“跳過(guò)”區的運動(dòng)采用推測方法。對雙預測的B幀圖像，采用高級運動(dòng)預測方法，稱(chēng)為“直接”運動(dòng)補償，進(jìn)一步改善編碼效率。
● 幀內編碼直接空間預測： 將編碼圖像邊沿進(jìn)行外推應用到當前幀內編碼圖像的預測。
● 循環(huán)去塊效應濾波器： 基于塊的視頻編碼在圖像中存在塊效應，主要來(lái)源于預測和殘余編碼。自適應去塊效應濾波技術(shù)是非常著(zhù)名的技術(shù)，能有效消除塊效應，改善視頻的主觀(guān)和客觀(guān)質(zhì)量。
2. 除改善預測方法外，其他改善編碼效率的特性如下：
● 小塊變換： 以前的標準變換的塊都是8×8，H.264/AVC主要使用4×4塊變換，使編碼器表示信號局部適應性更好，更適合預測編碼，減少“鈴”效應。另外圖像邊界需要小塊變換。
● 分級塊變換： H.264/AVC通常使用小塊變換，但有些信號包含足夠的相關(guān)性，要求以大塊表示，H.264/AVC有兩種方式實(shí)現。低頻色度信號可用8×8，；對幀內編碼，可使用特別的編碼類(lèi)型，低頻亮度信號可用16×16塊。
● 短字長(cháng)變換： 所有以前標準使用的變換要求32位運算，H.264/AVC只使用16位運算。
● 完全匹配反變換： 所有以前標準反變換和變換之間存在一定容限的誤差，因此，每個(gè)解碼器輸出視頻信號都不相同，產(chǎn)生小的漂移，最終影響圖像的質(zhì)量，H.264/AVC實(shí)現了完全匹配。
● 基于上下文的熵編碼： H.264/AVC使用兩種熵編碼方法，CAVLC（上下文自適應的可變長(cháng)編碼）和CABAC（上下文自適應二進(jìn)制算術(shù)編碼），兩種都是基于上下文的熵編碼技術(shù)。
3. H.264/AVC具有強大的糾錯功能和各種網(wǎng)絡(luò )環(huán)境操作靈活性，主要特性如下：
● 參數集結構：H.264/AVC參數集結構設計了強大、有效的傳輸頭部信息。在以前的標準中，如果少數幾位關(guān)鍵信息丟失，可能解碼器產(chǎn)生嚴重解碼錯誤。H.264/AVC采用很靈活、特殊的方式，分開(kāi)處理關(guān)鍵信息，能在各種環(huán)境下可靠傳送。
● NAL單元語(yǔ)法結構：H.264/AVC中的每一個(gè)語(yǔ)法結構放置在稱(chēng)為NAL的單元中，以前的標準采用強制性特定的位流接口。NAL單元語(yǔ)法結構允許很自由的客戶(hù)化，幾乎適合所有的網(wǎng)絡(luò )接口。
● 靈活的像條大?。涸贛PEG-2中，規定了嚴格的像條結構，頭部數據量大，降低預測效率，編碼效率低。在H.264/AVC可采用非常靈活的像條大小。
● 靈活宏塊排序（FMO）：H.264/AVC可以將圖像劃分為像條組，又稱(chēng)為圖像區，每個(gè)像條可以獨立解碼。FMO通過(guò)管理圖像區之間的關(guān)系，具有很強的抗數據丟失能力。
● 任意像條排序：因為每個(gè)像條幾乎可以獨立解碼，所以像條可以按任意順序發(fā)送和接收，在實(shí)時(shí)應用中，可以改善端到端的延時(shí)特性，特別適合于接收順序和發(fā)送順序不能對應的網(wǎng)絡(luò )中，如使用INTERNET網(wǎng)絡(luò )協(xié)議的應用。
● 冗余圖像：為提高抗數據丟失的能力，H.264/AVC設計中包含一種新的能力，允許編碼器發(fā)送圖像區的冗余表示，當圖像區的主表示丟失時(shí)仍可以正確解碼。
● 數據劃分：視頻流中的編碼信息的重要性不同，有些信息（如運動(dòng)矢量、預測信息等）比其他信息更為重要。H.264/AVC可以根據每個(gè)像條語(yǔ)法元素的范疇，將像條語(yǔ)法劃分為3部分，分開(kāi)傳送。
二 網(wǎng)絡(luò )層
NAL規范視頻數據的格式，主要是提供頭部信息，以適合各種媒體的傳輸和存儲。NAL支持各種網(wǎng)絡(luò )，包括：
● 任何使用RTP/IP協(xié)議的實(shí)時(shí)有線(xiàn)和無(wú)線(xiàn)Internet 服務(wù)。
● 作為MP4文件存儲和多媒體信息文件服務(wù)。
● MPEG-2系統。
● 其他網(wǎng)。
1. NAL 單元
編碼的視頻流組織成NAL單元，視頻數據放置在網(wǎng)絡(luò )單元中傳輸，每個(gè)網(wǎng)絡(luò )單元包含整數個(gè)字節，第一個(gè)字節是頭部信息，指示NAL單元的數據類(lèi)型，其余是凈荷。
凈荷數據與仿真預防字節做交織處理，仿真預防字節是特殊值字節，防止偶然在凈荷中出現同步字節圖樣。
NAL規定一種通用的格式，既適合面向包傳輸，也適合流傳送。實(shí)際上，包傳輸和流傳輸的方式是相同的，不同之處是流傳輸前面增加了一個(gè)起始碼前綴。
2. NAL單元在字節流中的應用
類(lèi)似H.320和MPEG-2/H.222.0等傳輸系統，傳輸NAL作為有序連續字節或比特流，同時(shí)要依靠數據本身識別NAL單元邊界。在這樣的應用系統中，H.264/AVC規范定義了字節流格式，每個(gè)NAL單元前面增加3個(gè)字節的前綴，即同步字節。在比特流應用中，每個(gè)圖像需要增加一個(gè)附加字節作為邊界定位。還有一種可選特性，在字節流中增加附加數據，用做擴充發(fā)送數據量，能實(shí)現快速邊界定位，恢復同步。
3. NAL單元在面向包傳送中的應用
在類(lèi)似Internet/RTP面向包傳送協(xié)議系統中，包結構中包含包邊界識別字節，在這種情況下，不需要同步字節。
4. VCL和非VCL的NAL單元
NAL單元分為VCL和非VCL兩種，VCL NAL單元包含視頻圖像采樣信息，非VCL包含各種有關(guān)的附加信息，例如參數集（頭部信息，應用到大量的VCL NAL單元）、提高性能的附加信息、定時(shí)信息等。
5. 參數集
參數集是很少變化的信息，用于大量VCL NAL單元的解碼，分為兩種類(lèi)型：
● 序列參數集，作用于一串連續的視頻圖像，即視頻序列。
● 圖像參數集，作用于視頻序列中的一個(gè)或多個(gè)個(gè)別的圖像。
序列和圖像參數集機制，減少了重復參數的傳送，每個(gè)VCL NAL單元包含一個(gè)標識，指向有關(guān)的圖像參數集，每個(gè)圖像參數集包含一個(gè)標識，指向有關(guān)的序列參數集的內容，因此，只用少數的指針信息，引用大量的參數，大大減少每個(gè)VCL NAL單元重復傳送的信息。
序列和圖像參數集可以在發(fā)送VCL NAL單元以前發(fā)送，并且重復傳送，大大提高糾錯能力。序列和圖像參數集可以在“帶內”，也可以用更為可靠的其他“帶外”通道傳送。
6. 存儲單元
一組指定格式的NAL單元稱(chēng)為存儲單元，每個(gè)存儲單元對應一個(gè)圖像。每個(gè)存儲單元包含一組VCL NAL單元，組成一個(gè)主編碼圖像，VCL NAL單元由表示視頻圖像采樣的像條所組成。存儲單元前面可以加一個(gè)前綴，分界存儲單元，附加增強信息（SEI）（如圖像定時(shí)信息）也可以放在主編碼圖像的前面。
主編碼圖像后附加的VCL NAL單元，包含同一圖像的冗余表示，稱(chēng)為冗余編碼圖像，當主編碼圖像數據丟失或損壞時(shí)，可用冗余編碼圖像解碼。
7. 編碼視頻序列
一個(gè)編碼視頻序列由一串連續的存儲單元組成，使用同一序列參數集。每個(gè)視頻序列可獨立解碼。編碼序列的開(kāi)始是即時(shí)刷新存儲單元（IDR）。IDR是一個(gè)I幀圖像，表示后面的圖像不用參考以前的圖像。一個(gè)NAL單元流可包含一個(gè)或更多的編碼視頻序列。
新標準類(lèi)的使用領(lǐng)域
H.264/AVC的高壓縮效率，擴充了現有的應用領(lǐng)域，至少包含以下領(lǐng)域：
（1）交互視頻服務(wù)，通常速率1Mbps以下，低延遲。ITU-T SG16正在修改有關(guān)系統建議， IETF正在設計RTP凈荷打包器，以支持H.264/AVC在交互視頻方面的應用。近期主要利用基類(lèi)，然后過(guò)渡到另兩類(lèi)。主要應用如下：
H.320 交互式視頻服務(wù)，利用基于ISDN視頻會(huì )議的電路交換；
3 GPP交互式H.324/M服務(wù)；
H.323交互式視頻服務(wù)，基于INTERNET，利用IP/RTP協(xié)議。
（2）娛樂(lè )視頻應用，1Mbps～8Mbps碼率，0.5 到 2秒中等時(shí)延。H.222.0|MPEG-2正在被修改以支持這方面的應用，這些應用主要利用主類(lèi)，主要應用如下：
有線(xiàn)、衛星、地面、DSL等廣播電視；
標清和高清DVD；
通過(guò)各種媒體的視頻點(diǎn)播。
（3）流媒體服務(wù)，典型50kbps 到1.5Mbps，2秒以上的時(shí)延，這些應用主要利用基類(lèi)或擴展類(lèi)。有線(xiàn)或無(wú)線(xiàn)使用情況有所不同，主要應用如下：
3GPP 流， 利用IP/RTP傳輸，RTSP作會(huì )話(huà)設置，3GPP規范的擴充部分可能僅使用基類(lèi)；
有線(xiàn)INTERNET 流，利用IP/RTP傳輸，RTSP作會(huì )話(huà)設置。
（4）其他服務(wù)，主要是低碼率，以文件傳送方式，不考慮時(shí)延，根據不同應用，可能用到3類(lèi)，主要應用如下：
3GPP 多媒體信息服務(wù)；
視頻郵件。
六 結論
H.264代表了當前業(yè)界最先進(jìn)的視頻壓縮技術(shù)，且具有以下無(wú)可比擬的優(yōu)越性。
1. 碼率低：和MPEG-2等壓縮技術(shù)相比，在同等圖像質(zhì)量下，采用H.264技術(shù)壓縮后的數據量只有MPEG-2的1/2~1/3。顯然，H.264壓縮技術(shù)的采用將大大節省用戶(hù)的下載時(shí)間和數據流量收費。
2. 圖像質(zhì)量高：H.264能提供連續、流暢的高質(zhì)量圖像。
3. 容錯能力強：H.264提供了解決在不穩定網(wǎng)絡(luò )環(huán)境下容易發(fā)生的丟包等錯誤的必要工具。
4. 網(wǎng)絡(luò )適應性強：H.264提供了網(wǎng)絡(luò )適應層， 使得H.264的文件能容易地在不同網(wǎng)絡(luò )上傳輸。
H.264超越以往的視頻編解碼標準，成為各個(gè)廠(chǎng)商競爭的焦點(diǎn)。目前，各主流廠(chǎng)商紛紛宣布，已經(jīng)或將在明年推出產(chǎn)品化的H.264。在視頻廣播領(lǐng)域，美國哈雷公司宣布其產(chǎn)品MV100編碼器可以支持H.264協(xié)議，哈雷原來(lái)的MPEG-2編碼器MV100硬件平臺已經(jīng)兼容H.264能力，只需從軟件升級即可。在歐洲，有兩個(gè)用戶(hù)已經(jīng)選用了此種編碼器。其中一個(gè)是法國的衛星及直播星運營(yíng)商CanalSatellite，它采用哈雷高性能的數字前端系統在A(yíng)DSL上傳輸視頻業(yè)務(wù)，MV100超低碼率編碼能力可以實(shí)現在多種電信網(wǎng)上傳輸廣播級視頻節目。另外是第一個(gè)即將投入正式商業(yè)運營(yíng)的英國Video network limited
