MPEG-1
類(lèi)型：Audio&Video
制定者：MPEG(Moving Picture Expert Group)
所需頻寬：2Mbps
特性：對動(dòng)作不激烈的視頻信號可獲得較好的圖像質(zhì)量，但當動(dòng)作激烈時(shí)，圖像就會(huì )產(chǎn)生馬賽克現象。它沒(méi)有定義用于額外數據流進(jìn)行編對碼的格式，因此這種技術(shù)不能廣泛推廣。它主要用于家用VCD，它需要的存儲空間比較大。
優(yōu)點(diǎn)：對動(dòng)作不激烈的視頻信號可獲得較好的圖像質(zhì)量。
缺點(diǎn)：當動(dòng)作激烈時(shí)，圖像就會(huì )產(chǎn)生馬賽克現象。它沒(méi)有定義用于額外數據流進(jìn)行編對碼的格式，因此這種技術(shù)不能廣泛推廣。
應用領(lǐng)域：Mixer
版權方式：Free
備注：MPEG-1即俗稱(chēng)的VCD。MPEG是ISO/IEC JTC1 1988年成立的運動(dòng)圖像專(zhuān)家組（Moving Picture Expert Group）的簡(jiǎn)稱(chēng)，負責數字視頻、音頻和其他媒體的壓縮、解壓縮、處理和表示等國際技術(shù)標準的制定工作。MPEG-1制定于1992年，它是將視頻數據壓縮成1~2Mb/s的標準數據流。對于清晰度為352×288的彩色畫(huà)面，采用25幀/秒，壓縮比為50：1時(shí)，實(shí)時(shí)錄像一個(gè)小時(shí)，經(jīng)計算可知需存儲空間為600MB左右，若是8路圖像以每天錄像10小時(shí)，每月30天算，則要求硬盤(pán)存儲容量為1440GB，則顯然是不能被接受的。
MPEG-2
類(lèi)型：Audio&Video
制定者：MPEG(Moving Picture Expert Group)
所需頻寬：視頻上4.3Mbps，音頻上最低的采樣率為16kHz
特性：編碼碼率從每秒3兆比特～100兆比特，是廣播級質(zhì)量的圖像壓縮標準，并具有CD級的音質(zhì)。MPEG-2的音頻編碼可提供左、右、中及兩個(gè)環(huán)繞聲道，以及一個(gè)加重低音聲道，和多達7個(gè)伴音聲道。作為MPEG-1的兼容性擴展，MPEG-2支持隔行掃描視頻格式和其它先進(jìn)功能，可廣泛應用在各種速率和各種分辨率的場(chǎng)合。但是MPEG-2標準數據量依然很大，不便存放和傳輸。
優(yōu)點(diǎn)：MPEG-2的音頻編碼可提供左、右、中及兩個(gè)環(huán)繞聲道，以及一個(gè)加重低音聲道，和多達7個(gè)伴音聲道，具有CD級的音質(zhì)?？商峁┮粋€(gè)較廣的范圍改變壓縮比，以適應不同畫(huà)面質(zhì)量、存儲容量以及帶寬的要求。支持隔行掃描視頻格式和其它先進(jìn)功能，可廣泛應用在各種速率和各種分辨率的場(chǎng)合。
缺點(diǎn)：壓縮比較低，數據量依然很大，不便存放和傳輸，如用于網(wǎng)絡(luò )方面則需要較高的網(wǎng)絡(luò )帶寬，因此不太適合用于Internet和VOD點(diǎn)播方面。
應用領(lǐng)域：Mixer
版稅方式：按個(gè)收取(最初的收費對象為解碼設備和編碼設備，中國DVD制造商每生產(chǎn)一臺DVD需要交納專(zhuān)利費16.5美元。向解碼設備和編碼設備收取的專(zhuān)利授權費每臺2.5美元)
備注：MPEG-2是其頒布的（活動(dòng)圖像及聲音編碼）國際標準之一，制定于1994年，是為高級工業(yè)標準的圖像質(zhì)量以及更高的傳輸率而設計，為了力爭獲得更高的分辨率（720×486），提供廣播級視頻和CD級的音頻，它是高質(zhì)量視頻音頻編碼標準。在常規電視的數字化、高清晰電視 HDTV、視頻點(diǎn)播VOD，交互式電視等各個(gè)領(lǐng)域中都是核心的技術(shù)之一。
由于MPEG-2在設計時(shí)的巧妙處理，使得大多數MPEG-2解碼器也可播放 MPEG-1格式的數據，如VCD。
MPEG-2的音頻編碼可提供左、右、中及兩個(gè)環(huán)繞聲道，以及一個(gè)加重低音聲道，和多達7個(gè)伴音聲道。我們平時(shí)所說(shuō)的 DVD就是采用MPEG-2編碼壓縮，所以可有8種語(yǔ)言的配音。
除了作為DVD的指定標準外，MPEG-2的應用前景非常的廣闊，MPEG-2還可用于廣播、有線(xiàn)電視網(wǎng)、電纜網(wǎng)絡(luò )以及衛星直播 (Direct Broadcast Satellite) 提供廣播級的數字視頻。
MPEG-2的另一特點(diǎn)是可提供一個(gè)較廣的范圍改變壓縮比，以適應不同畫(huà)面質(zhì)量、存儲容量以及帶寬的要求。對于最終用戶(hù)來(lái)說(shuō)，由于現存電視機分辨率限制，MPEG-2所帶來(lái)的高清晰度畫(huà)面質(zhì)量在電視上效果并不明顯，不過(guò)其音頻特性非常引人注目，如加重低音，多伴音聲道等。
MPEG-4
類(lèi)型：Video
制定者：MPEG(Moving Picture Expert Group)
所需頻寬：128Kbps~38.4Mbps(600kb/s左右)
特性：支持對象型態(tài)編碼及合成圖像的壓縮、適用于高階交互功能與特殊視頻制作、容錯性編碼技術(shù)及細微式可調性編碼技術(shù)，可適用于頻寬變化劇烈的網(wǎng)絡(luò )，更適于交互AV服務(wù)以及遠程監控。
MPEG-4是第一個(gè)使你由被動(dòng)變?yōu)橹鲃?dòng)(不再只是觀(guān)看，允許你加入其中，即有交互性)的動(dòng)態(tài)圖象標準；它的另一個(gè)特點(diǎn)是其綜合性；從根源上說(shuō)，MPEG-4試圖將自然物體與人造物體相溶合(視覺(jué)效果意義上的)。 MPEG-4的設計目標還有更廣的適應性和可擴展性。MPEG4 試圖達到兩個(gè)目標：
1.低比特率下的多媒體通信；
2.是多工業(yè)的多媒體通信的綜合。據此目標，MPEG4 引入AV 對象（Audio/Visaul Objects），使得更多的交互操作成為可能。
MPEG-4標準是面向對象的壓縮方式，根據圖像內容，將其中的對象（物體、人物、背景）分離出來(lái)分別進(jìn)行幀內、幀間編碼壓縮，并允許在不同的對象之間靈活分配碼率，對重要的對象分配較多的字節，對次要的對象分配較少的字節，從而大大提高了壓縮比，使其在較低的碼率下獲得較好的效果。
優(yōu)點(diǎn)：壓縮率高，質(zhì)量?jì)?yōu)，容錯性好，視頻質(zhì)量分辨率比較高，而數據速率相對較低，采用面向對象的壓縮方式。
缺點(diǎn)：專(zhuān)利收費不合理。
應用領(lǐng)域：Mixer
版稅方式：按個(gè)收取(分別向運營(yíng)商和終端用戶(hù)收費,消費者使用解碼設備，除購買(mǎi)設備時(shí)需要繳納的一次性專(zhuān)利費外，還將按使用時(shí)間進(jìn)行收費)，每臺解碼設備需要交給MPEG-LA 0.25美元, 編碼/解碼設備還需要按時(shí)間交費（4美分/天=1.2美元/月=14.4美元/年）
備注： MPEG-4是為交互式多媒體通訊制定得壓縮標準。MPEG4于1998 年11 月公布，原預計1999 年1月投入使用的國際標準MPEG4不僅是針對一定比特率下的視頻、音頻編碼，更加注重多媒體系統的交互性和靈活性。MPEG專(zhuān)家組的專(zhuān)家們正在為 MPEG-4的制定努力工作。
MPEG-4標準主要應用于視像電話(huà)(Video Phone)，視像電子郵件(Video Email)和電子新聞(Electronic News)等，其傳輸速率要求較低，在4800-6?000bits/sec之間，分辨率為176X144。MPEG-4利用很窄的帶寬，通過(guò)幀重建技術(shù)，壓縮和傳輸數據，以求得最少的數據獲得最佳的圖象質(zhì)量。
MPEG-4的視頻質(zhì)量分辨率比較高，而數據速率相對較低。主要原因在于，MPEG-4采用ACE（高級譯碼效率）技術(shù)，它是一套首次使用于 MPEG-4的編碼運算規則。
與ACE有關(guān)的目標定向可以啟用很低的數據率。它與MPEG-2相比，可節省90%的儲存空間。MPEG-4還可以在聲頻與視頻流中廣泛的升級。當視頻在5kb/s與10Mb/s之間變化時(shí)，聲頻信號可以在2kb/s與24kb/s之間進(jìn)行處理。特別要強調的是MPEG-4標準是面向對象的壓縮方式，不是像MPEG-1和MPEG-2簡(jiǎn)單地將圖像分為一些像塊，而是根據圖像內容，將其中的對象（物體、人物、背景）分離出來(lái)分別進(jìn)行幀內、幀間編碼壓縮，并允許在不同的對象之間靈活分配碼率，對重要的對象分配較多的字節，對次要的對象分配較少的字節，從而大大提高了壓縮比，使其在較低的碼率下獲得較好的效果。
MPEG-4的面向對象的壓縮方式也使圖像探測功能和準確性更充分體現，該圖像探測功能使硬盤(pán)錄像機系統具有較好的視頻移動(dòng)報警功能?？傊甅PEG-4是一種嶄新的低碼率、高壓縮比的視頻編碼標準，傳輸速率為4.8~6?kbit/s，使用時(shí)占用的存儲空間比較小，例如：對于清晰度352×288的彩色畫(huà)面，其每幀占用空間為1.3KB時(shí)，選25幀/秒，則每小時(shí)需120KB、每天10小時(shí)、每月30天，則每路每月需 36GB。若是8路則需288GB，這顯然是能接受的。
MPEG-7(Multimedia Content Description Interface，多媒體內容描述接口)
類(lèi)型：Video
制定者：MPEG(Moving Picture Expert Group)
所需頻寬：-
特性：MPEG并不對應用標準化，但可利用應用來(lái)理解需求并評價(jià)技術(shù)，它不針對特定的應用領(lǐng)域，而是支持盡可能廣泛的應用領(lǐng)域。 MPEG-7是針對存儲形式(在線(xiàn)、脫機)或流形式(如 Internet上的廣播、推送模型)的應用而制定的，并且可以在實(shí)時(shí)和非實(shí)時(shí)環(huán)境中操作。一個(gè)實(shí)時(shí)環(huán)境意味著(zhù)當采集資料時(shí)，信息是與內容相關(guān)的。像其他 MPEG家族成員一樣，MPEG-7是滿(mǎn)足特定需求的視聽(tīng)信息的標準表示。MPEG-7建立在其他標準表示的基礎之上，例如PCM、 MPEG-1、MPEG-2和MPEG-4。因此，MPEG-7會(huì )引用部分現有標準。但MPEG-7描述子將不依賴(lài)于被描述內容的編碼和存儲方式。 MPEG-7可以獨立于其他MPEG標準使用，在MPEG-4 中定義的表示方式也非常適合MPEG-7標準的建立。
優(yōu)點(diǎn)：廣泛的多媒體運用，可以在存儲形式、流形式，實(shí)時(shí)或非實(shí)時(shí)中運用。
缺點(diǎn)：-
應用領(lǐng)域：Mixer
版稅方式：-
備注：MPEG-7是為互聯(lián)網(wǎng)視頻檢索制定的壓縮標準。
國際標準化組織（ISO）在制定MPEG-1、MPEG-2及MPEG-4的標準基礎上，推出了新的標準MPEG-7，該標準的正式名稱(chēng)為“多媒體內容描述接口”（Multimedia Content Description Interface）, 其目標就是產(chǎn)生一種描述多媒體內容數據的標準，滿(mǎn)足實(shí)時(shí)、非實(shí)時(shí)以及推-拉應用的需求,它既不同于基于波形和基于壓縮的表示方式如MPEG-1和MPEG -2,又不同于基于對象的表示方式如MPEG-4，而是將對各種不同類(lèi)型的多媒體信息進(jìn)行標準化描述，并將該描述與所描述的內容相聯(lián)系，以實(shí)現快速有效的搜索。
MPEG-7將擴展現有標識內容的專(zhuān)用方案及有限的能力，包含更多的多媒體數據類(lèi)型。換句話(huà)說(shuō)，它將規范一組“描述子”，用于描述各種多媒體信息，也將對定義其他描述子以及結構(稱(chēng)為“描述模式”)的方法進(jìn)行標準化。這些“描述”(包括描述子和描述模式)與其內容關(guān)聯(lián)，允許快速有效地搜索用戶(hù)感興趣的資料。
MPEG-7將標準化一種語(yǔ)言來(lái)說(shuō)明描述模式，即“描述定義語(yǔ)言”。帶有MPEG-7數據的 AV資料可以包含靜止圖像、圖形、3D模型、音頻、語(yǔ)音、視頻，以及這些元素如何在多媒體表現中組合的信息。這些通用數據類(lèi)型的特例可以包含面部表情和個(gè)人化特性。
MPEG-7的功能與其他MPEG標準互為補充。MPEG-1、 MPEG-2和MPEG-4是內容本身的表示，而MPEG-7是有關(guān)內容的信息，是比特的比特。
MPEG-21 Multimedia Framework
類(lèi)型：Video
制定者：MPEG(Moving Picture Expert Group)
所需頻寬：
特性：MPEG－21 Multimedia Framework是致力于在大范圍的網(wǎng)絡(luò )上實(shí)現透明的傳輸和對多媒體資源的充分利用。MPEG－21致力于為多媒體傳輸和使用定義一個(gè)標準化的開(kāi)放框架。這種框架將在開(kāi)放的市場(chǎng)中為內容提供商和業(yè)務(wù)提供商創(chuàng )造同等的機會(huì )。同時(shí)，這將在一種互操作的模式下為用戶(hù)提供更豐富的信息，用戶(hù)將因此而受益。
MPEG－21景象可以總結如下：一個(gè)多媒體框架，它可以在廣闊的范圍里，為不同的網(wǎng)絡(luò )用戶(hù)提供透明的和可不斷擴展的多媒體資源。 MPEG－21基于兩個(gè)基本概念：分布和處理基本單元DI（the Digital Item）以及DI與用戶(hù)間的互操作。 MPEG－21也可表述為：以一種高效、透明和可互操作的方式支持用戶(hù)交換、接入、使用甚至操作DI的技術(shù)。
優(yōu)點(diǎn)：
①將不同的協(xié)議、標準、技術(shù)等有機地融合在一起；
②制定新的標準；
③將這些不同的標準集成在一起。
MPEG-21標準其實(shí)就是一些關(guān)鍵技術(shù)的集成，通過(guò)這種集成環(huán)境就對全球數字媒體資源進(jìn)行透明和增強管理，實(shí)現內容描述、創(chuàng )建、發(fā)布、使用、識別、收費管理、產(chǎn)權保護、用戶(hù)隱私權保護、終端和網(wǎng)絡(luò )資源抽取、事件報告等功能。
缺點(diǎn)：-
應用領(lǐng)域：Mixer
版稅方式：-
備注：MPEG（ISO/IEC JTCI SC29 WGII）從2000年6月開(kāi)始著(zhù)手定義21世紀多媒體應用的標準化技術(shù)：MPEG－21 “Multimedia Framework”。MPEG－21是一個(gè)可互操作和高度自動(dòng)化的框架，而且這個(gè)框架還考慮到了DRM（digital rights management）的要求、對象化的多媒體接入以及使用不同網(wǎng)絡(luò )和終端進(jìn)行傳輸等問(wèn)題。DI是MPEG－21框架中，一個(gè)具有標準表示、身份認證和相關(guān)元數據的數字對象。這個(gè)實(shí)體是框架中分布和處理的基本單元。在MPEG－21中，一個(gè)用戶(hù)是指與MPEG－21進(jìn)行環(huán)境交互或者使用DI的任何實(shí)體。這些用戶(hù)包括個(gè)人、消費者、社團、組織、公司和政府部門(mén)。從單純技術(shù)的角度來(lái)說(shuō)，MPEG－21認為“內容提供商”和“使用者（consumer）”之間沒(méi)有分別——他們都是用戶(hù)。一個(gè)單獨的實(shí)體可以以幾種方式使用網(wǎng)絡(luò )的內容，同時(shí)所有這些與MPEG－21交互的實(shí)體都被平等對待。然而，一個(gè)用戶(hù)可以根據與之交互的其他用戶(hù)的不同來(lái)承擔特定的角色，發(fā)揮不同的作用。在最基本的層次上，MPEG－21可以被看成是提供用戶(hù)間交互的一個(gè)框架。
WMV（WINDOWS MEDIA VIDEO）
類(lèi)型：Video
制定者：微軟公司
所需頻寬：128Kbps~38.4Mbps(600kb/s左右)
特性：一種流媒體格式，WMV格式的體積非常小，適合在網(wǎng)上播放和傳輸。
優(yōu)點(diǎn)：在同種視頻質(zhì)量的條件下，WMV的文件非常小
缺點(diǎn)：非開(kāi)放性標準，時(shí)延非常大。
應用領(lǐng)域：media
版稅方式：按個(gè)收費
備注：WMV是微軟推出的一種流媒體格式，它是在“同門(mén)”的ASF（Advanced Stream Format）格式升級延伸來(lái)得。在同等視頻質(zhì)量下，WMV格式的體積非常小，因此很適合在網(wǎng)上播放和傳輸。由于微軟本身的局限性其WMV的應用發(fā)展并不順利。第一, WM9是微軟的產(chǎn)品它必定要依賴(lài)著(zhù)Windows，Windows 意味著(zhù)解碼部分也要有PC, 起碼要有PC機的主板。這就大大增加了機頂盒的造價(jià)，從而影響了視頻廣播點(diǎn)播的普及。第二，WMV技術(shù)的視頻傳輸延遲非常大，通常要10幾秒鐘，正是由于這種局限性，目前WMV也僅限于在計算機上瀏覽WM9視頻文件。
H．261
類(lèi)型：Video
制定者：CCITT(即以后的ITU-T)
所需頻寬：6?kbps至1.92Mbps
特性：最初是針對在ISDN上實(shí)現電信會(huì )議應用特別是面對面的可視電話(huà)和視頻會(huì )議而設計的。實(shí)際的編碼算法類(lèi)似于MPEG算法，但不能與后者兼容。H.261在實(shí)時(shí)編碼時(shí)比MPEG所占用的CPU運算量少得多，此算法為了優(yōu)化帶寬占用量，引進(jìn)了在圖像質(zhì)量與運動(dòng)幅度之間的平衡折中機制，也就是說(shuō)，劇烈運動(dòng)的圖像比相對靜止的圖像質(zhì)量要差。因此這種方法是屬于恒定碼流可變質(zhì)量編碼而非恒定質(zhì)量可變碼流編碼。
優(yōu)點(diǎn)：在實(shí)時(shí)編碼時(shí)比MPEG所占用的CPU運算量少得多。
缺點(diǎn)：劇烈運動(dòng)的圖像比相對靜止的圖像質(zhì)量要差
應用領(lǐng)域：media
版權方式：Free
備注：于1990年完成和批準了CCITT推薦書(shū) H.261，用于電視會(huì )議、可視電話(huà)。
H．263
類(lèi)型：Video
制定者：ITU-T
所需頻寬：低達20K到24Kbps帶寬
特性：靈活性、節省帶寬和存儲空間、安裝方便、可方便的進(jìn)行二次開(kāi)發(fā)。H.263與H.261相比采用了半象素的運動(dòng)補償，并增加了4種有效的壓縮編碼模式。
優(yōu)點(diǎn)：能提供更好的圖像質(zhì)量、更低的速率、安裝方便、可方便的進(jìn)行二次開(kāi)發(fā)。H.263與H.261相比采用了半象素的運動(dòng)補償，并增加了4種有效的壓縮編碼模式。
缺點(diǎn)：限制了其應用的圖像輸入格式，僅允許5種視頻源格式。
應用領(lǐng)域：media(IP視頻通信方面)
版稅方式：按個(gè)收取
備注：1996年ITU-T完成了H.263編碼標準。H.263使用戶(hù)可以擴展帶寬利用率，可以低達128Kbps的速率實(shí)現全運動(dòng)視頻(每秒30 幀)。H.263以其靈活性以及節省帶寬和存儲空間的特性，具有低總擁有成本并提供了迅速的投資回報。H.263是為以低達20K到 24Kbps帶寬傳送視頻流而開(kāi)發(fā)的，基于H.261編解碼器來(lái)實(shí)現。但是，原則上它只需要一半的帶寬就可取得與H.261同樣的視頻質(zhì)量。
H．263+
類(lèi)型：Video
制定者：ITU-T
所需頻寬：低達20K到24Kbps帶寬
特性：允許更大范圍的圖像輸入格式，自定義圖像的尺寸，從而拓寬了標準使用的范圍，使之可以處理基于視窗的計算機圖像、更高幀頻的圖像序列及寬屏圖像。采用先進(jìn)的幀內編碼模式；增強的PB-幀模式改進(jìn)了H.263的不足，增強了幀間預測的效果；去塊效應濾波器不僅提高了壓縮效率，而且提供重建圖像的主觀(guān)質(zhì)量。增加了時(shí)間分級、信噪比和空間分級，對在噪聲信道和存在大量包丟失的網(wǎng)絡(luò )中傳送視頻信號很有意義；另外，片結構模式、參考幀選擇模式增強了視頻傳輸的抗誤碼能力。
優(yōu)點(diǎn)：允許更大范圍的圖像輸入格式，增強的PB-幀模式，增強了幀間預測的效果，去塊效應濾波器不僅提高了壓縮效率，增加了時(shí)間分級、信噪比和空間分級，片結構模式、參考幀選擇模式。
缺點(diǎn)：
應用領(lǐng)域：media
版稅方式：按個(gè)收取
備注：ITU-T在H.263發(fā)布后又修訂發(fā)布了H.263標準的版本2，非正式地命名為H.263+標準。它在保證原H.263標準核心句法和語(yǔ)義不變的基礎上，增加了若干選項以提高壓縮效率或改善某方面的功能。
H．263++
類(lèi)型：Video
制定者：ITU-T
所需頻寬：低達20K到24Kbps帶寬
特性：H263++在H263+基礎上增加了3個(gè)選項，主要是為了增強碼流在惡劣信道上的抗誤碼性能，同時(shí)為了提高增強編碼效率。
優(yōu)點(diǎn)：提高了抗誤碼性能，增強編碼效率。
缺點(diǎn)：
應用領(lǐng)域：media
版稅方式：按個(gè)收取
備注：H263++在H263+基礎上增加了3個(gè)選項，主要是為了增強碼流在惡劣信道上的抗誤碼性能，同時(shí)為了提高增強編碼效率。這3個(gè)選項為：
①選項U——稱(chēng)為增強型參考幀選擇，它能夠提供增強的編碼效率和信道錯誤再生能力(特別是在包丟失的情形下)，需要設計多緩沖區用于存貯多參考幀圖像；
②選項V——稱(chēng)為數據分片，它能夠提供增強型的抗誤碼能力(特別是在傳輸過(guò)程中本地數據被破壞的情況下)，通過(guò)分離視頻碼流中DCT的系數頭和運動(dòng)矢量數據，采用可逆編碼方式保護運動(dòng)矢量；
③選項W——在H263+的碼流中增加補充信息，保證增強型的反向兼容性，附加信息包括：指示采用的定點(diǎn)IDCT、圖像信息和信息類(lèi)型、任意的二進(jìn)制數據、文本、重復的圖像頭、交替的場(chǎng)指示、稀疏的參考幀識別。
H.264／MPEG-4 AVC
類(lèi)型：Video
制定者：ITU-T VCEG 和ISO/IEC MPEG
所需頻寬：1Mbps的頻寬
特性：H264標準使運動(dòng)圖像壓縮技術(shù)上升到了一個(gè)更高的階段，H.264壓縮能力比H.263更強（在相同的重建圖像質(zhì)量下，H.264比 H.263+和MPEG-4(SP)減小50%碼率），但相對H.263有更驚人的運算量，連帶影響省電、散熱等議題。在較低帶寬上提供高質(zhì)量的圖像傳輸是H.264應用亮點(diǎn)。
H.264推廣應用對視頻終端、網(wǎng)守、網(wǎng)關(guān)、MCU等系統的要求較高，將有力地推動(dòng)視頻會(huì )議軟、硬件設備在各個(gè)方面的不斷完善。但是現在的處理器還沒(méi)有足夠的運算能力處理H.264影片，象Athlon 6? FX、雙核心的Athlon 6? X2、Pentium 4甚至雙核心Pentium D都力不從心。同時(shí)，要播放H.264影片，需要有強勁的顯卡。ATI即推出的R520是目前唯一能搞定這一高難度任務(wù)的顯卡。而NVIDIA的G70、 Geforce 7800 GTX都無(wú)法達到播放H.264影片的要求。
優(yōu)點(diǎn)：高壓縮比、高圖像質(zhì)量、良好的網(wǎng)絡(luò )適應性，在較低帶寬上提供高質(zhì)量的圖像傳輸。
①在相同的重建圖像質(zhì)量下，H.264比H.263+和MPEG-4(SP)減小50%碼率；
②對信道時(shí)延的適應性較強，既可工作于低時(shí)延模式以滿(mǎn)足實(shí)時(shí)業(yè)務(wù)，如會(huì )議電視等；又可工作于無(wú)時(shí)延限制的場(chǎng)合，如視頻存儲等；
③提高網(wǎng)絡(luò )適應性，采用“網(wǎng)絡(luò )友好”的結構和語(yǔ)法，加強對誤碼和丟包的處理，提高解碼器的差錯恢復能力；
④在編/解碼器中采用復雜度可分級設計，在圖像質(zhì)量和編碼處理之間可分級，以適應不同復雜度的應用；
⑤相對于先期的視頻壓縮標準，H.264引入了很多先進(jìn)的技術(shù)，包括4×4整數變換、空域內的幀內預測、1/4象素精度的運動(dòng)估計、多參考幀與多種大小塊的幀間預測技術(shù)等。新技術(shù)帶來(lái)了較高的壓縮比，同時(shí)大大提高了算法的復雜度。
缺點(diǎn)：對視頻終端、網(wǎng)守、網(wǎng)關(guān)、MCU等系統的要求較高，在小型手持裝置市場(chǎng)的發(fā)揮空間，恐怕不如H.263。
應用領(lǐng)域：media
版稅方式：按個(gè)收取。
①MPEG LA對H.264授權，量產(chǎn)使用H.264技術(shù)的產(chǎn)品每件收取0.2美元，每年量產(chǎn)超過(guò)500萬(wàn)件每件收取0.1美元，最低至少要授權10萬(wàn)件，若為營(yíng)運商使用則每年收取350萬(wàn)～500萬(wàn)美元，播放使用H.264技術(shù)的電視節目運營(yíng)商，用來(lái)編碼須支付2,500美元（僅需付一次），然后再依據收視戶(hù)數收費，10萬(wàn)戶(hù)以下免費，10萬(wàn)～50萬(wàn)戶(hù)收取2,500美元，50萬(wàn)～100萬(wàn)戶(hù)收取5,000美元，超過(guò)100萬(wàn)戶(hù)收取1萬(wàn)美元，針對訂閱性收視則為 10萬(wàn)戶(hù)以下免費，10萬(wàn)～50萬(wàn)戶(hù)收取25,000美元，50萬(wàn)～75萬(wàn)戶(hù)收取50,000美元，75萬(wàn)~100萬(wàn)戶(hù)收取75，000美元，超過(guò)100 萬(wàn)戶(hù)收取10萬(wàn)美元。而針對付費性收視則每次點(diǎn)擊收取0.02美元?。。ɑ蛘呤鞘召M額的2%）。
②Via授權公司對H.264技術(shù)的授權，每件運用產(chǎn)品收取0.25美元，營(yíng)運總體收費一年250萬(wàn)美元，PC隨附軟件每年400萬(wàn)美元。對付費性收視方面依據播放時(shí)間收費，30分鐘內收取0.005美元，30～90分鐘收取0.015美元，超過(guò)則0.025美元。
③與過(guò)去相比，H.264降低了解碼器的專(zhuān)利費，但開(kāi)始增收編碼器的專(zhuān)利費。如果視頻節目運營(yíng)商提供采用H.264／MPEG-4 AVC(2006年1月1日開(kāi)始收費)標準的視頻節目，則還需要支付加盟費(Participation fee)。而最令人泄氣的是，終端用戶(hù)也需要交納不同形式的費用，這筆費用將由運營(yíng)商代收，打入收費成本。另外，兩個(gè)專(zhuān)利代理組織的存在也使得問(wèn)題更加的復雜化，甚至在某些情況，用戶(hù)不得不同時(shí)面對這兩個(gè)組織，原因是他們各自代表一部分專(zhuān)利擁有者。
備注：H.264是為新一代交互視頻通訊制定的標準。該標準也被稱(chēng)為AVC（Advanced Video Coding）標準，是MPEG-4的第10部分。
---------------------------------------------------------------------------------------------
AVS(數字音視頻編解碼技術(shù)標準/MPEG中國代表團)
類(lèi)型：Audio&Video
制定者：數字音頻編解碼技術(shù)標準工作組
所需頻寬：碼率覆蓋幾十kbps的低帶寬通信到數十Mbps的高清晰度電視廣播特性：適應面十分廣闊，包括數字電視、激光視盤(pán)、網(wǎng)絡(luò )流媒體、無(wú)線(xiàn)流媒體、數字音頻廣播、視頻監控等等領(lǐng)域。碼率覆蓋幾十 kbps的低帶寬通信到數十Mbps的高清晰度電視廣播，可以支持低延遲模式的視頻會(huì )議應用，也支持高壓縮效率的視頻存儲應用等。與MPEG-2等現有壓縮標準相比，在相同的視覺(jué)質(zhì)量下，碼率至少可以降低50%。編碼效率比傳統的MPEG-2國際標準提高近3倍。
優(yōu)點(diǎn)：編碼效率高、實(shí)現復雜度低、專(zhuān)利收費合理
缺點(diǎn)：實(shí)現上有一定難度，要實(shí)現由國家標準轉為國際標準還需要時(shí)間。
應用領(lǐng)域：Mixer
版稅方式：按個(gè)收取(每臺終端1元人民幣)
備注：屬于信源編碼技術(shù)，和信道編碼及顯示技術(shù)一起構成數字電視的技術(shù)體系，用以解決海量音視頻數據的壓縮問(wèn)題。AVS是一個(gè)最基礎的標準，不僅對數字電視產(chǎn)業(yè)至關(guān)重要，也廣泛應用于激光視盤(pán)機、多媒體通信、互聯(lián)網(wǎng)流媒體等數字音視頻產(chǎn)業(yè)，它的編碼效率比傳統的MPEG-2國際標準提高近3 倍。
H.264/AVC 是ITU-T VCEG 和ISO/IEC MPEG 共同開(kāi)發(fā)的視頻處理標準，ITU-T作為標準建議H.264，ISO/IEC作為國際標準14496-10（MPEG-4 第10部分）高級視頻編碼（AVC）。
MPEG-2視頻編碼標準（又稱(chēng)為ITU-T H.262[2]）已有10年的歷史了，由MPEG-1擴充而來(lái)，支持隔行掃描。使用十分廣泛，幾乎用于所有的數字電視系統，適合標清和高清電視，適合各種媒體傳輸，包括衛星、有線(xiàn)、地面等，都能有效地傳輸。然而，類(lèi)似xDSL、UMTS（通用移動(dòng)系統）技術(shù)只能提供較小的傳輸速率，甚至DVB-T，也沒(méi)有足夠的頻段可用，提供的節目很有限，隨著(zhù)高清電視的引入，迫切需要高壓縮比技術(shù)的出現。
應用于電信的視頻編碼經(jīng)歷了ITUT H.261、H.262（MPEG-2）、H.263、H.263+、H.263++，提供的服務(wù)從ISDN和T1/E1到PSTN、移動(dòng)無(wú)線(xiàn)網(wǎng)和LAN /INTERNET網(wǎng)。
最近MPEG-4 第二部分進(jìn)入了實(shí)用領(lǐng)域，提供了視頻形狀編碼，目標是與MPEG-2一樣獲得廣泛的數字電視應用。
1998年，視頻編碼專(zhuān)家組（VCEG-ITU-T SG16 Q.6）啟動(dòng)了H.26L工程，旨在研制出新的壓縮標準，與以前的任何標準相比，效率要提高一倍，同時(shí)具有簡(jiǎn)單、直觀(guān)的視頻編碼技術(shù)，網(wǎng)絡(luò )友好的視頻描述，適合交互和非交互式應用（廣播、存儲、流煤體）。
2001年12月，VCEG和運動(dòng)圖像專(zhuān)家組（MPEG-ISO/IEC JTC 1/SC 29/WG 11）組成了聯(lián)合視頻組（JVT，Joint Video Team），研究新的編碼標準H.264/AVC，該標準于2003年3月正式獲得批準。
視頻的各種應用必須通過(guò)各種網(wǎng)絡(luò )傳送，這要求一個(gè)好的視頻方案能處理各種應用和網(wǎng)絡(luò )接口。H.264/AVC為了解決這個(gè)問(wèn)題，提供了很多靈活性和客戶(hù)化特性。H.264/AVC的設計方案包含兩個(gè)層次，視頻編碼層（VCL，Video Coding Layer）和網(wǎng)絡(luò )抽象層（NAL，Network Abstraction Layer）。視頻編碼層主要致力于有效地表示視頻內容，網(wǎng)絡(luò )抽象層格式化VCL視頻表示，提供頭部信息，適合多種傳輸和存儲媒體。
VCL的設計同以前的ITU-T和 ISO/IEC JTC一樣，基于塊的混合視頻編碼方法?；镜脑淳幋a算法是：利用時(shí)間統計的相關(guān)性，開(kāi)發(fā)幀間預測算法；利用預測殘留變換編碼，開(kāi)發(fā)空間統計的相關(guān)性。在提高編碼效率方面，沒(méi)有一個(gè)單一的算法做出特別的貢獻，而是大量的小的改善算法綜合產(chǎn)生的結果。
一 主要特性
1. H.264/AVC相對以前的編碼方法，以MPEG-2為例，在圖像內容預測方面提高編碼效率，改善圖像質(zhì)量的主要特點(diǎn)如下：
● 可變塊大小運動(dòng)補償： 選擇運動(dòng)補償大小和形狀比以前的標準更靈活，最小的亮度運動(dòng)補償塊可以小到4×4。
● 1/4采樣精度運動(dòng)補償：以前的標準最多1/2精度運動(dòng)補償，首次1/4采樣精度運動(dòng)補償出現在MPEG-4第二部分高級類(lèi)部分，但H.264/AVC大大減少了內插處理的復雜度。
● 運動(dòng)矢量可跨越圖像邊界：在以前的標準中，運動(dòng)矢量限制在已編碼參考圖像的內部。圖像邊界外推法作為可選技術(shù)首次出現在H.263中。
● 多參考圖像運動(dòng)補償：在MPEG-2及以前的標準中，P幀只使用一幀，B幀只使用兩幀圖像進(jìn)行預測。H.264/AVC使用高級圖像選擇技術(shù)，可以用以前已編碼過(guò)且保留在緩沖區的大量的圖像進(jìn)行預測，大大提高了編碼效率。
● 消除參考圖像順序和顯示圖像順序的相關(guān)性：在以前的標準中，參考圖像順序依賴(lài)顯示圖像順序，H.264/AVC消除了該限制，可以任意選擇。
● 消除參考圖像與圖像表示方法的限制：在以前的標準中，B幀圖像不能作為預測圖像，H.264/AVC 在很多情況可以利用B幀圖像作為參考。
● 加權預測： H.264/AVC采用新技術(shù)，允許加權運動(dòng)補償預測和偏移一定量。在淡入淡出場(chǎng)景中該技術(shù)極大提高編碼效率，該技術(shù)還可用于其他多種用途。
● 改善"跳過(guò)"和"直接"運動(dòng)推測：在以前的標準中，預測編碼圖像的"跳過(guò)"區不能有運動(dòng)。當編碼有全局運動(dòng)的圖像時(shí)，該限制非常有害。H.264/AVC 對"跳過(guò)"區的運動(dòng)采用推測方法。對雙預測的B幀圖像，采用高級運動(dòng)預測方法，稱(chēng)為"直接"運動(dòng)補償，進(jìn)一步改善編碼效率。
● 幀內編碼直接空間預測： 將編碼圖像邊沿進(jìn)行外推應用到當前幀內編碼圖像的預測。
● 循環(huán)去塊效應濾波器： 基于塊的視頻編碼在圖像中存在塊效應，主要來(lái)源于預測和殘余編碼。自適應去塊效應濾波技術(shù)是非常著(zhù)名的技術(shù)，能有效消除塊效應，改善視頻的主觀(guān)和客觀(guān)質(zhì)量。
2. 除改善預測方法外，其他改善編碼效率的特性如下：
● 小塊變換： 以前的標準變換的塊都是8×8，H.264/AVC主要使用4×4塊變換，使編碼器表示信號局部適應性更好，更適合預測編碼，減少"鈴"效應。另外圖像邊界需要小塊變換。
● 分級塊變換： H.264/AVC通常使用小塊變換，但有些信號包含足夠的相關(guān)性，要求以大塊表示，H.264/AVC有兩種方式實(shí)現。低頻色度信號可用8×8，；對幀內編碼，可使用特別的編碼類(lèi)型，低頻亮度信號可用16×16塊。
● 短字長(cháng)變換： 所有以前標準使用的變換要求32位運算，H.264/AVC只使用16位運算。
● 完全匹配反變換： 所有以前標準反變換和變換之間存在一定容限的誤差，因此，每個(gè)解碼器輸出視頻信號都不相同，產(chǎn)生小的漂移，最終影響圖像的質(zhì)量，H.264/AVC實(shí)現了完全匹配。
● 基于上下文的熵編碼： H.264/AVC使用兩種熵編碼方法，CAVLC（上下文自適應的可變長(cháng)編碼）和CABAC（上下文自適應二進(jìn)制算術(shù)編碼），兩種都是基于上下文的熵編碼技術(shù)。
3. H.264/AVC具有強大的糾錯功能和各種網(wǎng)絡(luò )環(huán)境操作靈活性，主要特性如下：
● 參數集結構：H.264/AVC參數集結構設計了強大、有效的傳輸頭部信息。在以前的標準中，如果少數幾位關(guān)鍵信息丟失，可能解碼器產(chǎn)生嚴重解碼錯誤。 H.264/AVC采用很靈活、特殊的方式，分開(kāi)處理關(guān)鍵信息，能在各種環(huán)境下可靠傳送。
● NAL單元語(yǔ)法結構：H.264/AVC中的每一個(gè)語(yǔ)法結構放置在稱(chēng)為NAL的單元中，以前的標準采用強制性特定的位流接口。NAL單元語(yǔ)法結構允許很自由的客戶(hù)化，幾乎適合所有的網(wǎng)絡(luò )接口。
● 靈活的像條大?。涸贛PEG-2中，規定了嚴格的像條結構，頭部數據量大，降低預測效率，編碼效率低。在H.264/AVC可采用非常靈活的像條大小。
● 靈活宏塊排序（FMO）：H.264/AVC可以將圖像劃分為像條組，又稱(chēng)為圖像區，每個(gè)像條可以獨立解碼。FMO通過(guò)管理圖像區之間的關(guān)系，具有很強的抗數據丟失能力。
● 任意像條排序：因為每個(gè)像條幾乎可以獨立解碼，所以像條可以按任意順序發(fā)送和接收，在實(shí)時(shí)應用中，可以改善端到端的延時(shí)特性，特別適合于接收順序和發(fā)送順序不能對應的網(wǎng)絡(luò )中，如使用INTERNET網(wǎng)絡(luò )協(xié)議的應用。
● 冗余圖像：為提高抗數據丟失的能力，H.264/AVC設計中包含一種新的能力，允許編碼器發(fā)送圖像區的冗余表示，當圖像區的主表示丟失時(shí)仍可以正確解碼。
● 數據劃分：視頻流中的編碼信息的重要性不同，有些信息（如運動(dòng)矢量、預測信息等）比其他信息更為重要。H.264/AVC可以根據每個(gè)像條語(yǔ)法元素的范疇，將像條語(yǔ)法劃分為3部分，分開(kāi)傳送。
二 網(wǎng)絡(luò )層
NAL規范視頻數據的格式，主要是提供頭部信息，以適合各種媒體的傳輸和存儲。NAL支持各種網(wǎng)絡(luò )，包括：
● 任何使用RTP/IP協(xié)議的實(shí)時(shí)有線(xiàn)和無(wú)線(xiàn)Internet 服務(wù)。
● 作為MP4文件存儲和多媒體信息文件服務(wù)。
● MPEG-2系統。
● 其他網(wǎng)。
1. NAL 單元
編碼的視頻流組織成NAL單元，視頻數據放置在網(wǎng)絡(luò )單元中傳輸，每個(gè)網(wǎng)絡(luò )單元包含整數個(gè)字節，第一個(gè)字節是頭部信息，指示NAL單元的數據類(lèi)型，其余是凈荷。
凈荷數據與仿真預防字節做交織處理，仿真預防字節是特殊值字節，防止偶然在凈荷中出現同步字節圖樣。
NAL規定一種通用的格式，既適合面向包傳輸，也適合流傳送。實(shí)際上，包傳輸和流傳輸的方式是相同的，不同之處是流傳輸前面增加了一個(gè)起始碼前綴。
2. NAL單元在字節流中的應用
類(lèi)似H.320和MPEG-2/H.222.0等傳輸系統，傳輸NAL作為有序連續字節或比特流，同時(shí)要依靠數據本身識別NAL單元邊界。在這樣的應用系統中，H.264/AVC規范定義了字節流格式，每個(gè)NAL單元前面增加3個(gè)字節的前綴，即同步字節。在比特流應用中，每個(gè)圖像需要增加一個(gè)附加字節作為邊界定位。還有一種可選特性，在字節流中增加附加數據，用做擴充發(fā)送數據量，能實(shí)現快速邊界定位，恢復同步。
3. NAL單元在面向包傳送中的應用
在類(lèi)似Internet/RTP面向包傳送協(xié)議系統中，包結構中包含包邊界識別字節，在這種情況下，不需要同步字節。
4. VCL和非VCL的NAL單元
NAL單元分為VCL和非VCL兩種，VCL NAL單元包含視頻圖像采樣信息，非VCL包含各種有關(guān)的附加信息，例如參數集（頭部信息，應用到大量的VCL NAL單元）、提高性能的附加信息、定時(shí)信息等。
5. 參數集
參數集是很少變化的信息，用于大量VCL NAL單元的解碼，分為兩種類(lèi)型：
● 序列參數集，作用于一串連續的視頻圖像，即視頻序列。
● 圖像參數集，作用于視頻序列中的一個(gè)或多個(gè)個(gè)別的圖像。
序列和圖像參數集機制，減少了重復參數的傳送，每個(gè)VCL NAL單元包含一個(gè)標識，指向有關(guān)的圖像參數集，每個(gè)圖像參數集包含一個(gè)標識，指向有關(guān)的序列參數集的內容，因此，只用少數的指針信息，引用大量的參數，大大減少每個(gè)VCL NAL單元重復傳送的信息。
序列和圖像參數集可以在發(fā)送VCL NAL單元以前發(fā)送，并且重復傳送，大大提高糾錯能力。序列和圖像參數集可以在"帶內"，也可以用更為可靠的其他"帶外"通道傳送。
6. 存儲單元
一組指定格式的NAL單元稱(chēng)為存儲單元，每個(gè)存儲單元對應一個(gè)圖像。每個(gè)存儲單元包含一組VCL NAL單元，組成一個(gè)主編碼圖像，VCL NAL單元由表示視頻圖像采樣的像條所組成。存儲單元前面可以加一個(gè)前綴，分界存儲單元，附加增強信息（SEI）（如圖像定時(shí)信息）也可以放在主編碼圖像的前面。
主編碼圖像后附加的VCL NAL單元，包含同一圖像的冗余表示，稱(chēng)為冗余編碼圖像，當主編碼圖像數據丟失或損壞時(shí)，可用冗余編碼圖像解碼。
7. 編碼視頻序列
一個(gè)編碼視頻序列由一串連續的存儲單元組成，使用同一序列參數集。每個(gè)視頻序列可獨立解碼。編碼序列的開(kāi)始是即時(shí)刷新存儲單元（IDR）。IDR是一個(gè)I 幀圖像，表示后面的圖像不用參考以前的圖像。一個(gè)NAL單元流可包含一個(gè)或更多的編碼視頻序列。
三 視頻編碼層
視頻編碼層在原理上與MPEG2是一致的，采用變換編碼，使用空間和時(shí)間預測的混合編碼。圖1是一個(gè)宏塊的視頻編碼層的框圖?？傊畧D像劃分成塊，一個(gè)序列的第一個(gè)圖像，即隨機存取點(diǎn)，典型是幀內編碼，幀內每個(gè)采樣的預測只利用幀內已編碼的空間相鄰的采樣，選擇哪些相鄰采樣進(jìn)行預測，以及如何預測，這些附加信息必須同時(shí)被傳送到解碼器同步處理。隨機存取點(diǎn)之間的圖像使用幀間編碼。
為了實(shí)現下一塊或下一個(gè)圖像的預測，編碼器包含一個(gè)解碼器，對量化變換系數進(jìn)行與解碼器解碼相同的反量化和反變換過(guò)程，導出解碼預測殘余，解碼殘余與預測相加，結果送到去塊效應濾波器，產(chǎn)生解碼視頻輸出。
1. 圖像、幀和場(chǎng)
一個(gè)編碼視頻序列由連續的編碼圖像組成，編碼圖像可以是整個(gè)一幀圖像，也可以是一場(chǎng)圖像。H.264/AVC編碼是基于幾何概念的表示方法，而不是基于定時(shí)的概念。
2. YcbCr色度空間和4:2:0采樣
人的視覺(jué)特性按照亮度和色度信息分別感知世界。視頻的傳輸可以利用該特性減少色度信息傳送。H.264/AVC目前采用與MPEG-2主類(lèi)相同的 4:2:0采樣結構、8比特精度，高精度顏色和高比特精度的建議正在討論中。
3. 宏塊劃分
每個(gè)視頻圖像幀或場(chǎng)都可以劃分為固定大小的宏塊，宏塊是解碼的基本模塊單元，通常是一個(gè)16×16亮度像素和兩個(gè)8×8彩色分量像素的長(cháng)方型區域。所有宏塊的亮度和色度采樣在空間或時(shí)間上進(jìn)行預測，對預測殘余進(jìn)行變換編碼。
4. 像條和像條組
像條由宏塊組成，像條是圖像的子集，包含圖像參數集，語(yǔ)法元素可以被分析，圖像可以被獨立解碼。按照宏塊映射表規定的順序，在位流中安排宏塊的傳輸順序，而不是按光柵掃描順序。
利用像條組的概念，H.264/AVC支持靈活宏塊排序特性（FMO）。FMO改變了圖像劃分為像條和宏塊的方式。每個(gè)像條組是多個(gè)宏塊集合，通過(guò)宏塊到像條組的影射表定義，該影射表在圖像參數集中指定。每個(gè)宏塊有一個(gè)像條組標識號，所有像條組標識號構成宏塊到像條組影射表。每個(gè)像條組由一個(gè)或多個(gè)像條組成，因此像條是一個(gè)宏塊序列，同一像條組中的宏塊，按光柵順序處理。
利用FMO，圖像可以劃分為許多宏塊掃描圖樣，例如交織圖樣、點(diǎn)綴圖樣，一個(gè)或多個(gè)前景像條組、剩余像條組，或棋盤(pán)型圖樣影射等。每個(gè)像條組分別傳送，后兩種如圖2所示，左邊宏塊到像條組的影射證明在關(guān)注局部型的編碼應用中非常有用。右邊宏塊到像條組的影射證明適合保密型會(huì )議系統等應用。
無(wú)論是否使用FMO，H.264/AVC支持5種像條編碼類(lèi)型：
I像條：最簡(jiǎn)單的編碼類(lèi)型，所有的宏塊不參考視頻序列中其他的圖像。
P像條：除了I像條編碼類(lèi)型外，P像條的部分宏塊可以利用幀間預測，每個(gè)預測塊至多可使用一個(gè)運動(dòng)補償預測信號。
B像條：除了P像條編碼類(lèi)型外，B像條的部分宏塊可以利用幀間預測，每個(gè)預測塊可使用兩個(gè)運動(dòng)補償預測信號。
以上三種與以前的標準相似，主要是參考圖像不同，其余兩種像條類(lèi)型是SP（切換P） SI（切換I），是新的類(lèi)型，用于在不同位率編碼碼流之間進(jìn)行有效切換。
SP像條： 稱(chēng)作切換P像條，能在不同編碼圖像之間有效地切換。
SI像條：稱(chēng)作切換I像條，允許SP像條的宏塊完全匹配，達到隨機讀取數據進(jìn)行解碼和恢復錯誤的目的。
5. 宏塊的編解碼過(guò)程
所有宏塊的亮度和色度采樣要進(jìn)行空間或時(shí)間的預測，對預測的殘余進(jìn)行變換編碼，為了實(shí)現變換編碼，每個(gè)顏色分量的預測殘余要再劃分為更小的4×4塊，每塊利用整數變換，變換系數被量化，最后是熵編碼。
如圖1所示，一個(gè)宏塊視頻編碼層的方框圖，輸入的視頻信號劃分為宏塊，映射宏塊和像條組的關(guān)系，逐個(gè)選擇像條，處理像條中每個(gè)宏塊。
6. 自適應幀/場(chǎng)編碼操作
在隔行掃描幀中，當有移動(dòng)的對象或攝像機移動(dòng)時(shí)，與逐行相比，兩個(gè)相鄰行傾向減少統計的相關(guān)性，這種情況應比每場(chǎng)分別壓縮更為有效。為了達到高效率，H.264/AVC在編碼幀時(shí)，有以下可選方案：
● 結合兩場(chǎng)成一個(gè)完整幀，作為幀編碼，稱(chēng)為幀模式。
● 兩場(chǎng)分別編碼，稱(chēng)為場(chǎng)模式。
● 結合兩場(chǎng)成一個(gè)完整幀，作為幀壓縮。在編碼時(shí)，劃分垂直相鄰的兩個(gè)宏塊對成兩個(gè)場(chǎng)宏塊對或幀宏塊，再進(jìn)行編碼。
每幀圖像可自適應選擇3種模式之一進(jìn)行編碼。在前兩種之間進(jìn)行選擇稱(chēng)為圖像自適應幀/場(chǎng)編碼（PAFF），當一幀作為兩場(chǎng)編碼時(shí)，每場(chǎng)劃分為宏塊，編碼方式與幀編碼方式很相似，主要有下面的例外：
● 運動(dòng)補償用參考場(chǎng)，而不是參考幀。
● 變換系數的"之字型"掃描方式不同。
● 宏塊水平邊沿去塊濾波器的強度不選用"強"，因為場(chǎng)行在空間上是兩倍幀行的距離。
在研制H.264/AVC標準時(shí)，據報道，采用ITU-601分辨率，PAFF編碼技術(shù)與幀編碼相比可減少碼率16%到20%。
如果圖像由運動(dòng)區和非運動(dòng)區混合組成，非運動(dòng)區用幀模式、運動(dòng)區用場(chǎng)模式是最有效的編碼方法。因此每個(gè)垂直宏塊對（16×32）可獨立選擇編碼（幀/場(chǎng)）模式。這種編碼選擇稱(chēng)為宏塊自適應幀/場(chǎng)編碼（MBAFF）。對于幀模式宏塊對，每個(gè)宏塊包含幀行，對于場(chǎng)模式宏塊對，頂部宏塊包含頂場(chǎng)行，底部宏塊包含底場(chǎng)行。
處理場(chǎng)宏塊對的每個(gè)宏塊與幀PAFF模式相似，然而，因為在MBAFF幀中發(fā)生場(chǎng)/幀宏塊對混合，需要修改用作下列用途的方法：
● 之字型掃描。
● 運動(dòng)矢量預測。
● 幀內預測模式的預測。
● 幀內預測幀采樣精度。
● 去塊效應濾波器。
● 上下文模型的熵編碼。
主要思想是盡可能保留多的空間一致性，MBAFF幀的空間相鄰的規范相當復雜，下面講到的空間相鄰都是指非MBAFF幀。
MBAFF 和PAFF的另一個(gè)重要區別是：使用MBAFF方法， 一個(gè)場(chǎng)不能使用同一幀的另一個(gè)場(chǎng)中的宏塊作為運動(dòng)補償參考。這樣，有時(shí)PAFF比MBAFF編碼更有效，特別是在快速全局運動(dòng)、變換場(chǎng)景、圖像刷新等情況下。
在開(kāi)發(fā)MBAFF標準期間，據報道，采用ITU-601分辨率，MBAFF編碼技術(shù)比PAFF相比可減少碼率14%到16%。
7. 幀內預測
根據像條編碼類(lèi)型，每個(gè)宏塊可以選擇幾種編碼類(lèi)型之一。所有像條類(lèi)型支持兩級幀內編碼，稱(chēng)為INTRA-4×4 和 INTRA-16×16。
INTRA-4×4模式基于分別預測每個(gè)4 ×4亮度塊，適合表現圖像細節部分。而INTRA-16×16模式將整個(gè)16×16亮度塊進(jìn)行預測，適合平滑圖像區。此外對這兩種亮度預測類(lèi)型，色度單獨進(jìn)行預測。作為INTRA-4×4和INTRA-16×16的另一種選擇，I_PCM編碼類(lèi)型允許編碼器簡(jiǎn)單跳過(guò)預測和變換編碼過(guò)程，直接發(fā)送采樣值。 I_PCM允許編碼器精確地表示采樣，通常表示一些反常圖像，而沒(méi)有明顯增加數據量。
8. 幀間預測
● p像條幀間預測
除了幀內宏塊編碼類(lèi)型外，P像條宏塊使用多種預測類(lèi)型，即運動(dòng)補償編碼類(lèi)型。為了方便運動(dòng)描述，每個(gè)P型宏塊對應于指定的固定大小的宏塊劃分。亮度塊的劃分大小為：16×16、16×8、8×16、8×8。
語(yǔ)法允許運動(dòng)矢量跨越圖像邊界，這種情況參考幀需用外插法推算出圖像外的采樣值。利用鄰近塊的平均或方向預測，用差分編碼計算運動(dòng)矢量。
語(yǔ)法支持多圖像運動(dòng)補償預測，以前編碼的多個(gè)圖像都可用作運動(dòng)補償參考，每個(gè)運動(dòng)補償需要指示參考圖像的索引。一個(gè)8×8塊劃分成的小于8×8塊的運動(dòng)補償使用同一參考圖像索引，該功能要求編碼和解碼器具有多幀圖像緩沖器，解碼器通過(guò)位流中的管理控制操作信息與編碼器同步。
除了運動(dòng)補償宏塊模式外，P宏塊可使用P_Skip模式，這種模式?jīng)]有量化預測誤差、不用傳送運動(dòng)矢量和參考索引參數。信號重建與P_16×16宏塊類(lèi)型預測信號類(lèi)似，采用多幀緩沖區索引0的圖像作為參考圖像。重建P_Skip宏塊的運動(dòng)矢量與16×16塊運動(dòng)矢量預測類(lèi)似。P_Skip編碼類(lèi)型適合沒(méi)有變化或固定運動(dòng)的區域，如搖鏡頭等，有極高的壓縮率。
● B像條的幀間預測
B像條相對P像條的概念與以前的標準類(lèi)似，但有些不同，B像條可以作為運動(dòng)補償預測的參考圖像，B像條可以對兩個(gè)補償預測值進(jìn)行加權運算。
9. 變換和量化
與以前的視頻編碼標準類(lèi)似，H.264/AVC利用預測殘余變換編碼。然而，H.264/AVC變換施加4×4塊上，不用離散余弦變換（DCT），采用與離散余弦變換相似特性的整數變換。因為使用整數運算，所以反變換沒(méi)有誤差。
10. 熵編碼
H.264/AVC支持兩種熵編碼方法，最簡(jiǎn)單的熵編碼方法是：對所有的語(yǔ)法元素，除了量化系數外，使用單一無(wú)限可擴展的碼字表。這樣不必為每個(gè)語(yǔ)法元素設計一個(gè)專(zhuān)用的VLC表，只需要按照數據的統計特性，客戶(hù)化影射到單一碼字表。使用exp-Golomb碼建立單一碼表，具有很簡(jiǎn)單、有規則的解碼特性。
為了有效傳送量化的變換系數，CAVLC（上下文自適應的可變長(cháng)編碼）是很有效的方法。在該方案中，對于各種語(yǔ)法元素的VLC碼表按照已傳送的語(yǔ)法元素可以進(jìn)行切換。因為VLC表設計匹配相應的條件統計，改善了熵編碼的性能。
在H.264/AVC中的算術(shù)編碼引擎，與概率相關(guān)的估計等都不使用乘法操作，而是使用簡(jiǎn)單的移位和查找操作，與CAVLC操作相比，CABAC典型減少碼率5%～15%。在隔行掃描視頻，效果更明顯。
11. 去塊循環(huán)濾波器
基于塊編碼的壓縮算法的特點(diǎn)是偶爾產(chǎn)生可見(jiàn)的塊結構，由于塊邊沿的精度比內部差，塊效應是目前壓縮算法的常見(jiàn)人工瑕疵。H.264/AVC定義了一個(gè)自適應循環(huán)濾波器，濾波的強度通過(guò)幾個(gè)語(yǔ)法元素控制。
濾波的基本思想是： 如果塊邊沿的絕對差值相對比較大，出現塊人工瑕疵的可能性就很大，因此需要進(jìn)行相應處理。然而，如果差值幅度很大，編碼量化過(guò)程的誤差不能解釋?zhuān)呇睾芸赡芊从沉嗽磮D像的實(shí)際樣值，不需處理。
經(jīng)過(guò)濾波處理，減少了塊效應，而圖像的質(zhì)量基本不受影響，因此主觀(guān)質(zhì)量大大改善。如果不濾波，同樣的主觀(guān)質(zhì)量，需要多出5%~10%的碼率。圖3說(shuō)明了塊濾波器的效果。
12. 假想參考解碼器模型
標準的好處在于保證所有符合標準的解碼器能夠解碼出一致的視頻質(zhì)量。要實(shí)現標準，僅僅提供編碼算法的描述是不夠的，在實(shí)時(shí)系統中，指定如何饋送碼流比特給解碼器，解碼的圖像如何移出解碼器等都是很重要的。要實(shí)現該功能，必須指定輸入/出緩沖器模型和開(kāi)發(fā)與實(shí)現無(wú)關(guān)的接收機模型。這樣的接收機模型稱(chēng)為假想參考模型（HRD）。編碼器不允許產(chǎn)生假想參考模型不能解碼的位流。因此如果所有接收機都模擬假想參考模型的行為，可以保證所有解碼器解出的碼流具有很好的一致性。
四 類(lèi)和級及其應用
1. 類(lèi)和級
類(lèi)和級指定符合點(diǎn)，這些符合點(diǎn)用于實(shí)現各種標準應用之間的互操作性。類(lèi)定義一組編碼工具和算法，用于產(chǎn)生一致性的比特流，級限定比特流的部分關(guān)鍵參數。
所有的解碼器符合指定的類(lèi)必須支持該類(lèi)定義的所有特性，編碼器不必要求使用該類(lèi)支持的任何特定的特性集，但必須提供一致性的比特流，即使支持該類(lèi)的解碼器能實(shí)現解碼。
H.264/AVC定義了3類(lèi)：基類(lèi)、主類(lèi)和擴展類(lèi)。
基類(lèi)支持除下面兩組特性外的所有的H.264/AVC特性：
（1）B像條、加權預測、CABAC、場(chǎng)編碼、圖像或宏塊在幀場(chǎng)編碼之間自適應切換。
（2） PI/SI像條和像條數據分割。
主類(lèi)支持第一組特性，但主類(lèi)不支持FMO、ASO和冗余圖像特性，擴展類(lèi)支持除CABAC外所有H.264/AVC特性，序列參數中包含了一些標志指示解碼該碼流要求解碼器支持的類(lèi)。
在H.264/AVC，所有類(lèi)使用相同的級定義，但個(gè)別實(shí)現時(shí)，可能每個(gè)支持的類(lèi)支持的級不完全相同。H.264/AVC定義了15個(gè)級。
2. 新標準類(lèi)的使用領(lǐng)域
H.264/AVC的高壓縮效率，擴充了現有的應用領(lǐng)域，至少包含以下領(lǐng)域：
（1）交互視頻服務(wù)，通常速率1Mbps以下，低延遲。ITU-T SG16正在修改有關(guān)系統建議， IETF正在設計RTP凈荷打包器，以支持H.264/AVC在交互視頻方面的應用。近期主要利用基類(lèi)，然后過(guò)渡到另兩類(lèi)。主要應用如下：
H.320 交互式視頻服務(wù)，利用基于ISDN視頻會(huì )議的電路交換；
3 GPP交互式H.324/M服務(wù)；
H.323交互式視頻服務(wù)，基于INTERNET，利用IP/RTP協(xié)議。
（2）娛樂(lè )視頻應用，1Mbps～8Mbps碼率，0.5 到 2秒中等時(shí)延。H.222.0|MPEG-2正在被修改以支持這方面的應用，這些應用主要利用主類(lèi)，主要應用如下：
有線(xiàn)、衛星、地面、DSL等廣播電視；
標清和高清DVD；
通過(guò)各種媒體的視頻點(diǎn)播。
（3）流媒體服務(wù)，典型50kbps 到1.5Mbps，2秒以上的時(shí)延，這些應用主要利用基類(lèi)或擴展類(lèi)。有線(xiàn)或無(wú)線(xiàn)使用情況有所不同，主要應用如下：
3GPP 流， 利用IP/RTP傳輸，RTSP作會(huì )話(huà)設置，3GPP規范的擴充部分可能僅使用基類(lèi)；
有線(xiàn)INTERNET 流，利用IP/RTP傳輸，RTSP作會(huì )話(huà)設置。
（4）其他服務(wù)，主要是低碼率，以文件傳送方式，不考慮時(shí)延，根據不同應用，可能用到3類(lèi)，主要應用如下：
3GPP 多媒體信息服務(wù)；
視頻郵件。
六 結論
H.264代表了當前業(yè)界最先進(jìn)的視頻壓縮技術(shù)，且具有以下無(wú)可比擬的優(yōu)越性。
1. 碼率低：和MPEG-2等壓縮技術(shù)相比，在同等圖像質(zhì)量下，采用H.264技術(shù)壓縮后的數據量只有MPEG-2的1/2~1/3。顯然，H.264壓縮技術(shù)的采用將大大節省用戶(hù)的下載時(shí)間和數據流量收費。
2. 圖像質(zhì)量高：H.264能提供連續、流暢的高質(zhì)量圖像。
3. 容錯能力強：H.264提供了解決在不穩定網(wǎng)絡(luò )環(huán)境下容易發(fā)生的丟包等錯誤的必要工具。
4. 網(wǎng)絡(luò )適應性強：H.264提供了網(wǎng)絡(luò )適應層， 使得H.264的文件能容易地在不同網(wǎng)絡(luò )上傳輸。
H.264超越以往的視頻編解碼標準，成為各個(gè)廠(chǎng)商競爭的焦點(diǎn)。目前，各主流廠(chǎng)商紛紛宣布，已經(jīng)或將在明年推出產(chǎn)品化的H.264。在視頻廣播領(lǐng)域，美國哈雷公司宣布其產(chǎn)品MV100編碼器可以支持H.264協(xié)議，哈雷原來(lái)的MPEG-2編碼器MV100硬件平臺已經(jīng)兼容H.264能力，只需從軟件升級即可。在歐洲，有兩個(gè)用戶(hù)已經(jīng)選用了此種編碼器。其中一個(gè)是法國的衛星及直播星運營(yíng)商CanalSatellite，它采用哈雷高性能的數字前端系統在 ADSL上傳輸視頻業(yè)務(wù)，MV100超低碼率編碼能力可以實(shí)現在多種電信網(wǎng)上傳輸廣播級視頻節目。另外是第一個(gè)即將投入正式商業(yè)運營(yíng)的英國Video network limited。
