1、MPEG-2碼流結構
在數字電視系統中，模擬視音頻信號按照MPEG-2的標準，經(jīng)過(guò)抽樣、量化及壓縮編碼形成基本碼流ES，基本碼流ES是不分段的連續碼流。把基本碼流分割成段，并加上相應的頭文件打包形成的打包基本碼流PES（如圖1所示），PES包和包之間可以是不連續的。在傳輸時(shí)將PES包再分段打成有固定長(cháng)度188B的傳送碼流TS或可變長(cháng)度的節目流包（PS包）。PES只是PS轉換為T(mén)S或TS轉換為PS的中間步驟或橋梁，時(shí)MPEG-2數據流互換的邏輯結構。TS和PS這兩種碼流分別適應于不同的場(chǎng)合應用，節目流PS適合在相對出錯較少的環(huán)境下使用，其長(cháng)度是變化的，而傳送流TS能夠把多個(gè)節目在基于一個(gè)或多個(gè)時(shí)間標識的基礎上構成一個(gè)流，傳送流適合于出錯較多的場(chǎng)合下使用。用數據包傳輸的優(yōu)點(diǎn)是：網(wǎng)絡(luò )中信息可占用不同的連接線(xiàn)路和簡(jiǎn)單暫存。通過(guò)數據包交織把多個(gè)數據流復用成一個(gè)新的數據流。便于解碼器按照相應順序對數據包進(jìn)行靈活的整理，從而，為數據流同步和復用奠定了基礎。MPEG-2的結構可分為壓縮層和系統層，其中ES屬于壓縮層，PES和TS/PS屬于系統層。
在PES層，主要是在PES包頭信息中加入PTS(顯示時(shí)間標簽)和DTS（解碼時(shí)間標簽）用于視頻、音頻同步。而在TS流中，TS包頭加入了PCR(節目時(shí)鐘參考)，用于解碼器的系統時(shí)鐘恢復。在節目流PS包頭中加入SCR,它的作用與PCR域相似。
ES是編碼視頻數據流或音頻數據流，每個(gè)ES都由若干個(gè)存取單元（AU）組成，每個(gè)視頻AU或音頻AU都是由頭部和編碼數據兩部分組成，1個(gè)AU相當于編碼的1幅視頻圖像或1個(gè)音頻幀，也可以說(shuō)，每個(gè)AU實(shí)際上是編碼數據流的顯示單元，即相當于解碼的1幅視頻圖像或1個(gè)音頻幀的取樣。
我們知道，MPEG-2對視頻的壓縮產(chǎn)生I幀、P幀、B幀。把幀順序I1幀-P4幀-B2幀-B3幀-P7幀-B5幀-B6幀的編碼ES，通過(guò)打包并在每個(gè)幀中插入PTS/DTS標志，變成PES。在插入PTS/DTS標志時(shí)，由于在B幀PTS和DTS是相等的，所以無(wú)須在B幀多插入DTS（參見(jiàn)圖1）。而對于I幀和P幀，由于經(jīng)過(guò)復用后數據包的順序會(huì )發(fā)生變化，顯示前一定要存儲于視頻解碼器的從新排序緩存器中，經(jīng)過(guò)從新排序后再顯示，所以一定要同時(shí)插入PTS和DTS作為從新排序的依據。例如，解碼器輸入的圖像幀順序為I1-P4-B2-B3-P7-B5-B6，但顯示時(shí)P4一定要在B2、B3之后，在PST和DTS的指引下，經(jīng)過(guò)緩存器從新排序，以從建視頻幀順序為：I1-B2-B3-P4- P7-B5-B6。
將PES包再打成更小的具固定長(cháng)度的TS包時(shí)在其包頭位置加入了PCR和PID(包標識)。PID的值是由用戶(hù)確定的，解碼器根據PID把TS（多節目傳輸流)上不同節目的TS包區分出來(lái)，以重建原來(lái)的ES。另外，TS的包頭包含一個(gè)4bit的連續計數器，連續計數器可對PID包傳送順序計數，據計數器讀數，接收端可判斷是否有包丟失及包傳送順序錯誤。所以TS的包頭具有同步、識別、檢錯等功能。
2、時(shí)間模型
在MPEG-2系統層時(shí)間模型中，它的端到端延遲——從信號進(jìn)入編碼器到信號從解碼器輸出是一個(gè)常數，信號總共經(jīng)過(guò)編碼器、編碼緩沖器、多路復用器、傳輸或存儲、解復用器、解碼緩沖器以及解碼器等器件的延遲。如圖2所示。
所有的視頻和音頻經(jīng)過(guò)采樣（A/D變換）進(jìn)入編碼器后，經(jīng)一恒定的延遲，在解碼器分別輸出顯示，采樣后的碼率在編碼器和解碼器中應嚴格相等。在MPEG-2中，所有的時(shí)序被定義成一個(gè)共同的系統時(shí)鐘（STC），故編碼器、解碼器的系統時(shí)鐘必須同步。解碼器的系統時(shí)鐘應由編碼器的系統時(shí)鐘經(jīng)恒定延遲后恢復出來(lái)，以服從于編碼器。
對于PS（節目流）而言，這個(gè)時(shí)鐘可以與視頻或音頻采樣時(shí)鐘之間有一個(gè)嚴格的特定比率，或者稍有區別，但仍足以提供精確的端到端的時(shí)序和時(shí)鐘恢復。而在TS（傳輸流）中，此系統時(shí)鐘頻率與視頻或音頻的采樣時(shí)鐘之間任何時(shí)候都必須有嚴格的比率關(guān)系，其目的是為了在解碼器中恢復視音頻采樣后的碼率。
3、時(shí)間標簽定義及同步機制
編碼器中有一個(gè)系統時(shí)鐘（其頻率是27MHz），此時(shí)鐘用來(lái)產(chǎn)生指示音視頻的正確顯示和解碼的時(shí)間標簽，同時(shí)可用來(lái)指示在采樣過(guò)程中系統時(shí)鐘本身的瞬時(shí)值。指示音視頻顯示時(shí)間的時(shí)間標簽稱(chēng)為顯示時(shí)間標簽（PTS），指示音視頻的解碼時(shí)間標簽稱(chēng)為解碼時(shí)間標簽（DTS），指示系統時(shí)鐘本身的瞬時(shí)值的時(shí)間標簽稱(chēng)為節目參考時(shí)鐘標簽（PCR）。解碼器通過(guò)VBV_delay（視頻流延時(shí)值，在解碼時(shí)利用視頻流緩沖區把視頻流緩存到相應的vbv_delay時(shí)間后，再啟動(dòng)解碼器解碼、顯示、實(shí)現音視頻的同步。vbv_delay存在于視頻ES的頭部，長(cháng)度為16bit）的數值來(lái)確定解碼的開(kāi)始，用解碼時(shí)間標簽（DTS）和顯示時(shí)間標簽（PTS）來(lái)確定解碼和顯示的次序，用PCR來(lái)獲得系統時(shí)鐘的同步。解碼器中的系統時(shí)鐘及其同步就是依靠這些時(shí)間標簽來(lái)進(jìn)行恢復和修正的。
PCR、PTS、DTS具體構成如下：
PCR的插入必須在PCR字段的最后離開(kāi)復用器的那一時(shí)刻，同時(shí)把27 MHz系統時(shí)鐘的采樣瞬時(shí)值作為PCR字段插入到相應的PCR域。27 MHz時(shí)鐘經(jīng)波形整理后分兩路，一路是由27MHz脈沖直接觸發(fā)計數器生成擴展域PCR_ext，長(cháng)度為9bits。另一路經(jīng)一個(gè)300分頻器后的90 kHz脈沖送入一個(gè)33位計數器生成90KHZ基值，列入PCR_base（基值域），長(cháng)度33bits，用于和PTS/DTS比較，產(chǎn)生解碼和顯示所需要的同步信號。這兩部分被置入PCR域，共同組成了42位的PCR。
PTS域為33bits，編碼成為3個(gè)獨立的字段，表示此分組中第一個(gè)訪(fǎng)問(wèn)單元在系統目標解碼器中的預定顯示時(shí)間。
DTS域也為33bits，編碼成為3個(gè)獨立的字段，表示此分組中第一個(gè)訪(fǎng)問(wèn)單元在系統目標解碼器中的預定解碼時(shí)間。
解碼器在解碼時(shí)，首先利用PCR重建和編碼器同步的27 MHz系統時(shí)鐘，恢復27 MHz系統時(shí)鐘后，再利用PES流中的DTS，PTS進(jìn)行音頻與視頻間的同步，同時(shí)利用VBV_Delay設置解碼器的緩沖時(shí)長(cháng)，后啟動(dòng)初始解碼。
解碼器同步算法如下：
（1） 解碼器從輸入碼流的包頭中解出時(shí)間信息PCR送入到系統時(shí)間時(shí)鐘恢復電路；系統時(shí)間時(shí)鐘恢復電路在接收到每一個(gè)新的PCR時(shí)，進(jìn)行本地系統時(shí)間時(shí)鐘恢復和鎖相。
（2） 解復用器后，從PES包頭中解出顯示時(shí)間標簽PTS和解碼時(shí)間標簽DTS，并送入到基本流解碼器中。
（3） 基本流解碼器在接收到新的PTS/DTS后，存入對應的FIFO(先進(jìn)先處存儲器)中進(jìn)行管理；對于沒(méi)有PTS/DTS的顯示單元，需要對其時(shí)間標簽進(jìn)行插值，并送入到FIFO中管理。
（4） 每一顯示單元開(kāi)始解碼前，用其對應的DTS與STC進(jìn)行比較，當STC與DTS相等時(shí)開(kāi)始解碼；
（5） 每一顯示單元開(kāi)始顯示前，用其對應的PTS與STC進(jìn)行比較，當STC與PTS相等時(shí)開(kāi)始顯示。
在理想情況下，PTS和DTS的值應該是相同的，但由于實(shí)際解碼器在解碼時(shí)需要一定的時(shí)間，所以PTS和DTS的值是不同的。如果在PES包頭中只出現了PTS，我們就認為DTS=PTS。
4、系統時(shí)鐘（STC）恢復
在解碼器中，STC的恢復是同步的關(guān)鍵。如果解碼器中的時(shí)鐘頻率和編碼器的時(shí)鐘頻率嚴格匹配，那么視頻和音頻的解碼和顯示將自動(dòng)和編碼器保持相同的速率，此時(shí)，端到端的延遲是一個(gè)常數。在實(shí)際中，是利用接收到的PCR的值來(lái)使解碼器時(shí)鐘服從于編碼器的系統時(shí)鐘，其典型方法是通過(guò)鎖相環(huán)（PLL）。
當一個(gè)新節目的PCR到達解碼器時(shí)，就需要更新時(shí)間基點(diǎn)，STC要設置為PCR中的當前值。通常第一個(gè)從解復用器中解出的PCR被直接裝入到STC的計數器，PCR的值作為鎖相環(huán)的參考頻率，用來(lái)和STC的當前值比較，產(chǎn)生的差值e，經(jīng)過(guò)脈寬調制后輸入到低通濾波器并經(jīng)放大，成為控制信號f用來(lái)控制振蕩器（VCO）的瞬時(shí)頻率，VCO輸出的頻率是在27 MHz左右振蕩信號，它作為解碼器的系統時(shí)鐘。如圖3所示。
5、DTS/PTS的管理
在PCR域的33 bits中的90 kHz部分（即PCR-Base域）用于與PTS和DTS作比較，當二者相同時(shí)，相應的單元被顯示或者解碼。但按照MPEG-2標準的規定，PTS/DTS位于PES包的包頭中，而解復用器所解出的PES包頭的字節不被送入到任何基本流解碼器的輸入緩沖區，僅用于控制各解碼器工作。每當解復用器解到一個(gè)PTS/DTS時(shí)，PTS/DTS就作為其后送入各個(gè)基本流解碼器的輸入緩沖器中的數據的顯示/解碼時(shí)間，但此時(shí)送入信道緩沖器中的基本流并不一定立即被解碼，因此基本流解碼器必須記錄當前這個(gè)PTS/DTS及所對應的碼流位置，以利于后面的解碼和顯示同步。
針對以上分析，我們采用如下方法來(lái)達到解碼與顯示的同步：在每一個(gè)基本流解碼器中建立一個(gè)33 bits的PTS/DTS先入先出存儲器（FIFO），用以存放PTS/DTS值，同時(shí)在解復用器中加入一個(gè)檢測電路，每當碼流開(kāi)始新的一幀圖像時(shí)，則產(chǎn)生一個(gè)信號，用來(lái)通知基本流解碼器，并將該幀圖像的PTS/DTS寫(xiě)入到FIFO中。每當解碼器解到一幀圖像時(shí)，就從FIFO中讀出相應的PTS/DTS，此PTS/DTS與STC進(jìn)行比較，當兩者相等時(shí)，當前圖像就開(kāi)始顯示/解碼。
在MPEG-2標準中，并非每一個(gè)PES包或每一幀圖像均有PTS和DTS，一般PS流中每?jì)蓚€(gè)PTS之間的間隔是0.7 s，而TS流中每?jì)蓚€(gè)PTS之間的間隔是0.1 s，所以在沒(méi)有PTS和DTS的一幀圖像出現時(shí)，我們可以在前一PTS/DTS的基礎上加一增量得到對應該幀圖像的PTS/DTS，并將計算出來(lái)的新的PTS/DTS插入到存放PTS/DTS的FIFO中去，即：PTSn=PTSn－1+ΔPTS（n為第n幀圖像）。
6、PTS/DTS同步實(shí)現和失步處理
27 MHz系統時(shí)鐘經(jīng)過(guò)300分頻后，得到本地的33 bits PCR_Base，該時(shí)鐘與寄存器中當前圖像的PTS/DTS進(jìn)行比較，系統軟件根據比較結果做出相應的處理：
（1） 若當前的PTS/DTS比PCR計數器的值小于半幀以上，即PTS_Base≤-ΔPTS/2，此時(shí)說(shuō)明系統解碼過(guò)慢，解碼器處于失步狀態(tài)，應根據該幀的結構做出相應的同步調整；
（2） 若當前的PTS/DTS比PCR計數器的值在半幀時(shí)間以?xún)?，我們認為此時(shí)系統解碼正常，立即顯示/解碼當前幀；
（3） 若當前的PTS/DTS大于PCR計數器的值，則此時(shí)解碼器稍快，在這種情況下，只需等到PCR與PTS/DTS相等時(shí)，就可顯示/解碼。
