1 穩像方法和步驟
數字圖像穩定處理過(guò)程主要由3部分組成：運動(dòng)矢量估計模塊(ME)，運動(dòng)矢量補償模塊(MC)和圖像序列合成模塊(IC)。通過(guò)ME模塊找到幀間運動(dòng)偏移，由MC模塊進(jìn)行圖像拼接完成運動(dòng)補償，最后經(jīng)IC模塊進(jìn)行圖像剪裁輸出。
運動(dòng)矢量估計模塊中，通過(guò)比較當前圖像和參考圖像中相同的部分，找到兩幀圖像問(wèn)的偏移量，即運動(dòng)矢量，廣泛應用于視頻處理與編碼，如圖1所示。
圖1中用實(shí)線(xiàn)所畫(huà)的方框表示匹配塊，虛線(xiàn)所畫(huà)的方框表示搜索窗。假定第k幀為當前幀，為了計算第k幀相對于第k-n幀的運動(dòng)偏移量。在第k-n幀的中心位置選擇一個(gè)N×N像素大小的匹配塊，同時(shí)在第k幀上選擇一個(gè)M×M(M>N)大小的搜索窗，搜索窗的中心位置與第k幀的匹配塊中心位置重合，通過(guò)用式(1)比較兩幅圖像間所有相應像素間絕對差的累和VSAD(Sum of Absolute Difference)，在搜索窗內找出和匹配塊圖像最匹配的位置，即VSAD最小值的位置。該匹配位置坐標和搜索窗中心點(diǎn)坐標的相對位置(△x，△y)，即為兩幀圖像的偏移運動(dòng)矢量。
式中，分別為參考圖像和當前圖像(i，j)位置的像素強度。
獲得的圖像序列之間的運動(dòng)矢量參數后，糾正當前圖像，使其恢復到正確的位置，獲得相對穩定的圖像序列，然后送到相應的顯示裝置或存儲介質(zhì)。
2 穩像系統的方案設計
TMS320C6416是TI公司最新推出的高性能DSP，該器件擁有8個(gè)并行處理單元，工作頻率為600 Hz，最高處理速度可達4800M／s(MFLOPS)。采用類(lèi)似RISC的超常指令字(VLIW)結構，在最好的情況下，TMS320 C64X系列的DSP在一個(gè)指令周期可同時(shí)執行8條32位有效指令，因此可以達到極高的處理性能。
2．1 系統組成
為適合高速圖像采集與處理，采用CPLD+DSP的應用方案，由于DSP只專(zhuān)注數據處理，但缺乏控制能力，利用高速邏輯器件CPLD配合DSP完成實(shí)時(shí)任務(wù)控制與處理，是系統的最佳組合。經(jīng)過(guò)比較，選用XC95144XL作為CPLD控制器，主處理DSP TMS320C6416系列器件進(jìn)行圖像處理計算。該系統結構如圖2所示。
該系統輸入輸出都為標準模擬視頻信號，設計采集圖像大小為512×512像素，速度為30～60幀／s的實(shí)時(shí)采集。攝像頭輸入模擬視頻信號后，經(jīng)過(guò)SAA7110進(jìn)行A／D轉換和信號分離后，進(jìn)入輸入端高速數據緩沖區。輸出端緩存中的數據，通過(guò)BT121進(jìn)行D／A轉換后，合成為標準模擬視頻信號，可直接送監視器顯示。用邏輯器件CPLD控制系統的工作時(shí)序。為適應高速數據吞吐，輸入輸出緩沖存儲器選用了雙端口RAM。
2．2 CPLD控制
系統的邏輯控制器是100引腳的XC95144，其主要工作是控制輸入／輸出幀存，以便DSP將存在其中的處理好的圖像數據讀出，并在同步控制信號和消隱信號的協(xié)同下形成標準視頻輸出信號，送到監視器顯示。圖3給出了邏輯控制的原理框圖。
CPLD的邏輯控制的工作包括：1)根據SAA7110分離出的同步信號，經(jīng)過(guò)邏輯判斷后，給出BT121需要的同步信號；2)由于SAA7110輸出的LLC2時(shí)鐘與采樣時(shí)鐘、輸出時(shí)鐘是同步的，因而以L(fǎng)LC2作為采樣數據存儲和同步控制子系統的時(shí)鐘，CPLD內部計數器進(jìn)行數據采樣計數，產(chǎn)生偏移地址，以控制輸入／輸出緩沖讀寫(xiě)數據，使用LLC2時(shí)鐘也避免了使用外部時(shí)鐘需要解決的信號相互間的同步和鎖相：3)計數器產(chǎn)生控制中斷，通知DSP啟動(dòng)數據讀／寫(xiě)EDMA通道和進(jìn)行數據轉移；4)低位地址A0和A1進(jìn)行譯碼產(chǎn)生Bank Enable信號，送到雙口RAM以進(jìn)行數據位選通。由于輸入／輸出緩存具有對稱(chēng)的硬件結構，所以XC95144在進(jìn)行地址計數時(shí)，產(chǎn)生兩套相同Bank信號和地址偏移，供輸入和輸出雙口RA-M。
3 數字圖像數據的采集與輸出
3．1 數據采集
系統的設計視頻信號采集能力是從CCD獲得模擬視頻信號中采集到512×512大小的數字圖像，并通過(guò)幀緩存——異步靜態(tài)雙端口存儲器(dual-port RAM)，經(jīng)DSP的EDMA通道送到SDRAM中。采集模塊的結構如圖4所示。
SAA7110的初始化通過(guò)I2C總線(xiàn)對其內部控制寄存器進(jìn)行相應設置而實(shí)現，該系統將DSP上的McBSP(多通道緩沖串口)的兩個(gè)引腳與SCL和SDA相連，將McBSP的引腳配置成通用I／O口，這樣就能通過(guò)編寫(xiě)DSP程序，在上電時(shí)通過(guò)DSP的多通道緩沖串口配置SAA7110。
3．2 數據位拼接
由于SAA7110和BT121都是8 bit精度器件，而雙口RAM的每邊都是36 bit精度的存儲器，但雙口RAM的4個(gè)BANK通道，每個(gè)BANK各9 bit，共36 bit數據，可通過(guò)BEO～BE3信號選通，因此只有將SAA7110和BT121的8 bit數據進(jìn)行拼接后才能送到雙口RAM。由于雙口RAM的每個(gè)BANK都是9 bit，SAA7110和BT121的8 bit數據總線(xiàn)接在每個(gè)BANK的低8 bit，忽略最高位第9位，直接地，形成8 bit的數據精度，完成不同數據精度位器件間的握手。
3．3 數據輸出
處理完的圖像數據，經(jīng)D／A轉換器BT121進(jìn)行數模轉換后，送到顯示器，這個(gè)過(guò)程必須在嚴格的同步時(shí)鐘控制下進(jìn)行。SAA7110給出的同步信號包括水平同步、垂直同步、奇偶場(chǎng)和采樣時(shí)鐘，而B(niǎo)T121的同步信號只有空白信號(BLANK)、合成信號(SYNC)和轉換時(shí)鐘。當BLANK信號為1時(shí)，BT121才進(jìn)行D／A轉換，SYNC信號為1時(shí)才打開(kāi)D／A通道。所以，2個(gè)器件間的同步信號不能直接握手，必須經(jīng)過(guò)一定的邏輯轉換。S-AA7110的同步信號引腳接到CPLD，由CPLD經(jīng)過(guò)一定的邏輯運算后，送出符合BT121同步要求的信號。
4 系統工作方法和優(yōu)化配置
4．1 系統工作方式
系統上電后，DSP從Flash讀入1 K大小的程序數據，該引導程序繼續將其他主程序調入SDRAM中，在以后的運行過(guò)程中，DSP自動(dòng)將運行所需程序從SDRAM裝入片內存儲器。同時(shí)89C5l單片機對SAA7110進(jìn)行初始化。當DSP準備就緒后，通知CPLD開(kāi)始控制向輸入端雙端口RAM寫(xiě)入由S-AA7110采集的視頻圖像數據。輸入緩存的存儲空間分為奇、偶場(chǎng)空間，寫(xiě)滿(mǎn)一場(chǎng)后向DSP發(fā)送中斷信號，DSP收到該中斷信號后以EDMA方式將數據讀入SDRAM等待處理。在DSP讀走和處理該部分數據時(shí)，CPLD繼續控制向輸入緩存的另一部分空間寫(xiě)入下一場(chǎng)采樣數據。當DSP處理完上一場(chǎng)數據后，等待下一場(chǎng)視頻數據的寫(xiě)滿(mǎn)信號。采用雙端口RAM作為系統的輸入輸出緩存，有效地避免了讀寫(xiě)訪(fǎng)問(wèn)沖突和系統總線(xiàn)的沖突，極大提高了系統的執行效率。
4．2 配置L2 Cache和Memory的比例
由于片內RAM與CPU工作在同一時(shí)鐘頻率，比片外RAM性能高得多。C64的兩級緩存機構工作特點(diǎn)為：片內分為兩級存儲結構(L1和L2)，L1不能設置為映射寄存器。L1又分為L(cháng)1P和L1D，L1D指的是第1級的數據緩沖，為128 K字節的兩路成組相連結構緩存。L2是第2級片內緩存，大小為l 024 K(可同時(shí)存儲程序和數據)。L1P和L1D都可以對L2進(jìn)行存取，當L1D或L1P中沒(méi)有運行所需要的數據時(shí)(即產(chǎn)生cache miss時(shí))，首先向L2發(fā)出申請，當L2中也發(fā)生cache miss時(shí)，將申請轉發(fā)給EDMA。申請的轉發(fā)將嚴重影響系統運行效率。所以根據算法數據流特性配置好兩極緩存的大小，預先將待處理的數據讀入，降低cache miss的次數以提高系統實(shí)時(shí)性。
以塊匹配運動(dòng)估計為例，匹配塊32×32 pixel=1 K字節，加上旋轉角度范圍：±7°，步長(cháng)為O．2°，共產(chǎn)生70個(gè)旋轉1 K的小圖像；搜索窗為96×96 pixel=9 K字節，共10 K字節，所有待進(jìn)行運動(dòng)估計的圖像數據為80 K，完全可以讀入L2Cache。這些數據可以用ODMA將數據全部讀入片內L2。而這些數據是從一幀完整的圖像中“扣出”的，所以搬移方式采用2D-1D的方式，QDMA支持這種高效的數據傳輸能方法。
4．3 基于EDMA加快數據傳輸
當使用雙緩沖結構的時(shí)候，EDMA是另一種去除多余CPU開(kāi)銷(xiāo)的重要機制。利用EDMA，可實(shí)現片內存儲器(L2SRAM)、片內外設，以及外部空間之間的數據轉移。合理利用EDMA，還可以提高程序性能，由于圖像處理中的數據對象通常以8 bit為一單位，利用DMA的數據交織功能把來(lái)自圖像不同區域的4個(gè)數據并接為一個(gè)32位數據，大幅度地提高效率。
系統采用“乒乓”結構的數據交換，所以奇場(chǎng)和偶場(chǎng)的起始信號觸發(fā)EDMA通道中斷，雖然傳送數據的源地址相同，但目的地址卻不同。而C64的EDMA控制器提供了一種稱(chēng)為連接(linking)的傳輸機制，可以將不同的傳輸參數組連接起來(lái)，組成一個(gè)傳輸鏈，為同一通道服務(wù)。在鏈中，一個(gè)傳輸結束后，自動(dòng)裝載下一次傳輸所需要的事件參數。根據這個(gè)特點(diǎn)，為每個(gè)EDMA通道配置兩組參數，用連接的方式完成“乒乓”結構的數據讀寫(xiě)。
5 算法程序優(yōu)化
由于圖像處理的數據量大，數據處理相關(guān)性高，并且具有嚴格的幀、場(chǎng)時(shí)間限制，因此如何針對圖像處理的特點(diǎn)對DSP進(jìn)行優(yōu)化編程，充分發(fā)揮其性能就成為提高整個(gè)系統性能的關(guān)鍵。主要在下面方面的優(yōu)化方法提高C代碼的性能：
1)使用內聯(lián)函數 C6000編譯器提供的內聯(lián)函數(intrinsic functions)。內聯(lián)函數是直接映射為內聯(lián)的C6000指令的特殊函數，可以快速優(yōu)化C代碼。
2)使用字訪(fǎng)問(wèn)短型數據 C6000的內聯(lián)函數中的某些指令，如_add2()是對存儲在32位寄存器的高16位和低16位字段進(jìn)行操作。當對一連串短型數據進(jìn)行操作時(shí)，可使用字(整型)一次訪(fǎng)問(wèn)2個(gè)短型數據，減少對內存的訪(fǎng)問(wèn)次數。
3)人工干預軟件流水 流水是用來(lái)安排循環(huán)指令，并使這個(gè)循環(huán)的多次疊代并行執行的一種技術(shù)，通過(guò)線(xiàn)性匯編指令，并行處理數據處理指令。
通過(guò)以上3種方法優(yōu)化，程序執行效率提高70％以上，表1中列出各種算法速度做50次運算的平均值。
實(shí)際上，在程序優(yōu)化方面，還有很多的工作可作。另外，本實(shí)驗室前期開(kāi)發(fā)的基于TMS320C6711型DSP的圖像開(kāi)發(fā)板，工作頻率在200 MHz，優(yōu)化后對256×256大小的圖像進(jìn)行10～13幀／s的圖像穩定，尚不能達到實(shí)時(shí)。而基于TMS320C6416的處理板，不優(yōu)化就能達到18～22幀／s的處理速度，經(jīng)過(guò)簡(jiǎn)單優(yōu)化后，如提前進(jìn)行圖像塊旋轉并讀入片內，展開(kāi)循環(huán)，就能達到30幀／s的實(shí)時(shí)處理?，F已移植的算法包括：基于快速搜索的塊匹配法、灰度級分層法、邊緣匹配法，各種算法都完全能夠進(jìn)行實(shí)時(shí)運行。
6 結論
該系統通過(guò)選用CPLD+DSP，既能保證系統的執行速度，也能保證可靠的邏輯控制。該系統實(shí)現一個(gè)比較完整的圖像采集、傳輸、處理和送顯的硬件實(shí)驗系統，由CPLD對系統的運行邏輯進(jìn)行控制，通過(guò)對編寫(xiě)在DSP上運行的圖像處理程序進(jìn)行優(yōu)化后，能夠實(shí)現大小為512×512像素圖像的實(shí)時(shí)穩定。該穩像系統作為一個(gè)獨立的圖像處理系統，可完成多方面的圖像處理功能，也為其他基于DSP的圖像處理平臺的設計提供了參考.
聯(lián)系客服
