摘要：闡述了雙目立體視覺(jué)技術(shù)在國內外應用的最新動(dòng)態(tài)及其優(yōu)越性。指出雙目體視技術(shù)的實(shí)現分為國像獲取、攝像機標定、特片提取、立體匹配和三維重建幾個(gè)步驟，詳細分析了各個(gè)步驟的技術(shù)特點(diǎn)、存在的問(wèn)題和解決方案，并對雙目體視技術(shù)的發(fā)展做了展望。
關(guān)鍵詞：雙目立體視覺(jué)計算機視覺(jué) 立體匹配 攝像機標定 特征提取
雙目立體視覺(jué)是計算機視覺(jué)的一個(gè)重要分支，即由不同位置的兩臺或者一臺攝像機（CCD）經(jīng)過(guò)移動(dòng)或旋轉拍攝同一幅場(chǎng)景，通過(guò)計算空間點(diǎn)在兩幅國像中的視差，獲得該點(diǎn)的三維坐標值。80年代美國麻省理工學(xué)院人工智能實(shí)驗室的Marr提出了一種視覺(jué)計算理論并應用在雙睛匹配上，使兩張有視差的平面圖產(chǎn)生在深度的立體圖形，奠定了雙目立體視覺(jué)發(fā)展理論基礎。相比其他類(lèi)的體視方法，如透鏡板三維成像、投影式三維顯示、全息照相術(shù)等，雙目本視直接模擬人類(lèi)雙眼處理景物的方式，可靠簡(jiǎn)便，在許多領(lǐng)域均極具應用價(jià)值，如微操作系統的位姿檢測與控制、機器人導航與航測、三維測量學(xué)及虛擬現實(shí)等。
1 雙目體視的技術(shù)特點(diǎn)
雙目標視技術(shù)的實(shí)現可分為以下步驟：圖像獲取、攝像機標定、特征提取、圖像匹配和三維重建，下面依次介紹各個(gè)步驟的實(shí)現方法和技術(shù)特點(diǎn)。
1.1 圖像獲取
雙目體視的圖像獲取是由不同位置的兩臺或者一臺攝像機（CCD）經(jīng)過(guò)移動(dòng)或旋轉拍攝同一幅場(chǎng)景，獲取立體圖像對。其針孔模型如圖1。假定攝像機C1與C2的角距和內部參數都相等，兩攝像機的光軸互相平行，二維成像平面X1O1Y1和X2O2Y2重合，P1與P2分別是空間點(diǎn)P在C1與C2上的成像點(diǎn)。但一般情況下，針孔模型兩個(gè)攝像機的內部參數不可能完成相同，攝像機安裝時(shí)無(wú)法看到光軸和成像平面，故實(shí)際中難以應用。
上海交大在理論上對會(huì )攝式雙目體視系統的測量精度與系統結構參數之間的關(guān)系作了詳盡分析，并通過(guò)試驗指出，對某一特定點(diǎn)進(jìn)行三角測量。該點(diǎn)測量誤差與兩CCD光軸夾角是一復雜的函數關(guān)系；若兩攝像頭光軸夾角一定，則被測坐標與攝像頭坐標系之間距離越大，測量得到點(diǎn)距離的誤差就越大。在滿(mǎn)足測量范圍的前提下，應選擇兩CCD之間夾角在50℃～80℃之間。
1.2 攝像機的標定
對雙目體視而言，CCD攝像機、數碼相機是利用計算機技術(shù)對物理世界進(jìn)行重建前的基本測量工具，對它們的標定是實(shí)現立體視覺(jué)基本而又關(guān)鍵的一步。通常先采用單攝像機的標定方法，分別得到兩個(gè)攝像機的內、外參數；再通過(guò)同一世界坐標中的一組定標點(diǎn)來(lái)建立兩個(gè)攝像機之間的位置關(guān)系。目前常用的單攝像機標定方法主要有：
（1）攝影測量學(xué)的傳統設備標定法。利用至少17個(gè)參數描述攝像機與三維物體空間的結束關(guān)系，計算量非常大。
（2）直接線(xiàn)性變換性。涉及的參數少、便于計算。
（3）透視變換短陣法。從透視變換的角度來(lái)建立攝像機的成像模型，無(wú)需初始值，可進(jìn)行實(shí)時(shí)計算。
（4）相機標定的兩步法。首先采用透視短陣變換的方法求解線(xiàn)性系統的攝像機參數，再以求得的參數為初始值，考慮畸變因素，利用最優(yōu)化方法求得非線(xiàn)性解，標定精度較高。
（5）雙平面標定法。
在雙攝像機標定中，需要精確的外部參數。由于結構配置很難準確，兩個(gè)攝像機的距離和視角受到限制，一般都需要至少6個(gè)以上（建議取10個(gè)以上）的已知世界坐標點(diǎn)，才能得到比較滿(mǎn)意的參數矩陣，所以實(shí)際測量過(guò)程不但復雜，而且效果并不一定理想，大大地限制了其應用范圍。此外雙攝像機標定還需考慮鏡頭的非線(xiàn)性校正、測量范圍和精度的問(wèn)題，目前戶(hù)外的應用還有少。
上海大學(xué)通信與信息工程學(xué)院提出了基于神經(jīng)網(wǎng)絡(luò )的雙目立體視覺(jué)攝像機標定方法。首先對攝像機進(jìn)行線(xiàn)性標定，然后通過(guò)網(wǎng)絡(luò )訓練建立起三維空間點(diǎn)位置補償的多層前饋神經(jīng)網(wǎng)絡(luò )模型。此方法對雙目立體視覺(jué)攝像機的標定具有較好的通用性，但是精確測量控制點(diǎn)的世界坐標和圖像坐標是一項嚴格的工作。因此神經(jīng)網(wǎng)絡(luò )中訓練樣本集的獲得非常困難。
1.3 特征點(diǎn)提取
立體像對中需要撮的特征點(diǎn)應滿(mǎn)足以下要求：與傳感器類(lèi)型及抽取特征所用技術(shù)等相適應；具有足夠的魯棒性和一致性。需要說(shuō)明的是：在進(jìn)行特征點(diǎn)像的坐標提取前，需對獲取的圖像進(jìn)行預處理。因為在圖像獲取過(guò)程中，存在一系列的噪聲源，通過(guò)此處理可顯著(zhù)改進(jìn)圖像質(zhì)量，使圖像中特征點(diǎn)更加突出。
1．4 立體匹配
立體匹配是雙目體視中最關(guān)系、困難的一步。與普通的圖像配準不同，立體像對之間的差異是由攝像時(shí)觀(guān)察點(diǎn)的不同引起的，而不是由其它如景物本身的變化、運動(dòng)所引起的。根據匹配基元的不同，立體匹配可分為區域匹配、特征匹配和相位匹配三大類(lèi)。
區域匹配算法的實(shí)質(zhì)是利用局部窗口之間灰度信息的相關(guān)程度，它在變化平緩且細節豐富的地方可以達到較高的精度。但該算法的匹配窗大小難以選擇，通常借助于窗口形狀技術(shù)來(lái)改善視差不連續處的匹配；其次是計算量大、速度慢，采取由粗至精分級匹配策略能大大減少搜索空間的大小，與匹配窗大小無(wú)關(guān)的互相關(guān)運算能顯著(zhù)提高運算速度。
特片匹配不直接依賴(lài)于灰度，具有較強的抗干擾性，計算量小，速度快。但也同樣存一些不足：特征在圖像中的稀疏性決定特征匹配只能得到稀疏的視差場(chǎng)；特征的撮和定位過(guò)程直接影響匹配結果的精確度。改善辦法是將特征匹配的魯棒性和區域匹配的致密性充分結合，利用對高頻噪聲不敏感的模型來(lái)提取和定位特征。
相位匹配是近二十年才發(fā)展起來(lái)的一類(lèi)匹配算法。相位作為匹配基元，本身反映信號的結構信息，對圖像的高頻噪聲有很好的抑制作用，適于并行處理，能獲得亞像素級精度的致密視差。但存在相位奇點(diǎn)和相位卷繞的問(wèn)題，需加入自適應濾波器解決。
1．5 三維重建
在得到空間任一點(diǎn)在兩個(gè)圖像中的對應坐標和兩攝像機參數矩陣的條件下，即可進(jìn)行空間點(diǎn)的重建。通過(guò)建立以該點(diǎn)的世界坐標為未知數的4個(gè)線(xiàn)性方程，可以用最小二乘法求解得該點(diǎn)的世界坐標。實(shí)際重建通常采用外極線(xiàn)結束法?？臻g瞇、兩攝像機的光心這三點(diǎn)組成的平面分別與兩個(gè)成像平面的交線(xiàn)稱(chēng)為該空間點(diǎn)在這兩個(gè)成像平面中的極線(xiàn)。一旦兩攝像機的內外參數確定，就可通過(guò)兩個(gè)成像平面上的極線(xiàn)的約束關(guān)系建立對應點(diǎn)之間的關(guān)系，并由此聯(lián)立方程，求得圖像點(diǎn)的世界坐標值。對圖像的全像素的三維重建目前僅能針對某一具體目標，計算量大且效果不明顯。
2 雙目體視的最新應用
2．1 國外研究動(dòng)態(tài)
雙目體視目前主要應用于四個(gè)領(lǐng)域：機器人導航、微操作系統的參數檢測、三維測量和虛擬現實(shí)。
日本大阪大學(xué)自適應機械系統研究院研制了一種自適應雙目視覺(jué)伺服系統，利用雙目 體視的原理，如每幅圖像中相對靜止的三個(gè)標志為參考，實(shí)時(shí)計算目標圖像的雅可比短陣，從而預測出目標下一步運動(dòng)方向，實(shí)現了對動(dòng)方式未知的目標的自適應跟蹤。該系統僅要求兩幅圖像中都有靜止的參考標志，無(wú)需攝像機參數。而傳統的視覺(jué)跟蹤伺服系統需事先知道攝像機的運動(dòng)、光學(xué)等參數和目標的運動(dòng)方式。
日本奈良科技大學(xué)信息科學(xué)學(xué)院提出了一種基于雙目立體視覺(jué)的增強現實(shí)系統（AR）注冊方法，通過(guò)動(dòng)態(tài)修正特征點(diǎn)的位置提高注冊精度。該系統將單攝像機注冊（MR）與立體視覺(jué)注冊（SR）相結合，利用MR和三個(gè)標志點(diǎn)算出特征點(diǎn)在每個(gè)圖像上的二維坐標和誤差，利用SR和圖像對計算出特征點(diǎn)的三維位置總誤差，反復修正特征點(diǎn)在圖像對上的二維坐標，直至三維總誤差小于某個(gè)閾值。該方法比僅使用MR或SR方法大大提高了AR系統注冊深度和精度。實(shí)驗結果如圖2，白板上三角開(kāi)的三頂點(diǎn)被作為單攝像機標定的特征點(diǎn)，三個(gè)三角形上的模型為虛擬場(chǎng)景，烏龜是真實(shí)場(chǎng)景，可見(jiàn)基本上難以區分出虛擬場(chǎng)景（恐龍）和現實(shí)場(chǎng)景（烏龜）。
日本東京大學(xué)將實(shí)時(shí)雙目立體視覺(jué)和機器人整體姿態(tài)信息集成，開(kāi)發(fā)了仿真機器人動(dòng)態(tài)行長(cháng)導航系統。該系統實(shí)現分兩個(gè)步驟：首先，利用平面分割算法分離所拍攝圖像對中的地面與障礙物，再結合機器人身體姿態(tài)的信息，將圖像從攝像機的二維平面坐標系轉換到描述軀體姿態(tài)的世界坐標系，建立機器人周?chē)鷧^域的地圖；基次根據實(shí)時(shí)建立的地圖進(jìn)行障礙物檢測，從而確定機器人的行走方向。
日本岡山大學(xué)使用立體顯微鏡、兩個(gè)CCD攝像頭、微操作器等研制了使用立體顯微鏡控制微操作器的視覺(jué)反饋系統，用于對細胞進(jìn)行操作，對鐘子進(jìn)行基因注射和微裝配等。
麻省理工學(xué)院計算機系統提出了一種新的用于智能交通工具的傳感器融合方式，由雷達系統提供目標深度的大致范圍，利用雙目立體視覺(jué)提供粗略的目標深度信息，結合改進(jìn)的圖像分割算法，能夠在高速環(huán)境下對視頻圖像中的目標位置進(jìn)行分割，而傳統的目標分割算法難以在高速實(shí)時(shí)環(huán)境中得到令人滿(mǎn)意的結果，系統框圖如圖3。
華盛頓大學(xué)與微軟公司合作為火星衛星“探測者”號研制了寬基線(xiàn)立體視覺(jué)系統，使“探測者”號能夠在火星上對其即將跨越的幾千米內的地形進(jìn)行精確的定位玫導航。系統使用同一個(gè)攝像機在“探測者”的不同位置上拍攝圖像對，拍攝間距越大，基線(xiàn)越寬，能觀(guān)測到越遠的地貌。系統采用非線(xiàn)性?xún)?yōu)化得到兩次拍攝圖像時(shí)攝像機的相對準確的位置，利用魯棒性強的最大似然概率法結合高效的立體搜索進(jìn)行圖像匹配，得到亞像素精度的視差，并根據此視差計算圖像對中各點(diǎn)的三維坐標。相比傳統的體視系統，能夠更精確地繪制“探測者”號周?chē)牡孛埠鸵愿叩木扔^(guān)測到更遠的地形。
2.2 國內研究動(dòng)態(tài)
浙江大學(xué)機械系統完全利用透視成像原理，采用雙目體視方法實(shí)現了對多自由度機械裝置的動(dòng)態(tài)、精確位姿檢測，僅需從兩幅對應圖像中抽取必要的特征點(diǎn)的三維坐標，信息量少，處理速度快，尤其適于動(dòng)態(tài)情況。與手眼系統相比，被測物的運動(dòng)對攝像機沒(méi)有影響，且不需知道被測物的運動(dòng)先驗知識和限制條件，有利于提高檢測精度。
東南大學(xué)電子工程系基于雙目立體視覺(jué)，提出了一種灰度相關(guān)多峰值視差絕對值極小化立體匹配新方法，可對三維不規則物體（偏轉線(xiàn)圈）的三維空間坐標進(jìn)行非接觸精密測量。
哈工大采用異構雙目活動(dòng)視覺(jué)系統實(shí)現了全自主足球機器人導航。將一個(gè)固定攝像機和一個(gè)可以水平旋轉的攝像機，分別安裝在機器人的頂部和中下部，可以同時(shí)監視不同方位視點(diǎn)，體現出比人類(lèi)視覺(jué)優(yōu)越的一面。通過(guò)合理的資源分配及協(xié)調機制，使機器人在視野范圍、測跟精度及處理速度方面達到最佳匹配。雙目協(xié)調技術(shù)可使機器人同時(shí)捕捉多個(gè)有效目標，觀(guān)測相遇目標時(shí)通過(guò)數據融合，也可提高測量精度。在實(shí)際比賽中其他傳感器失效的情況下，僅僅依靠雙目協(xié)調仍然可以實(shí)現全自主足球機器人導航。
火星863計劃課題“人體三維尺寸的非接觸測量”，采用“雙視點(diǎn)投影光柵三維測量”原理，由雙攝像機獲取圖像對，通過(guò)計算機進(jìn)行圖像數據處理，不僅可以獲取服裝設計所需的特征尺寸，還可根據需要獲取人體圖像上任意一點(diǎn)的三維坐標。該系統已通過(guò)中國人民解放軍總后勤部軍需部鑒定?？蛇_到的技術(shù)指標為：數據采集時(shí)間小于5s/人；提供身高、胸圍、腰圍、臀圍等圍度的測量精度不低于1.0cm。
3 雙目體視的發(fā)展方向
就又目立體視覺(jué)技術(shù)的發(fā)展現狀而言，要構造出類(lèi)似于人眼的通用雙目立體視覺(jué)系統，還有很長(cháng)的路要走，進(jìn)一步的研究方向可歸納如下：
（1）如何建立更有效的雙目體視模型，能更充分地反映立體視覺(jué)不確定性的本質(zhì)屬性，為匹配提供更多的約束信息，降低立體匹配的難度。
（2）探索新的適用于全面立體視覺(jué)的計算理論和匹配策略，選擇有效的匹配準則和算法結構，以解決存在灰度失真、幾何畸變（透視、旋轉、縮放等）、噪聲干擾、特殊結構（平坦匹域、重復相似結構等）及遮掩景物的匹配問(wèn)題；
（3）算法向并行化發(fā)展，提高速度，減少運算量，增強系統的實(shí)用性。
（4）強調場(chǎng)景與任務(wù)的結束，針對不同的應用目的，建立有目的和面向任務(wù)的體視系統。
雙目體視這一有著(zhù)廣闊應用前景的學(xué)科，隨著(zhù)光學(xué)、電子學(xué)以及計算機技術(shù)的發(fā)展，將不斷進(jìn)步，逐漸實(shí)用化，不僅將成為工業(yè)檢測、生物醫學(xué)、虛擬現實(shí)等領(lǐng)域的關(guān)鍵技術(shù)，還有可能應用于航天遙測、軍事偵察等領(lǐng)域。目前在國外，雙目體視技術(shù)已廣泛應用于生產(chǎn)、生活中，而我國正處于初始階段，尚需廣大科技工作者共同努力，為其發(fā)展做出貢獻。
文章錄入：admin 責任編輯：admin
