行業新聞
雙目立體視覺的發展
日期：2018-04-23
來源：J9九游会中国
雙目立體視覺這一有著廣闊應用前景的學科，隨著光學，電子學以及計算機技術的發展，將不斷進步，逐漸實用化，不僅將成為工業檢測，生物醫學，虛擬現實等領域。目前在國外，雙目立體視覺技術已廣泛應用於生產，生活中，而我國正處於初始階段，尚需要廣大科技工作者共同努力，為其發展做出貢獻。
1、立體視覺的發展方向
就雙目立體視覺技術的發展現狀而言，要構造出類似於人眼的通用雙目立體視覺係統，還有很長的路要走，進一步的研究方向可歸納如下：
（1）如何建立更有效的雙目立體視覺模型，能更充分地反映立體視覺不去確定性的本質屬性，為匹配提供更多的約束信息，降低立體匹配的難度；
（2）探索新的適用於全麵立體視覺的計算理論和匹配擇有效的匹配準則和算法結構，以解決存在灰度失真，幾何畸變（透視，旋轉，縮放等），噪聲幹擾，特殊結構（平坦區域，重複相似結構等），及遮掩景物的匹配問題；
（3）算法向並行化發展，提高速度，減少運算量，增強係統的實用性；
（4）強調場景與任務的約束，針對不同的應用目的，建立有目的的麵向任務的雙目立體視覺係統。
在機器視覺賴以普及發展的諸多因素中，有技術層麵的，也有商業層麵的，但製造業的需求是決定性的。製造業的發展，帶來了對機器視覺需求的提升；也決定了機器視覺將由過去單純的采集、分析、傳遞數據，判斷動作，逐漸朝著開放性的方向發展，這一趨勢也預示著機器視覺將與自動化更進一步的融合。需求決定產品，隻有滿足需求的產品才有生存的空間，這是不變的規律,機器視覺也是如此。
2、國外研究動態
雙目體視目前主要應用於四個領域：機器人導航、微操作係統的參數檢測、三維測量和虛擬現實。
日本大阪大學自適應機械係統研究院研製了一種自適應雙目視覺伺服係統，利用雙目體視的原理，如每幅圖像中相對靜止的三個標誌為參考，實時計算目標圖像的雅可比短陣，從而預測出目標下一步運動方向，實現了對動方式未知的目標的自適應跟蹤。該係統僅要求兩幅圖像中都有靜止的參考標誌，無需攝像機參數。而傳統的視覺跟蹤伺服係統需事先知道攝像機的運動、光學等參數和目標的運動方式。
日本奈良科技大學信息科學學院提出了一種基於雙目立體視覺的增強現實係統（AR）注冊方法，通過動態修正特征點的位置提高注冊精度。該係統將單攝像機注冊（MR）與立體視覺注冊（SR）相結合，利用MR和三個標誌點算出特征點在每個圖像上的二維坐標和誤差，利用SR和圖像對計算出特征點的三維位置總誤差，反複修正特征點在圖像對上的二維坐標，直至三維總誤差小於某個閾值。該方法比僅使用MR或SR方法大大提高了AR係統注冊深度和精度。實驗結果如圖2，白板上三角開的三頂點被作為單攝像機標定的特征點，三個三角形上的模型為虛擬場景，烏龜是真實場景，可見基本上難以區分出虛擬場景（恐龍）和現實場景（烏龜）。
日本東京大學將實時雙目立體視覺和機器人整體姿態信息集成，開發了仿真機器人動態行長導航係統。該係統實現分兩個步驟：首先，利用平麵分割算法分離所拍攝圖像對中的地麵與障礙物，再結合機器人身體姿態的信息，將圖像從攝像機的二維平麵坐標係轉換到描述軀體姿態的世界坐標係，建立機器人周圍區域的地圖；基次根據實時建立的地圖進行障礙物檢測，從而確定機器人的行走方向。
日本岡山大學使用立體顯微鏡、兩個CCD攝像頭、微操作器等研製了使用立體顯微鏡控製微操作器的視覺反饋係統，用於對細胞進行操作，對鍾子進行基因注射和微裝配等。
麻省理工學院計算機係統提出了一種新的用於智能交通工具的傳感器融合方式，由雷達係統提供目標深度的大致範圍，利用雙目立體視覺提供粗略的目標深度信息，結合改進的圖像分割算法，能夠在高速環境下對視頻圖像中的目標位置進行分割，而傳統的目標分割算法難以在高速實時環境中得到令人滿意的結果。
華盛頓大學與微軟公司合作為火星衛星“探測者”號研製了寬基線立體視覺係統，使“探測者”號能夠在火星上對其即將跨越的幾千米內的地形進行精確的定位玫導航。係統使用同一個攝像機在“探測者”的不同位置上拍攝圖像對，拍攝間距越大，基線越寬，能觀測到越遠的地貌。係統采用非線性優化得到兩次拍攝圖像時攝像機的相對準確的位置，利用魯棒性強的最大似然概率法結合高效的立體搜索進行圖像匹配，得到亞像素精度的視差，並根據此視差計算圖像對中各點的三維坐標。相比傳統的體視係統，能夠更精確地繪製“探測者”號周圍的地貌和以更高的精度觀測到更遠的地形。
3、國內研究動態
浙江大學機械係統完全利用透視成像原理，采用雙目體視方法實現了對多自由度機械裝置的動態、精確位姿檢測，僅需從兩幅對應圖像中抽取必要的特征點的三維坐標，信息量少，處理速度快，尤其適於動態情況。與手眼係統相比，被測物的運動對攝像機沒有影響，且不需知道被測物的運動先驗知識和限製條件，有利於提高檢測精度。
東南大學電子工程係基於雙目立體視覺，提出了一種灰度相關多峰值視差絕對值極小化立體匹配新方法，可對三維不規則物體（偏轉線圈）的三維空間坐標進行非接觸精密測量。
哈工大采用異構雙目活動視覺係統實現了全自主足球機器人導航。將一個固定攝像機和一個可以水平旋轉的攝像機，分別安裝在機器人的頂部和中下部，可以同時監視不同方位視點，體現出比人類視覺優越的一麵。通過合理的資源分配及協調機製，使機器人在視野範圍、測跟精度及處理速度方麵達到最佳匹配。雙目協調技術可使機器人同時捕捉多個有效目標，觀測相遇目標時通過數據融合，也可提高測量精度。在實際比賽中其他傳感器失效的情況下，僅僅依靠雙目協調仍然可以實現全自主足球機器人導航。
火星863計劃課題“人體三維尺寸的非接觸測量”，采用“雙視點投影光柵三維測量”原理，由雙攝像機獲取圖像對，通過計算機進行圖像數據處理，不僅可以獲取服裝設計所需的特征尺寸，還可根據需要獲取人體圖像上任意一點的三維坐標。該係統已通過中國人民解放軍總後勤部軍需部鑒定。可達到的技術指標為：數據采集時間小於5s/人；提供身高、胸圍、腰圍、臀圍等圍度的測量精度不低於1.0cm。
1、立體視覺的發展方向
就雙目立體視覺技術的發展現狀而言，要構造出類似於人眼的通用雙目立體視覺係統，還有很長的路要走，進一步的研究方向可歸納如下：
（1）如何建立更有效的雙目立體視覺模型，能更充分地反映立體視覺不去確定性的本質屬性，為匹配提供更多的約束信息，降低立體匹配的難度；
（2）探索新的適用於全麵立體視覺的計算理論和匹配擇有效的匹配準則和算法結構，以解決存在灰度失真，幾何畸變（透視，旋轉，縮放等），噪聲幹擾，特殊結構（平坦區域，重複相似結構等），及遮掩景物的匹配問題；
（3）算法向並行化發展，提高速度，減少運算量，增強係統的實用性；
（4）強調場景與任務的約束，針對不同的應用目的，建立有目的的麵向任務的雙目立體視覺係統。
在機器視覺賴以普及發展的諸多因素中，有技術層麵的，也有商業層麵的，但製造業的需求是決定性的。製造業的發展，帶來了對機器視覺需求的提升；也決定了機器視覺將由過去單純的采集、分析、傳遞數據，判斷動作，逐漸朝著開放性的方向發展，這一趨勢也預示著機器視覺將與自動化更進一步的融合。需求決定產品，隻有滿足需求的產品才有生存的空間，這是不變的規律,機器視覺也是如此。
2、國外研究動態
雙目體視目前主要應用於四個領域：機器人導航、微操作係統的參數檢測、三維測量和虛擬現實。
日本大阪大學自適應機械係統研究院研製了一種自適應雙目視覺伺服係統，利用雙目體視的原理，如每幅圖像中相對靜止的三個標誌為參考，實時計算目標圖像的雅可比短陣，從而預測出目標下一步運動方向，實現了對動方式未知的目標的自適應跟蹤。該係統僅要求兩幅圖像中都有靜止的參考標誌，無需攝像機參數。而傳統的視覺跟蹤伺服係統需事先知道攝像機的運動、光學等參數和目標的運動方式。
日本奈良科技大學信息科學學院提出了一種基於雙目立體視覺的增強現實係統（AR）注冊方法，通過動態修正特征點的位置提高注冊精度。該係統將單攝像機注冊（MR）與立體視覺注冊（SR）相結合，利用MR和三個標誌點算出特征點在每個圖像上的二維坐標和誤差，利用SR和圖像對計算出特征點的三維位置總誤差，反複修正特征點在圖像對上的二維坐標，直至三維總誤差小於某個閾值。該方法比僅使用MR或SR方法大大提高了AR係統注冊深度和精度。實驗結果如圖2，白板上三角開的三頂點被作為單攝像機標定的特征點，三個三角形上的模型為虛擬場景，烏龜是真實場景，可見基本上難以區分出虛擬場景（恐龍）和現實場景（烏龜）。
日本東京大學將實時雙目立體視覺和機器人整體姿態信息集成，開發了仿真機器人動態行長導航係統。該係統實現分兩個步驟：首先，利用平麵分割算法分離所拍攝圖像對中的地麵與障礙物，再結合機器人身體姿態的信息，將圖像從攝像機的二維平麵坐標係轉換到描述軀體姿態的世界坐標係，建立機器人周圍區域的地圖；基次根據實時建立的地圖進行障礙物檢測，從而確定機器人的行走方向。
日本岡山大學使用立體顯微鏡、兩個CCD攝像頭、微操作器等研製了使用立體顯微鏡控製微操作器的視覺反饋係統，用於對細胞進行操作，對鍾子進行基因注射和微裝配等。
麻省理工學院計算機係統提出了一種新的用於智能交通工具的傳感器融合方式，由雷達係統提供目標深度的大致範圍，利用雙目立體視覺提供粗略的目標深度信息，結合改進的圖像分割算法，能夠在高速環境下對視頻圖像中的目標位置進行分割，而傳統的目標分割算法難以在高速實時環境中得到令人滿意的結果。
華盛頓大學與微軟公司合作為火星衛星“探測者”號研製了寬基線立體視覺係統，使“探測者”號能夠在火星上對其即將跨越的幾千米內的地形進行精確的定位玫導航。係統使用同一個攝像機在“探測者”的不同位置上拍攝圖像對，拍攝間距越大，基線越寬，能觀測到越遠的地貌。係統采用非線性優化得到兩次拍攝圖像時攝像機的相對準確的位置，利用魯棒性強的最大似然概率法結合高效的立體搜索進行圖像匹配，得到亞像素精度的視差，並根據此視差計算圖像對中各點的三維坐標。相比傳統的體視係統，能夠更精確地繪製“探測者”號周圍的地貌和以更高的精度觀測到更遠的地形。
3、國內研究動態
浙江大學機械係統完全利用透視成像原理，采用雙目體視方法實現了對多自由度機械裝置的動態、精確位姿檢測，僅需從兩幅對應圖像中抽取必要的特征點的三維坐標，信息量少，處理速度快，尤其適於動態情況。與手眼係統相比，被測物的運動對攝像機沒有影響，且不需知道被測物的運動先驗知識和限製條件，有利於提高檢測精度。
東南大學電子工程係基於雙目立體視覺，提出了一種灰度相關多峰值視差絕對值極小化立體匹配新方法，可對三維不規則物體（偏轉線圈）的三維空間坐標進行非接觸精密測量。
哈工大采用異構雙目活動視覺係統實現了全自主足球機器人導航。將一個固定攝像機和一個可以水平旋轉的攝像機，分別安裝在機器人的頂部和中下部，可以同時監視不同方位視點，體現出比人類視覺優越的一麵。通過合理的資源分配及協調機製，使機器人在視野範圍、測跟精度及處理速度方麵達到最佳匹配。雙目協調技術可使機器人同時捕捉多個有效目標，觀測相遇目標時通過數據融合，也可提高測量精度。在實際比賽中其他傳感器失效的情況下，僅僅依靠雙目協調仍然可以實現全自主足球機器人導航。
火星863計劃課題“人體三維尺寸的非接觸測量”，采用“雙視點投影光柵三維測量”原理，由雙攝像機獲取圖像對，通過計算機進行圖像數據處理，不僅可以獲取服裝設計所需的特征尺寸，還可根據需要獲取人體圖像上任意一點的三維坐標。該係統已通過中國人民解放軍總後勤部軍需部鑒定。可達到的技術指標為：數據采集時間小於5s/人；提供身高、胸圍、腰圍、臀圍等圍度的測量精度不低於1.0cm。
