技術文章
機器人視覺伺服技術的定義、分類及前景
日期：2017-10-09
來源：J9九游会中国
機器人視覺伺服係統是機器視覺和機器人控製的有機結合，是一個非線性、強耦合的複雜係統，其內容涉及圖象處理、機器人運動學和動力學、控製理論等研究領域。隨著攝像設備性能價格比和計算機信息處理速度的提高，以及有關理論的日益完善，視覺伺服已具備實際應用的技術條件，相關的技術問題也成為當前研究的熱點。
所謂機器視覺，美國製造工程師協會（smesocietyofmanufacturingengineers）機器視覺分會和美國機器人工業協會（riaroboticindustriesassociation）的自動化視覺分會給出的定義是：“機器視覺是通過光學的裝置和非接觸的傳感器自動地接收和處理一個真實物體的圖像，以獲得所需信息或用於控製機器人運動的裝置。”
機器視覺作為與人眼類似的機器仿生係統，從廣義角度凡是通過光學裝置獲取真實物體的信息以及對相關信息的處理與執行都是機器視覺，這就包括了可見視覺以及非可見視覺，甚至包括人類視覺不能直接觀察到的、物體內部信息的獲取與處理等。
視覺伺服的定義：
人類對於外部的信息獲取大部分是通過眼睛獲得的，千百年來人類一直夢想著能夠製造出智能機器，這種智能機器首先具有人眼的功能，可以對外部世界進行認識和理解。人腦中有很多組織參與了視覺信息的處理，因而能夠輕易的處理許多視覺問題，可是視覺認知作為一個過程，人類卻知道的很少，從而造成了對智能機器的夢想一直難以實現。隨著照相機技術的發展和計算機技術的出現，具有視覺功能的智能機器開始被人類製造出來，逐步形成了機器視覺學科和產業。所謂機器視覺，美國製造工程師協會(smesocietyofmanufacturingengineers)機器視覺分會和美國機器人工業協會(riaroboticindustriesassociation)的自動化視覺分會給出的定義是：
“機器視覺是通過光學的裝置和非接觸的傳感器自動地接收和處理一個真實物體的圖像，以獲得所需信息或用於控製機器人運動的裝置。”
機器視覺作為與人眼類似的機器仿生係統，從廣義角度凡是通過光學裝置獲取真實物體的信息以及對相關信息的處理與執行都是機器視覺，這就包括了可見視覺以及非可見視覺，甚至包括人類視覺不能直接觀察到的、物體內部信息的獲取與處理等。
機器人視覺發展曆程
上個世紀60年代，由於機器人和計算機技術的發展，人們開始研究具有視覺功能的機器人。但在這些研究中，機器人的視覺與機器人的動作，嚴格上講是開環的。機器人的視覺係統通過圖像處理，得到目標位姿，然後根據目標位姿，計算出機器運動的位姿，在整個過程中，視覺係統一次性地“提供”信息，然後就不參與過程了。在1973年，有人將視覺係統應用於機器人控製係統，在這一時期把這一過程稱作視覺反饋(visualfeedback)。直到1979年，hill和park提出了“視覺伺服”(visualservo)概念。很明顯，視覺反饋的含義隻是從視覺信息中提取反饋信號，而視覺伺服則是包括了從視覺信號處理，到機器人控製的全過程，所以視覺伺服比視覺反饋能更全麵地反映機器人視覺和控製的有關研究內容。
上個世紀80年以來，隨著計算機技術和攝像設備的發展，機器人視覺伺服係統的技術問題吸引了眾多研究人員的注意。在過去的幾年裏，機器人視覺伺服無論是在理論上還是在應用方麵都取得了很大進展。在許多學術會議上，視覺伺服技術經常列為會議的一個專題。視覺伺服已逐漸發展為跨機器人、自動控製和圖像處理等技術領域的一門獨立技術。
機器人視覺伺服係統分類：
目前，機器人視覺伺服控製係統有以下幾種分類方式：
●按照攝像機的數目的不同，可分為單目視覺伺服係統、雙目視覺伺服係統以及多目視覺伺服係統
單目視覺係統隻能得到二維平麵圖像，無法直接得到目標的深度信息;多目視覺伺服係統可以獲取目標多方向的圖像，得到的信息豐富，但圖像的信息處理量大，且攝像機越多越難以保證係統的穩定性。當前的視覺伺服係統主要采用雙目視覺。
●按照攝像機放置位置的不同，可以分為手眼係統(eyeinhand)和固定攝像機係統(eyetohand或standalone)
在理論上手眼係統能夠實現精確控製，但對係統的標定誤差和機器人運動誤差敏感;固定攝像機係統對機器人的運動學誤差不敏感，但同等情況下得到的目標位姿信息的精度不如手眼係統，所以控製精度相對也低。
●按照機器人的空間位置或圖像特征，視覺伺服係統分為基於位置的視覺伺服係統和基於圖像的視覺伺服係統
在基於位置的視覺伺服係統中，對圖像進行處理後計算出目標相對於攝像機和機器人的位姿，所以這就要求對攝像機、目標和機器人的模型進行校準，校準精度影響控製精度，這是這種方法的難點。控製時將需要變化的位姿轉化成機器人關節轉動的角度，由關節控製器來控製機器人關節轉動。
在基於圖像的視覺伺服係統中，控製誤差信息來自於目標圖像特征與期望圖像特征之間的差異。對於這種控製方法，關鍵的問題是如何建立反映圖像差異變化與機器手位姿速度變化之間關係的圖像雅可比矩陣；另外一個問題是，圖像是二維的，計算圖像雅可比矩陣需要估計目標深度(三維信息)，而深度估計一直是計算機視覺中的難點。
雅可比矩陣的計算方法有公式推導法、標定法、估計方法以及學習方法等，前者可以根據模型推導或標定得到，後者可以在線估計，學習方法主要利用神經網絡方法。
●按照采用閉環關節控製器的機器人，視覺伺服係統分為動態觀察-移動係統和直接視覺伺服
前者采用機器人關節反饋內環穩定機械臂，由圖像處理模塊計算出攝像機應具有的速度或位置增量，反饋至機器人關節控製器；後者則由圖像處理模塊直接計算機器人手臂各關節運動的控製量。
視覺伺服所麵臨的主要問題
視覺伺服的研究到目前已有近20年的曆史，但是由於視覺伺服所涉及的學科眾多，所以其發展有賴於這些學科的發展，目前在視覺伺服的研究中仍然有很多問題沒有很好地解決。
●圖像處理的方法在理論和實際計算處理速度上都是圖像伺服最大的難點；
●在圖像處理完成後，圖像特征與機器人關節運動之間模型的建立是圖像伺服的另一難點；
●目前的許多控製方法都不能保證係統在工作時是大範圍穩定的，所以對有關控製方法的研究也是必要的。
視覺伺服的發展前景
未來視覺伺服的研究方向主要有以下幾方麵：
●在實際環境下快速、魯棒地獲取圖像特征是視覺伺服係統的關鍵問題
由於圖像處理的信息量大和可編程器件技術的發展，近期把通用算法硬件化，以加快信息處理的速度的方法可能會使這一問題的研究取得進展。
●建立適合機器人視覺係統的有關理論和軟件
目前的許多機器人視覺伺服係統的圖像處理方法都不是針對機器人視覺係統的，如果有這樣的專用的軟件平台，在完成視覺伺服任務時，就可以減少工作量，甚至可以通過視覺信息處理硬件化來提高視覺伺服係統的性能。
●將各種人工智能方法應用於機器人視覺伺服係統
雖然神經網絡在機器人視覺伺服中已得到應用，但許多智能方法在機器人視覺伺服係統中還沒有得到充分地應用，而且，目前研究有過於依賴數學建模和數學計算的傾向，這使得機器人視覺伺服係統在工作時計算量太大，目前計算機的處理速度很難滿足係統快速性的要求，但是人類在實現有關的功能時並不是通過大量的計算來完成的，這就啟發大家是否可以用人工智能的方法降低數學計算量，以滿足係統快速性的要求。
●將主動視覺技術應用於機器人視覺伺服係統
主動視覺是當今計算機視覺和機器視覺研究領域中的一個熱點，在這裏視覺係統能主動地感知環境，按一定規則主動地提取需要的圖像特征，這使得在一般情況下難以解決的問題得以解決。
●將視覺傳感器與其它外部傳感器結合起來
為了使機器人能夠更全麵地感知環境，特別是對機器人視覺係統起信息補充，可以將多種傳感器加入機器人視覺係統，這樣做可以克服機器人視覺係統的一些困難，但多傳感器的引入，就需要解決機器人視覺係統的信息融合和信息冗餘問題。
結語
近年來，機器人視覺伺服技術有了很大發展，國內、外機器人視覺係統的實際應用也越來越多，許多技術難題都有希望在近期的研究中取得進展。在未來一段時間內，機器人視覺伺服係統將在機器人技術中占有突出的地位，機器人視覺伺服係統將會越來越多地應用於工業生產中。
所謂機器視覺，美國製造工程師協會（smesocietyofmanufacturingengineers）機器視覺分會和美國機器人工業協會（riaroboticindustriesassociation）的自動化視覺分會給出的定義是：“機器視覺是通過光學的裝置和非接觸的傳感器自動地接收和處理一個真實物體的圖像，以獲得所需信息或用於控製機器人運動的裝置。”
機器視覺作為與人眼類似的機器仿生係統，從廣義角度凡是通過光學裝置獲取真實物體的信息以及對相關信息的處理與執行都是機器視覺，這就包括了可見視覺以及非可見視覺，甚至包括人類視覺不能直接觀察到的、物體內部信息的獲取與處理等。
視覺伺服的定義：
人類對於外部的信息獲取大部分是通過眼睛獲得的，千百年來人類一直夢想著能夠製造出智能機器，這種智能機器首先具有人眼的功能，可以對外部世界進行認識和理解。人腦中有很多組織參與了視覺信息的處理，因而能夠輕易的處理許多視覺問題，可是視覺認知作為一個過程，人類卻知道的很少，從而造成了對智能機器的夢想一直難以實現。隨著照相機技術的發展和計算機技術的出現，具有視覺功能的智能機器開始被人類製造出來，逐步形成了機器視覺學科和產業。所謂機器視覺，美國製造工程師協會(smesocietyofmanufacturingengineers)機器視覺分會和美國機器人工業協會(riaroboticindustriesassociation)的自動化視覺分會給出的定義是：
“機器視覺是通過光學的裝置和非接觸的傳感器自動地接收和處理一個真實物體的圖像，以獲得所需信息或用於控製機器人運動的裝置。”
機器視覺作為與人眼類似的機器仿生係統，從廣義角度凡是通過光學裝置獲取真實物體的信息以及對相關信息的處理與執行都是機器視覺，這就包括了可見視覺以及非可見視覺，甚至包括人類視覺不能直接觀察到的、物體內部信息的獲取與處理等。
機器人視覺發展曆程
上個世紀60年代，由於機器人和計算機技術的發展，人們開始研究具有視覺功能的機器人。但在這些研究中，機器人的視覺與機器人的動作，嚴格上講是開環的。機器人的視覺係統通過圖像處理，得到目標位姿，然後根據目標位姿，計算出機器運動的位姿，在整個過程中，視覺係統一次性地“提供”信息，然後就不參與過程了。在1973年，有人將視覺係統應用於機器人控製係統，在這一時期把這一過程稱作視覺反饋(visualfeedback)。直到1979年，hill和park提出了“視覺伺服”(visualservo)概念。很明顯，視覺反饋的含義隻是從視覺信息中提取反饋信號，而視覺伺服則是包括了從視覺信號處理，到機器人控製的全過程，所以視覺伺服比視覺反饋能更全麵地反映機器人視覺和控製的有關研究內容。
上個世紀80年以來，隨著計算機技術和攝像設備的發展，機器人視覺伺服係統的技術問題吸引了眾多研究人員的注意。在過去的幾年裏，機器人視覺伺服無論是在理論上還是在應用方麵都取得了很大進展。在許多學術會議上，視覺伺服技術經常列為會議的一個專題。視覺伺服已逐漸發展為跨機器人、自動控製和圖像處理等技術領域的一門獨立技術。
機器人視覺伺服係統分類：
目前，機器人視覺伺服控製係統有以下幾種分類方式：
●按照攝像機的數目的不同，可分為單目視覺伺服係統、雙目視覺伺服係統以及多目視覺伺服係統
單目視覺係統隻能得到二維平麵圖像，無法直接得到目標的深度信息;多目視覺伺服係統可以獲取目標多方向的圖像，得到的信息豐富，但圖像的信息處理量大，且攝像機越多越難以保證係統的穩定性。當前的視覺伺服係統主要采用雙目視覺。
●按照攝像機放置位置的不同，可以分為手眼係統(eyeinhand)和固定攝像機係統(eyetohand或standalone)
在理論上手眼係統能夠實現精確控製，但對係統的標定誤差和機器人運動誤差敏感;固定攝像機係統對機器人的運動學誤差不敏感，但同等情況下得到的目標位姿信息的精度不如手眼係統，所以控製精度相對也低。
●按照機器人的空間位置或圖像特征，視覺伺服係統分為基於位置的視覺伺服係統和基於圖像的視覺伺服係統
在基於位置的視覺伺服係統中，對圖像進行處理後計算出目標相對於攝像機和機器人的位姿，所以這就要求對攝像機、目標和機器人的模型進行校準，校準精度影響控製精度，這是這種方法的難點。控製時將需要變化的位姿轉化成機器人關節轉動的角度，由關節控製器來控製機器人關節轉動。
在基於圖像的視覺伺服係統中，控製誤差信息來自於目標圖像特征與期望圖像特征之間的差異。對於這種控製方法，關鍵的問題是如何建立反映圖像差異變化與機器手位姿速度變化之間關係的圖像雅可比矩陣；另外一個問題是，圖像是二維的，計算圖像雅可比矩陣需要估計目標深度(三維信息)，而深度估計一直是計算機視覺中的難點。
雅可比矩陣的計算方法有公式推導法、標定法、估計方法以及學習方法等，前者可以根據模型推導或標定得到，後者可以在線估計，學習方法主要利用神經網絡方法。
●按照采用閉環關節控製器的機器人，視覺伺服係統分為動態觀察-移動係統和直接視覺伺服
前者采用機器人關節反饋內環穩定機械臂，由圖像處理模塊計算出攝像機應具有的速度或位置增量，反饋至機器人關節控製器；後者則由圖像處理模塊直接計算機器人手臂各關節運動的控製量。
視覺伺服所麵臨的主要問題
視覺伺服的研究到目前已有近20年的曆史，但是由於視覺伺服所涉及的學科眾多，所以其發展有賴於這些學科的發展，目前在視覺伺服的研究中仍然有很多問題沒有很好地解決。
●圖像處理的方法在理論和實際計算處理速度上都是圖像伺服最大的難點；
●在圖像處理完成後，圖像特征與機器人關節運動之間模型的建立是圖像伺服的另一難點；
●目前的許多控製方法都不能保證係統在工作時是大範圍穩定的，所以對有關控製方法的研究也是必要的。
視覺伺服的發展前景
未來視覺伺服的研究方向主要有以下幾方麵：
●在實際環境下快速、魯棒地獲取圖像特征是視覺伺服係統的關鍵問題
由於圖像處理的信息量大和可編程器件技術的發展，近期把通用算法硬件化，以加快信息處理的速度的方法可能會使這一問題的研究取得進展。
●建立適合機器人視覺係統的有關理論和軟件
目前的許多機器人視覺伺服係統的圖像處理方法都不是針對機器人視覺係統的，如果有這樣的專用的軟件平台，在完成視覺伺服任務時，就可以減少工作量，甚至可以通過視覺信息處理硬件化來提高視覺伺服係統的性能。
●將各種人工智能方法應用於機器人視覺伺服係統
雖然神經網絡在機器人視覺伺服中已得到應用，但許多智能方法在機器人視覺伺服係統中還沒有得到充分地應用，而且，目前研究有過於依賴數學建模和數學計算的傾向，這使得機器人視覺伺服係統在工作時計算量太大，目前計算機的處理速度很難滿足係統快速性的要求，但是人類在實現有關的功能時並不是通過大量的計算來完成的，這就啟發大家是否可以用人工智能的方法降低數學計算量，以滿足係統快速性的要求。
●將主動視覺技術應用於機器人視覺伺服係統
主動視覺是當今計算機視覺和機器視覺研究領域中的一個熱點，在這裏視覺係統能主動地感知環境，按一定規則主動地提取需要的圖像特征，這使得在一般情況下難以解決的問題得以解決。
●將視覺傳感器與其它外部傳感器結合起來
為了使機器人能夠更全麵地感知環境，特別是對機器人視覺係統起信息補充，可以將多種傳感器加入機器人視覺係統，這樣做可以克服機器人視覺係統的一些困難，但多傳感器的引入，就需要解決機器人視覺係統的信息融合和信息冗餘問題。
結語
近年來，機器人視覺伺服技術有了很大發展，國內、外機器人視覺係統的實際應用也越來越多，許多技術難題都有希望在近期的研究中取得進展。在未來一段時間內，機器人視覺伺服係統將在機器人技術中占有突出的地位，機器人視覺伺服係統將會越來越多地應用於工業生產中。
