技術文章
智能圖像處理，讓機器視覺及其應用更智能高效
日期：2018-07-06
來源：J9九游会中国
機器視覺(Machine Vision)是人工智能領域中發展迅速的一個重要分支，目前正處於不斷突破、走向成熟的階段。一般認為機器視覺“是通過光學裝置和非接觸傳感器自動地接受和處理一個真實場景的圖像，通過分析圖像獲得所需信息或用於控製機器運動的裝置”，可以看出智能圖像處理技術在機器視覺中占有舉足輕重的位置。
智能圖像處理是指一類基於計算機的自適應於各種應用場合的圖像處理和分析技術，本身是一個獨立的理論和技術領域，但同時又是機器視覺中的一項十分重要的技術支撐。
具有智能圖像處理功能的機器視覺，相當於人們在賦予機器智能的同時為機器按上了眼睛，使機器能夠“看得見”、“看得準”，可替代甚至勝過人眼做測量和判斷，使得機器視覺係統可以實現高分辨率和高速度的控製。而且，機器視覺係統與被檢測對象無接觸，安全可靠。
1.機器視覺技術
機器視覺的起源可追溯到20世紀60年代美國學者L.R.羅伯茲對多麵體積木世界的圖像處理研究，70年代麻省理工學院(MIT)人工智能實驗室“機器視覺”課程的開設。到80年代，全球性機器視覺研究熱潮開始興起，出現了一些基於機器視覺的應用係統。90年代以後，隨著計算機和半導體技術的飛速發展，機器視覺的理論和應用得到進一步發展。
進入21世紀後，機器視覺技術的發展速度更快，已經大規模地應用於多個領域，如智能製造、智能交通、醫療衛生、安防監控等領域。目前，隨著人工智能浪潮的興起，機器視覺技術正處於不斷突破、走向成熟的新階段。
在中國，機器視覺的研究和應用開始於20世紀90年代。從跟蹤國外品牌產品起步，經過二十多年的努力，國內的機器視覺從無到有，從弱到強，不僅理論研究進展迅速，而且已經出現一些頗具競爭力的公司和產品。估計隨著國內對機器視覺研究、開發和推廣的不斷深入，趕上和超越世界水平已不是遙不可及的事情了。
常見機器視覺係統主要可分為兩類，一類是基於計算機的，如工控機或PC，另一類是更加緊湊的嵌入式設備。典型的基於工控機的機器視覺係統主要包括：光學係統，攝像機和工控機(包含圖像采集、圖像處理和分析、控製/通信)等單元。機器視覺係統對核心的圖像處理要求算法準確、快捷和穩定，同時還要求係統的實現成本低，升級換代方便。
2.智能圖像處理技術
機器視覺的圖像處理係統對現場的數字圖像信號按照具體的應用要求進行運算和分析，根據獲得的處理結果來控製現場設備的動作，其常見功能如下：
(1)圖像采集
圖像采集就是從工作現場獲取場景圖像的過程，是機器視覺的第一步，采集工具大多為CCD或CMOS照相機或攝像機。照相機采集的是單幅的圖像，攝像機可以采集連續的現場圖像。就一幅圖像而言，它實際上是三維場景在二維圖像平麵上的投影，圖像中某一點的彩色(亮度和色度)是場景中對應點彩色的反映。這就是我們可以用采集圖像來替代真實場景的根本依據所在。
如果相機是模擬信號輸出，需要將模擬圖像信號數字化後送給計算機(包括嵌入式係統)處理。現在大部分相機都可直接輸出數字圖像信號，可以免除模數轉換這一步驟。不僅如此，現在相機的數字輸出接口也是標準化的，如USB、VGA、1394、HDMI、WiFi、Blue Tooth接口等，可以直接送入計算機進行處理，以免除在圖像輸出和計算機之間加接一塊圖像采集卡的麻煩。後續的圖像處理工作往往是由計算機或嵌入式係統以軟件的方式進行。
(2)圖像預處理
對於采集到的數字化的現場圖像，由於受到設備和環境因素的影響，往往會受到不同程度的幹擾，如噪聲、幾何形變、彩色失調等，都會妨礙接下來的處理環節。為此，必須對采集圖像進行預處理。常見的預處理包括噪聲消除、幾何校正、直方圖均衡等處理。
通常使用時域或頻域濾波的方法來去除圖像中的噪聲；采用幾何變換的辦法來校正圖像的幾何失真；采用直方圖均衡、同態濾波等方法來減輕圖像的彩色偏離。總之，通過這一係列的圖像預處理技術，對采集圖像進行“加工”，為體機器視覺應用提供“更好”、“更有用”的圖像。
(3)圖像分割
圖像分割就是按照應用要求，把圖像分成各具特征的區域，從中提取出感興趣目標。在圖像中常見的特征有灰度、彩色、紋理、邊緣、角點等。例如，對汽車裝配流水線圖像進行分割，分成背景區域和工件區域，提供給後續處理單元對工件安裝部分的處理。
圖像分割多年來一直是圖像處理中的難題，至今已有種類繁多的分割算法，但是效果往往並不理想。近來，人們利用基於神經網絡的深度學習方法進行圖像分割，其性能勝過傳統算法。
(4)目標識別和分類
在製造或安防等行業，機器視覺都離不開對輸入圖像的目標進行識別和分類處理，以便在此基礎上完成後續的判斷和操作。識別和分類技術有很多相同的地方，常常在目標識別完成後，目標的類別也就明確了。近來的圖像識別技術正在跨越傳統方法，形成以神經網絡為主流的智能化圖像識別方法，如卷積神經網絡(CNN)、回歸神經網絡(RNN)等一類性能優越的方法。
(5)目標定位和測量
在智能製造中，最常見的工作就是對目標工件進行安裝，但是在安裝前往往需要先對目標進行定位，安裝後還需對目標進行測量。安裝和測量都需要保持較高的精度和速度，如毫米級精度(甚至更小)，毫秒級速度。這種高精度、高速度的定位和測量，倚靠通常的機械或人工的方法是難以辦到的。在機器視覺中，采用圖像處理的辦法，對安裝現場圖像進行處理，按照目標和圖像之間的複雜映射關係進行處理，從而快速精準地完成定位和測量任務。
(6)目標檢測和跟蹤
圖像處理中的運動目標檢測和跟蹤，就是實時檢測攝像機捕獲的場景圖像中是否有運動目標，並預測它下一步的運動方向和趨勢，即跟蹤。並及時將這些運動數據提交給後續的分析和控製處理，形成相應的控製動作。圖像采集一般使用單個攝像機，如果需要也可以使用兩個攝像機，模仿人的雙目視覺而獲得場景的立體信息，這樣更加有利於目標檢測和跟蹤處理。
3.機器視覺的應用
機器視覺應用廣泛，如安防、製造、教育、出版、醫療、交通、軍事領域等。在這些機器數額的應用中，智能圖像處理都是不可或缺的，這裏僅簡要介紹其中幾個方麵的應用。
(1)智能製造
為了實現中國智能製造2025這一宏偉目標，離不開機器視覺。通過智能圖像識別方式，自動檢測型號是否正確，定位是否準確，完全代替了人工操作，檢測準確率達到100%。此前，每個工位需多人操作，員工不僅很容易疲勞，還時常出現差錯。
(2)教育考試
考試試卷時常發現因排版或印刷錯誤影響學生考試，利用智能圖像處理技術，機器自動對印刷後的試卷和原版試卷進行比對，發現不一致之處，會自動提示並報警，完全替代之前隻能通過人工對試卷進行校驗。
(3)出版印刷
和教育考試類似，專業出版印刷廠由於印刷的圖書、報紙雜誌，以及承接來自企業產品包裝和宣傳資料的種類多，數量大，排版和印刷中經常出錯。為此，需安排不少專業人員進行校對，耗費大量的資金和時間。通過利用智能圖像處理技術進行自動校對，既提高了校對準確度，又縮短了校對時間，降低了印刷成本，縮短了出版物的交付周期。
(4)安防監控
這是當前備受機器視覺關注的一個領域。機器視覺打破了傳統視頻監控係統的限製，增加了係統的智能，使得智能視頻分析得以逐步實現。以公共場所的視頻監控為例，通過運用機器視覺技術，可以實現對可疑人物的自動檢測、人臉識別、實時跟蹤，必要時還可以實現多攝像機接連跟蹤，同時發出告警，存儲現場信息。
(5)智能交通
機器視覺在交通領域有著廣泛的應用。例如，在高速公路上及卡口處，對來往車輛進行車型、牌照等識別，甚至對行駛車輛的違規行為進行識別。在汽車上對駕駛員麵部圖像進行分析，判斷駕駛員是否處於疲勞駕駛狀態。再如，無人駕駛汽車借助於機器視覺技術，使用攝像頭、激光/毫米波/超聲波雷達、GPS等感知道路環境信息，自動規劃和控製車輛的安全行駛。
有數據顯示，2016年全球機器視覺係統的市場規模約46億美元， 2017年約50億美元，預計2018年達到55億美元，年增長率為10%左右。中國機器視覺市場的增長是從2010年開始的，2017年市場規模約68億元，預計到2020年或達780億元，市場增長率將超過100%。
4.技術瓶頸及今後的發展
在機器視覺的智能圖像處理技術的發展中，還存在不少技術瓶頸，如：
1)穩定性：某種處理方法往往在研究和開發中表現良好，但在複雜多變的應用環境中，卻不時地出現問題。例如人臉識別係統，在目標配合時識別率可高達95%以上，但在實際監控環境下，識別率就會大大下降。
2)實時性：如果圖像的采集速度、處理速度較慢，再加上新近引入的深度學習類算法，加大了係統實時處理的難度，跟不上機器運行和控製的節奏。
3)準確性：機器視覺係統要求圖像識別和測量的準確性接近100%，任何微小的誤差都有可能帶來不可預測的後果。例如目標定位的誤差會使裝配出來的設備不符合要求。
4)係統能力：目前的嵌入式圖像處理係統，存在芯片的計算能力不足，存儲空間有限等問題，常常不能滿足運算量較大的圖像處理運算，如神經網絡的迭代運算，大規模矩陣運算等。
今後機器視覺中智能圖像處理的發展主要體現在以下幾個方麵：
1)算法：傳統算法繼續不斷有所突破，新一波人工智能浪潮帶來不少新的性能優良的圖像處理算法，如深度學習(DL)，卷積神經網絡(CNN)，生成對抗網絡(GAN)，等等。
2)實時性：出現更多結構新穎、資源充足、運算快速的硬件平台支撐，例如基於多CPU、多GPU的並行處理結構的計算機，海量存儲單元等。
3)嵌入式：新的高速的信號處理器陣列，超大規模FPGA芯片。
4)融合處理：從單圖像傳感器發展到多傳感器(多視點)的融合處理，可更加充分地獲取現場信息。還可融合多類傳感器，如圖像傳感器、聲音傳感器、溫度傳感器等共同完對現場目標定位、識別和測量。
總之，無論是“中國製造2025”還是“工業4.0”都離不開人工智能，離不開計算機視覺，而智能圖像處理是機器視覺的核心技術，隨著圖像處理水平的不斷提高，一定會有力地推動機器視覺的迅速發展。
智能圖像處理是指一類基於計算機的自適應於各種應用場合的圖像處理和分析技術，本身是一個獨立的理論和技術領域，但同時又是機器視覺中的一項十分重要的技術支撐。
具有智能圖像處理功能的機器視覺，相當於人們在賦予機器智能的同時為機器按上了眼睛，使機器能夠“看得見”、“看得準”，可替代甚至勝過人眼做測量和判斷，使得機器視覺係統可以實現高分辨率和高速度的控製。而且，機器視覺係統與被檢測對象無接觸，安全可靠。
1.機器視覺技術
機器視覺的起源可追溯到20世紀60年代美國學者L.R.羅伯茲對多麵體積木世界的圖像處理研究，70年代麻省理工學院(MIT)人工智能實驗室“機器視覺”課程的開設。到80年代，全球性機器視覺研究熱潮開始興起，出現了一些基於機器視覺的應用係統。90年代以後，隨著計算機和半導體技術的飛速發展，機器視覺的理論和應用得到進一步發展。
進入21世紀後，機器視覺技術的發展速度更快，已經大規模地應用於多個領域，如智能製造、智能交通、醫療衛生、安防監控等領域。目前，隨著人工智能浪潮的興起，機器視覺技術正處於不斷突破、走向成熟的新階段。
在中國，機器視覺的研究和應用開始於20世紀90年代。從跟蹤國外品牌產品起步，經過二十多年的努力，國內的機器視覺從無到有，從弱到強，不僅理論研究進展迅速，而且已經出現一些頗具競爭力的公司和產品。估計隨著國內對機器視覺研究、開發和推廣的不斷深入，趕上和超越世界水平已不是遙不可及的事情了。
常見機器視覺係統主要可分為兩類，一類是基於計算機的，如工控機或PC，另一類是更加緊湊的嵌入式設備。典型的基於工控機的機器視覺係統主要包括：光學係統，攝像機和工控機(包含圖像采集、圖像處理和分析、控製/通信)等單元。機器視覺係統對核心的圖像處理要求算法準確、快捷和穩定，同時還要求係統的實現成本低，升級換代方便。
2.智能圖像處理技術
機器視覺的圖像處理係統對現場的數字圖像信號按照具體的應用要求進行運算和分析，根據獲得的處理結果來控製現場設備的動作，其常見功能如下：
(1)圖像采集
圖像采集就是從工作現場獲取場景圖像的過程，是機器視覺的第一步，采集工具大多為CCD或CMOS照相機或攝像機。照相機采集的是單幅的圖像，攝像機可以采集連續的現場圖像。就一幅圖像而言，它實際上是三維場景在二維圖像平麵上的投影，圖像中某一點的彩色(亮度和色度)是場景中對應點彩色的反映。這就是我們可以用采集圖像來替代真實場景的根本依據所在。
如果相機是模擬信號輸出，需要將模擬圖像信號數字化後送給計算機(包括嵌入式係統)處理。現在大部分相機都可直接輸出數字圖像信號，可以免除模數轉換這一步驟。不僅如此，現在相機的數字輸出接口也是標準化的，如USB、VGA、1394、HDMI、WiFi、Blue Tooth接口等，可以直接送入計算機進行處理，以免除在圖像輸出和計算機之間加接一塊圖像采集卡的麻煩。後續的圖像處理工作往往是由計算機或嵌入式係統以軟件的方式進行。
(2)圖像預處理
對於采集到的數字化的現場圖像，由於受到設備和環境因素的影響，往往會受到不同程度的幹擾，如噪聲、幾何形變、彩色失調等，都會妨礙接下來的處理環節。為此，必須對采集圖像進行預處理。常見的預處理包括噪聲消除、幾何校正、直方圖均衡等處理。
通常使用時域或頻域濾波的方法來去除圖像中的噪聲；采用幾何變換的辦法來校正圖像的幾何失真；采用直方圖均衡、同態濾波等方法來減輕圖像的彩色偏離。總之，通過這一係列的圖像預處理技術，對采集圖像進行“加工”，為體機器視覺應用提供“更好”、“更有用”的圖像。
(3)圖像分割
圖像分割就是按照應用要求，把圖像分成各具特征的區域，從中提取出感興趣目標。在圖像中常見的特征有灰度、彩色、紋理、邊緣、角點等。例如，對汽車裝配流水線圖像進行分割，分成背景區域和工件區域，提供給後續處理單元對工件安裝部分的處理。
圖像分割多年來一直是圖像處理中的難題，至今已有種類繁多的分割算法，但是效果往往並不理想。近來，人們利用基於神經網絡的深度學習方法進行圖像分割，其性能勝過傳統算法。
(4)目標識別和分類
在製造或安防等行業，機器視覺都離不開對輸入圖像的目標進行識別和分類處理，以便在此基礎上完成後續的判斷和操作。識別和分類技術有很多相同的地方，常常在目標識別完成後，目標的類別也就明確了。近來的圖像識別技術正在跨越傳統方法，形成以神經網絡為主流的智能化圖像識別方法，如卷積神經網絡(CNN)、回歸神經網絡(RNN)等一類性能優越的方法。
(5)目標定位和測量
在智能製造中，最常見的工作就是對目標工件進行安裝，但是在安裝前往往需要先對目標進行定位，安裝後還需對目標進行測量。安裝和測量都需要保持較高的精度和速度，如毫米級精度(甚至更小)，毫秒級速度。這種高精度、高速度的定位和測量，倚靠通常的機械或人工的方法是難以辦到的。在機器視覺中，采用圖像處理的辦法，對安裝現場圖像進行處理，按照目標和圖像之間的複雜映射關係進行處理，從而快速精準地完成定位和測量任務。
(6)目標檢測和跟蹤
圖像處理中的運動目標檢測和跟蹤，就是實時檢測攝像機捕獲的場景圖像中是否有運動目標，並預測它下一步的運動方向和趨勢，即跟蹤。並及時將這些運動數據提交給後續的分析和控製處理，形成相應的控製動作。圖像采集一般使用單個攝像機，如果需要也可以使用兩個攝像機，模仿人的雙目視覺而獲得場景的立體信息，這樣更加有利於目標檢測和跟蹤處理。
3.機器視覺的應用
機器視覺應用廣泛，如安防、製造、教育、出版、醫療、交通、軍事領域等。在這些機器數額的應用中，智能圖像處理都是不可或缺的，這裏僅簡要介紹其中幾個方麵的應用。
(1)智能製造
為了實現中國智能製造2025這一宏偉目標，離不開機器視覺。通過智能圖像識別方式，自動檢測型號是否正確，定位是否準確，完全代替了人工操作，檢測準確率達到100%。此前，每個工位需多人操作，員工不僅很容易疲勞，還時常出現差錯。
(2)教育考試
考試試卷時常發現因排版或印刷錯誤影響學生考試，利用智能圖像處理技術，機器自動對印刷後的試卷和原版試卷進行比對，發現不一致之處，會自動提示並報警，完全替代之前隻能通過人工對試卷進行校驗。
(3)出版印刷
和教育考試類似，專業出版印刷廠由於印刷的圖書、報紙雜誌，以及承接來自企業產品包裝和宣傳資料的種類多，數量大，排版和印刷中經常出錯。為此，需安排不少專業人員進行校對，耗費大量的資金和時間。通過利用智能圖像處理技術進行自動校對，既提高了校對準確度，又縮短了校對時間，降低了印刷成本，縮短了出版物的交付周期。
(4)安防監控
這是當前備受機器視覺關注的一個領域。機器視覺打破了傳統視頻監控係統的限製，增加了係統的智能，使得智能視頻分析得以逐步實現。以公共場所的視頻監控為例，通過運用機器視覺技術，可以實現對可疑人物的自動檢測、人臉識別、實時跟蹤，必要時還可以實現多攝像機接連跟蹤，同時發出告警，存儲現場信息。
(5)智能交通
機器視覺在交通領域有著廣泛的應用。例如，在高速公路上及卡口處，對來往車輛進行車型、牌照等識別，甚至對行駛車輛的違規行為進行識別。在汽車上對駕駛員麵部圖像進行分析，判斷駕駛員是否處於疲勞駕駛狀態。再如，無人駕駛汽車借助於機器視覺技術，使用攝像頭、激光/毫米波/超聲波雷達、GPS等感知道路環境信息，自動規劃和控製車輛的安全行駛。
有數據顯示，2016年全球機器視覺係統的市場規模約46億美元， 2017年約50億美元，預計2018年達到55億美元，年增長率為10%左右。中國機器視覺市場的增長是從2010年開始的，2017年市場規模約68億元，預計到2020年或達780億元，市場增長率將超過100%。
4.技術瓶頸及今後的發展
在機器視覺的智能圖像處理技術的發展中，還存在不少技術瓶頸，如：
1)穩定性：某種處理方法往往在研究和開發中表現良好，但在複雜多變的應用環境中，卻不時地出現問題。例如人臉識別係統，在目標配合時識別率可高達95%以上，但在實際監控環境下，識別率就會大大下降。
2)實時性：如果圖像的采集速度、處理速度較慢，再加上新近引入的深度學習類算法，加大了係統實時處理的難度，跟不上機器運行和控製的節奏。
3)準確性：機器視覺係統要求圖像識別和測量的準確性接近100%，任何微小的誤差都有可能帶來不可預測的後果。例如目標定位的誤差會使裝配出來的設備不符合要求。
4)係統能力：目前的嵌入式圖像處理係統，存在芯片的計算能力不足，存儲空間有限等問題，常常不能滿足運算量較大的圖像處理運算，如神經網絡的迭代運算，大規模矩陣運算等。
今後機器視覺中智能圖像處理的發展主要體現在以下幾個方麵：
1)算法：傳統算法繼續不斷有所突破，新一波人工智能浪潮帶來不少新的性能優良的圖像處理算法，如深度學習(DL)，卷積神經網絡(CNN)，生成對抗網絡(GAN)，等等。
2)實時性：出現更多結構新穎、資源充足、運算快速的硬件平台支撐，例如基於多CPU、多GPU的並行處理結構的計算機，海量存儲單元等。
3)嵌入式：新的高速的信號處理器陣列，超大規模FPGA芯片。
4)融合處理：從單圖像傳感器發展到多傳感器(多視點)的融合處理，可更加充分地獲取現場信息。還可融合多類傳感器，如圖像傳感器、聲音傳感器、溫度傳感器等共同完對現場目標定位、識別和測量。
總之，無論是“中國製造2025”還是“工業4.0”都離不開人工智能，離不開計算機視覺，而智能圖像處理是機器視覺的核心技術，隨著圖像處理水平的不斷提高，一定會有力地推動機器視覺的迅速發展。
