技術文章
智能視覺在現實世界中的應用以及麵臨的挑戰
日期：2018-08-08
來源：J9九游会中国
從計算機到機器人再到人工智能，複製或模仿人類智慧、感知能力和行為的需求激發了多項關鍵技術進步，多年來，讓設備、物體和事物直觀“看到”周圍環境，並進行分析和解讀一直是一個重要的研究課題。
聲音、視覺和壓力等各種傳感器都是從人類的聽覺、視覺和壓力感知能力中獲取靈感。其中，視覺無疑是人類最重要的感知能力之一。視覺讓人類看到周圍環境，並解釋、分析和采取行動。人類視覺係統是一個非常複雜、智能的“機器”，占據了大腦的重要組成部分。大腦中專門用於視覺處理的神經元占皮層麵積近30％。因此，多年來，讓設備、物體和事物直觀“看到”周圍環境，並進行分析和解讀一直是一個重要的研究課題。
以前，技術的複雜性、巨大計算能力要求和高昂成本限製了使用監視攝像頭對安全監視應用的視覺感知能力。然而，今天已經發生了巨大的變化，視覺傳感器的市場已經爆發，攝像頭正被嵌入到任何地方和任何設備、物體和事物中，包括移動的和靜止的。此外，邊緣和雲中可用的計算能力也急劇增加，這引發了嵌入式視覺革命。
價格便宜的傳感器/攝像頭、視覺傳感器分辨率技術的極大進步，再加上處理動態範圍成像和計算能力，促使了嵌入式視覺令人難以置信的增長和多樣化應用。
通過傳統圖像處理和深度學習相結合而實現的視覺智能，在當今互聯嵌入式係統、設備和對象的世界中已經成為可能，它既利用了設備本身的邊緣計算能力，也利用了雲計算能力。
這引發了自動駕駛汽車、無人機、機器人、工業應用、零售、交通運輸、安全和監控、家用電器、醫療/保健、體育和娛樂、消費者增強和虛擬現實、當然還有無處不在智能手機的快速增長。視覺智能是物聯網世界中的一場風暴，而且應用領域也會越來越豐富。
嵌入式視覺的普及，其根源在於內置攝像頭手機的爆炸式增長。在手機革命之前，視頻/攝像頭隻與安全和監視相關。但隨後，內置攝像頭手機出現了，這與邊緣和雲上視頻分析以及智能計算能力的同時大幅增長是一致的。這種結合導致了爆炸式增長，視覺傳感器開始被嵌入到從機器人、無人機到汽車、工業機器、電器等等各個地方。
視覺傳感器有多種類型，但互補金屬氧化物半導體（CMOS）傳感器迄今影響最大，並導致視覺傳感器在各種嵌入式係統和智能手機中的爆炸式增長。
傳感器無處不在，而且數量眾多。今天的自動駕駛汽車有10多個攝像頭、無人機有3到4台攝像頭、到處都有的安全監控攝像頭、手機正在進行的視頻直播等等。來自這些視頻源的視頻數據在雲中流動以獲得進一步智能分析，而實時的邊緣處理則在設備和物體本身進行。
視覺傳感器分辨率、動態範圍和視覺傳感器數量不斷擴大，以及隨著這些傳感器產生大量視頻數據，再加上其傳輸和存儲要求，必然需要強大計算能力。
以前，人們急於將視頻流送到雲中進行實時存儲或視覺分析，雲提供了巨大的計算能力，但即使在壓縮後傳輸所需的帶寬需求也很高。巨大存儲空間、延遲時間以及安全和隱私問題正在讓客戶重新思考雲計算，並開始考慮在設備/對象層考慮視覺分析，然後在雲中進行離線視頻處理。
在現實世界中的視覺應用
視覺和視覺智能市場繼續快速發展，有一些引人注目的技術趨勢正在發生，預計它們將推動多年以來的下一個大規模增長。這裏有幾個例子：
❈3D相機和3D感測：3D相機或更一般的3D感測技術允許場景中深度計算和場景3D地圖的構建。這項技術已經存在一段時間了，在微軟的Kinect等遊戲設備中已經普遍應用，最近在iPhoneX生物特征識別中也有應用。此外，機器人、無人機和帶有3D攝像頭的自動駕駛汽車可以識別物體的形狀和大小，用於導航，繪圖和障礙物探測。同樣，3D相機和立體相機是增強、虛擬和混合現實的支柱。
❈邊緣和雲中的深度學習：基於神經網絡的人工智能已經風靡全球，而今天可用的計算能力又使得深度學習成為可能。還有其他因素促成了神經網絡在實際應用中的增長，包括大學和大型公司用於培訓和尖端研發的大量數據（視頻、照片、文本），以及它們對開放源代碼的貢獻。這反過來又引發了神經網絡的很多實際應用。事實上，對於機器人、自動駕駛汽車和無人機，在邊緣的GPU/SoCs上運行深度學習推理已經成為常態。雲將繼續用於訓練深度學習以及離線存儲數據的視頻處理，隻要網絡延遲和視頻管道延遲被認為是可接受，邊緣和雲之間的分離架構處理也是可能的。
❈同步定位和測繪（SLAM）在汽車、機器人、無人機中的應用：同步定位和測繪（SLAM）是自動駕駛車輛、機器人和無人機的關鍵部件，這些車輛、機器人和無人機配備有各種類型的攝像頭和傳感器，例如雷達、激光雷達、超聲波等。
❈AR/VR與感知計算：想想微軟全息透鏡HaloLink，後麵是什麽？六個帶有深度傳感器組合的攝像頭。微軟甚至宣布在英國劍橋開設全息透鏡計算視覺研究中心。
❈基於手機和嵌入式設備的生物認證：生物認證可以觸發下一代移動應用程序，再次是攝像頭傳感器，結合邊緣和雲上的視頻分析，觸發這一趨勢。隨著技術的成熟，它將擴展到各種嵌入式設備。
❈零售：AmazonGo是一個使用攝像頭和高端視頻分析的例子。很快，我們將在超市裏安裝機器人來幫助人類，所有機器人都配備了多個攝像頭和視覺智能以及其他傳感器。
❈媒體：視頻智能已經在媒體行業中大量使用。視頻分析可讓您在大型視頻文件中搜索特定主題、場景、對象或麵部。
❈體育：實時3D視頻、視頻分析和虛擬現實將使下一代個性化體育和娛樂係統成為可能。
未來、挑戰、動力
對於不斷增長的高分辨率視頻、高動態範圍、高幀率和視頻智能的需求，使得對高計算能力、傳輸帶寬和高存儲容量的需求日益增長，而且很難持續趕上。
一些公司正在采取不同的方式來解決這個問題。比如，生物啟發式視覺傳感器的研究和商業化已經開始出現，這些傳感器響應場景變化並輸出一小串事件而不是一係列圖像，這可能導致視頻數據采集和處理需求大幅降低。
這種方法可以從根本上改變我們獲取和處理視頻的方式，由於處理能力大大降低，它有很大的潛力來降低功耗。
視覺仍將是推動物聯網革命的關鍵傳感器。同樣，邊緣視頻智能將繼續推動SoC和半導體行業繼續使用GPU、專用集成電路（ASIC）、可編程SoC、現場可編程門陣列（FPGA）和數字信號處理（DSP）的視頻加速器路徑。加速分類圖像處理和深度學習，並為開發人員提供可編程空間。
這是現在的競爭要地，各種各樣的大型企業和初創公司都在積極地追逐這個機會。
低功耗嵌入式視覺
隨著視覺傳感器和嵌入式智能技術在數百萬個電池供電裝置中的應用，低功耗嵌入式視覺將是下一個時代整個行業增長的主要因素之一，也是需要解決的關鍵問題之一。
構建具有嵌入式視覺和智能的產品和係統將一定程度上減少隱私和安全問題，因此，盡管麵臨挑戰，物聯網嵌入式視覺的前景依然光明，市場機遇依然巨大，解決這些挑戰將獲得巨大回報。
聲音、視覺和壓力等各種傳感器都是從人類的聽覺、視覺和壓力感知能力中獲取靈感。其中，視覺無疑是人類最重要的感知能力之一。視覺讓人類看到周圍環境，並解釋、分析和采取行動。人類視覺係統是一個非常複雜、智能的“機器”，占據了大腦的重要組成部分。大腦中專門用於視覺處理的神經元占皮層麵積近30％。因此，多年來，讓設備、物體和事物直觀“看到”周圍環境，並進行分析和解讀一直是一個重要的研究課題。
以前，技術的複雜性、巨大計算能力要求和高昂成本限製了使用監視攝像頭對安全監視應用的視覺感知能力。然而，今天已經發生了巨大的變化，視覺傳感器的市場已經爆發，攝像頭正被嵌入到任何地方和任何設備、物體和事物中，包括移動的和靜止的。此外，邊緣和雲中可用的計算能力也急劇增加，這引發了嵌入式視覺革命。
價格便宜的傳感器/攝像頭、視覺傳感器分辨率技術的極大進步，再加上處理動態範圍成像和計算能力，促使了嵌入式視覺令人難以置信的增長和多樣化應用。
通過傳統圖像處理和深度學習相結合而實現的視覺智能，在當今互聯嵌入式係統、設備和對象的世界中已經成為可能，它既利用了設備本身的邊緣計算能力，也利用了雲計算能力。
這引發了自動駕駛汽車、無人機、機器人、工業應用、零售、交通運輸、安全和監控、家用電器、醫療/保健、體育和娛樂、消費者增強和虛擬現實、當然還有無處不在智能手機的快速增長。視覺智能是物聯網世界中的一場風暴，而且應用領域也會越來越豐富。
嵌入式視覺的普及，其根源在於內置攝像頭手機的爆炸式增長。在手機革命之前，視頻/攝像頭隻與安全和監視相關。但隨後，內置攝像頭手機出現了，這與邊緣和雲上視頻分析以及智能計算能力的同時大幅增長是一致的。這種結合導致了爆炸式增長，視覺傳感器開始被嵌入到從機器人、無人機到汽車、工業機器、電器等等各個地方。
視覺傳感器有多種類型，但互補金屬氧化物半導體（CMOS）傳感器迄今影響最大，並導致視覺傳感器在各種嵌入式係統和智能手機中的爆炸式增長。
傳感器無處不在，而且數量眾多。今天的自動駕駛汽車有10多個攝像頭、無人機有3到4台攝像頭、到處都有的安全監控攝像頭、手機正在進行的視頻直播等等。來自這些視頻源的視頻數據在雲中流動以獲得進一步智能分析，而實時的邊緣處理則在設備和物體本身進行。
視覺傳感器分辨率、動態範圍和視覺傳感器數量不斷擴大，以及隨著這些傳感器產生大量視頻數據，再加上其傳輸和存儲要求，必然需要強大計算能力。
以前，人們急於將視頻流送到雲中進行實時存儲或視覺分析，雲提供了巨大的計算能力，但即使在壓縮後傳輸所需的帶寬需求也很高。巨大存儲空間、延遲時間以及安全和隱私問題正在讓客戶重新思考雲計算，並開始考慮在設備/對象層考慮視覺分析，然後在雲中進行離線視頻處理。
在現實世界中的視覺應用
視覺和視覺智能市場繼續快速發展，有一些引人注目的技術趨勢正在發生，預計它們將推動多年以來的下一個大規模增長。這裏有幾個例子：
❈3D相機和3D感測：3D相機或更一般的3D感測技術允許場景中深度計算和場景3D地圖的構建。這項技術已經存在一段時間了，在微軟的Kinect等遊戲設備中已經普遍應用，最近在iPhoneX生物特征識別中也有應用。此外，機器人、無人機和帶有3D攝像頭的自動駕駛汽車可以識別物體的形狀和大小，用於導航，繪圖和障礙物探測。同樣，3D相機和立體相機是增強、虛擬和混合現實的支柱。
❈邊緣和雲中的深度學習：基於神經網絡的人工智能已經風靡全球，而今天可用的計算能力又使得深度學習成為可能。還有其他因素促成了神經網絡在實際應用中的增長，包括大學和大型公司用於培訓和尖端研發的大量數據（視頻、照片、文本），以及它們對開放源代碼的貢獻。這反過來又引發了神經網絡的很多實際應用。事實上，對於機器人、自動駕駛汽車和無人機，在邊緣的GPU/SoCs上運行深度學習推理已經成為常態。雲將繼續用於訓練深度學習以及離線存儲數據的視頻處理，隻要網絡延遲和視頻管道延遲被認為是可接受，邊緣和雲之間的分離架構處理也是可能的。
❈同步定位和測繪（SLAM）在汽車、機器人、無人機中的應用：同步定位和測繪（SLAM）是自動駕駛車輛、機器人和無人機的關鍵部件，這些車輛、機器人和無人機配備有各種類型的攝像頭和傳感器，例如雷達、激光雷達、超聲波等。
❈AR/VR與感知計算：想想微軟全息透鏡HaloLink，後麵是什麽？六個帶有深度傳感器組合的攝像頭。微軟甚至宣布在英國劍橋開設全息透鏡計算視覺研究中心。
❈基於手機和嵌入式設備的生物認證：生物認證可以觸發下一代移動應用程序，再次是攝像頭傳感器，結合邊緣和雲上的視頻分析，觸發這一趨勢。隨著技術的成熟，它將擴展到各種嵌入式設備。
❈零售：AmazonGo是一個使用攝像頭和高端視頻分析的例子。很快，我們將在超市裏安裝機器人來幫助人類，所有機器人都配備了多個攝像頭和視覺智能以及其他傳感器。
❈媒體：視頻智能已經在媒體行業中大量使用。視頻分析可讓您在大型視頻文件中搜索特定主題、場景、對象或麵部。
❈體育：實時3D視頻、視頻分析和虛擬現實將使下一代個性化體育和娛樂係統成為可能。
未來、挑戰、動力
對於不斷增長的高分辨率視頻、高動態範圍、高幀率和視頻智能的需求，使得對高計算能力、傳輸帶寬和高存儲容量的需求日益增長，而且很難持續趕上。
一些公司正在采取不同的方式來解決這個問題。比如，生物啟發式視覺傳感器的研究和商業化已經開始出現，這些傳感器響應場景變化並輸出一小串事件而不是一係列圖像，這可能導致視頻數據采集和處理需求大幅降低。
這種方法可以從根本上改變我們獲取和處理視頻的方式，由於處理能力大大降低，它有很大的潛力來降低功耗。
視覺仍將是推動物聯網革命的關鍵傳感器。同樣，邊緣視頻智能將繼續推動SoC和半導體行業繼續使用GPU、專用集成電路（ASIC）、可編程SoC、現場可編程門陣列（FPGA）和數字信號處理（DSP）的視頻加速器路徑。加速分類圖像處理和深度學習，並為開發人員提供可編程空間。
這是現在的競爭要地，各種各樣的大型企業和初創公司都在積極地追逐這個機會。
低功耗嵌入式視覺
隨著視覺傳感器和嵌入式智能技術在數百萬個電池供電裝置中的應用，低功耗嵌入式視覺將是下一個時代整個行業增長的主要因素之一，也是需要解決的關鍵問題之一。
構建具有嵌入式視覺和智能的產品和係統將一定程度上減少隱私和安全問題，因此，盡管麵臨挑戰，物聯網嵌入式視覺的前景依然光明，市場機遇依然巨大，解決這些挑戰將獲得巨大回報。
