CN / EN
banner圖
掌握核心技術 駕馭光的運用

技術文章

機器視覺在汽車駕駛輔助係統中的應用

日期:2018-09-26 來源:J9九游会中国
        隨著我國汽車工業的快速發展,機動車的保有量逐年攀升,道路交通事故對人類生命和財產安全造成的重大危害也不斷凸顯。世界衛生組織發布的《道路安全全球現狀報告2013》中指出,全世界每年約有124萬人死於道路交通,道路交通傷害是全球第8大死因之一。
        為了改善道路交通安全狀況,國內外眾多的科研機構、汽車企業均投入大量精力在汽車安全防護係統的研究和開發領域。研發內容從最早的機械和電子裝置,發展到今時今日關注的熱點——先進輔助駕駛係統(ADAS)。
        以ADAS為代表的係統在硬件上應用了多種傳感器,如超聲波傳感器、視覺傳感器、雷達、GPS等,在行車過程中感知車輛自身狀態及環境變化,采集車輛數據和環境數據,依據這些數據,進行交通場景識別、交通事件預測,並給出相應的駕駛建議和應急措施,輔助駕駛人員進行決策,避免交通事故發生,減少事故造成的傷害。
        在實際駕駛過程中,駕駛員獲取絕大部分信息均來自於視覺,比如:路麵狀況、交通標誌、標線和信號、障礙物等,研究表明大約有90%的環境信息來自於視覺,如果能很好地利用視覺傳感器理解路麵環境,對實現車輛智能化是一個很好的選擇。基於視覺導航的交通標誌檢測、道路檢測、行人檢測和障礙物檢測的車輛駕駛輔助係統,可以降低駕駛員的勞動強度,提高行駛安全性,減少交通事故。
        駕駛輔助係統在為駕駛員提供決策建議的過程中,使用了大量的視覺信息數據,在這方麵視覺圖像具有無法比擬的優勢:
        視覺圖像包含的信息量大,例如可視範圍內物體的距離信息、物體形狀、紋理和顏色等;
        視覺信息的獲取是非接觸的,不會破壞路麵和周圍環境,也不需要對現有道路設施進行大範圍的配套修建;
        一次視覺圖像的獲取,可同時實現道路檢測、交通標誌檢測、障礙物檢測等多項工作;
        視覺信息的獲取過程中不會出現車輛相互幹擾的情況。
        綜上所述,智能車輛機器視覺技術在智能交通、汽車安全輔助駕駛、車輛的自動駕駛等方麵有著廣泛的應用前景。
        1、機器視覺在先進輔助駕駛係統中的應用
        目前,視覺傳感器及機器視覺技術被廣泛應用到了各類先進輔助駕駛係統中。其中,行車環境的感知是基於機器視覺的先進輔助駕駛係統的重要組成部分之一。
        行車環境的感知主要是依靠視覺技術感知車輛行駛時的道路信息、路況信息和駕駛員狀態,為輔助駕駛係統提供決策所必需的基礎數據。其中,
        道路信息主要是指車外的靜態信息,包括:車道線、道路邊沿、交通指示標誌和信號燈等;
        路況信息主要是指車外的動態信息,包括:行車前方障礙物、行人、車輛等;
        駕駛員狀態屬於車內信息,主要包括:駕駛員的疲勞、異常駕駛行為等,通過提醒駕駛員可能發生的不安全行為,避免車輛發生安全事故。
        借助機器視覺技術對行車環境進行感知,可獲取各種車內、外的靜態信息和動態信息,幫助輔助駕駛係統做出決策判斷。
        根據上述分類,可知目前應用較多的基於機器視覺的先進輔助駕駛係統的關鍵技術包括:車道線檢測技術、交通標誌識別技術、車輛識別技術、行人檢測技術和駕駛員狀態檢測技術等。
        1.1車道線檢測技術
        目前已有的車道線檢測技術研究成果中,主要涉及設備和算法兩個方麵。車道線檢測技術的數據采集基於不同的傳感器設備,例如激光雷達、立體視覺、單目視覺等。對采集到的信息,需要匹配適合的算法,例如基於模型的方法和基於特征的方法進行計算和決策。
        激光雷達的機器視覺原理是通過不同的顏色或材質有不同反射率的特點進行道路識別;
        立體視覺與激光雷達相比精確性高,但實現圖像匹配難度大,設備成本較高,且由於算法複雜,導致了實時性較差;
        單目視覺在應用中主要通過基於特征、模型、融合和機器學習的方法實現,是目前進行車道線識別最主流的方法。
        基於特征的算法首先進行圖像特征提取,比如邊緣信息。利用這些特征信息,按照預定規則獲得車道線標記。例如Lee等人在2002年就提出了一種基於特征的車道線檢測方法,他們使用邊緣分布函數來統計全局的梯度角累積分化找出最大的累積量,結合左右車道線的對稱特性,確定出車道線的位置。此類算法的主要優點在於其對車道線的形狀不敏感,在噪聲幹擾較強的情況下(如陰影、標誌線磨損等)仍具有較好的魯棒性,能較為可靠地檢測出車道線的直線模型。
        Lopez等人於2010年提出使用圖像的「脊峰」替代圖像邊緣信息提取車道線特征數據的方法。「脊峰」可以反映圖像鄰域像素點的匯聚程度,在車道線標誌線區域中,它的表示形態是在車道線中間的具有局部極大值的明亮區域。與圖像邊緣相比較,「脊峰」更加適合應用於車道線檢測的應用場合。
        基於模型的車道線識別方法是運用數學的思維建立道路模型,分析圖像信息獲取參數,從而完成車道線檢測。ShengyanZhou等提出了一種基於Gabor濾波器與幾何模型的車道線識別方法。在智能車前方存在車道標示線的前提下,可以用車道線原點、寬度、曲率、起始位置這4個參數對其進行描述。先對攝像機進行預標定,在計算完模型參數後篩選出若幹車道線模型。算法通過局部Hough變換和區域定位估算所需參數,確定最終使用模型並完成與實際車道線的匹配。
        一般來講,基於模型的車道線識別方法主要分為簡單的直線模型和較為複雜的模型(如二次曲線和樣條曲線),實際應用中需要根據具體的使用場合和道路特點選擇不同的方法。例如大多數的車道偏離預警係統均采用簡單的直線模型來刻畫車道線;而需要靈活擬合車道線的場合下,如車道線預估與跟蹤問題,則通常使用較複雜的模型算法。
        1.2交通標誌識別技術
        交通標誌識別可提示駕駛員道路環境中的交通標誌,幫助駕駛員做出正確決策,提高駕駛安全性。交通標誌通常都具有較明顯的視覺特征,如顏色、形狀等,利用此類視覺特征可以檢測出不同交通標誌,在交通標誌檢測方法研究的相關文獻中,顏色特征和形狀特征相結合的相關檢測方法較為廣泛。但由於實際情況下,交通標誌的圖像采集數據的質量可能會受到光照、天氣變化等影響;同時,交通標誌被遮擋、扭曲、磨損等,也會影響算法準確性。
        目前交通標誌識別技術的實現方法,大部分都是通過設定顏色分量的閾值範圍實現圖像分割,從複雜的背景區域中得到感興趣區域(ROI),然後在感興趣區域上進行形狀的過濾,從而檢測出交通標誌的所在區域。常見的算法有直接彩色閾值分割算法,直接在RGB顏色空間對圖像所有像素進行分割,通過角點檢測確定目標區域是否有交通標誌,該算法對光照影響和遮擋問題的解決效果不佳,因此許多學者都對該算法進行了改進,常用的是將RGB圖像轉化到HSV、HIS等更符合人類對顏色的視覺理解的顏色模型下再進行圖像分割和提取,有效地克服了交通標誌的光照影響和遮擋難題。
        交通標誌識別技術最具代表性的應用是在智能交通係統(ITS)之中。2010年,美國馬薩諸塞州大學研製的TSR係統,該識別係統采用顏色閾值分割算法和主成分分析方法進行目標檢測與識別,係統的識別準確率高達99.2%,針對輕微目標遮擋以及能見度較低的天氣情況,該算法都能取得不錯效果,具有一定的魯棒性和適用性,處理速度為每幀2.5s,係統的主要不足就是難以滿足實時性要求。
        2011年德國舉辦了交通標誌識別大賽(IJCNN2011),促進了交通標誌檢測和識別研究的快速發展。2011年,Ciresan等人在IJCNN大賽上對GTSRB數據庫采用深度卷積神經網絡的識別方法,獲得了比人類平均識別率更高的結果。
        2012年,Greenhalghd等人在歸一化的RGB空間中選取R和B通道的最大值以及結合RGB圖像提取MSER區域並利用SVM進行交通標誌判斷,該方法有較好的實時性。2013年KimJ.B.認為顏色形狀容易受周圍環境影響,增加了視覺顯著性模型進行交通標誌檢測並具有較高的實時性。
        1.3車輛識別技術
        在車輛識別技術方麵,目前許多專家學者都在研究多傳感器融合技術。這是由於單一的傳感器在複雜的交通環境下檢測車輛的難度加大,且不同車輛具有各自不同的外形、大小和顏色,在物體之間的遮擋、雜亂且動態變化的背景下,多傳感器融合可以達到作用互補的效果,是車輛識別技術的發展趨勢。
        雷達在檢測車輛前方障礙物的位置、速度、深度等信息方麵具有明顯優勢,種類主要包括激光雷達、毫米雷達、微波雷達,其中激光雷達又可分為單線、四線及多線。基於車載攝像頭的視覺信息,可以對外部環境進行立體視覺或單目視覺的檢測。立體視覺檢測的目的在於獲取障礙物的深度信息,但在實際應用中,較大的計算量難以保證高速行駛中的實時性,且由於車輛顛簸等影響,雙目或多目攝像頭的標定參數往往會有較大偏差,產生較多的誤檢及漏檢情況。單目視覺在實時性方麵擁有較大優勢,是目前最常用的檢測方法,主要包括:基於先驗知識的檢測方法、基於運動的檢測方法、基於統計學習的檢測方法。
        基於先驗知識的檢測方法:提取車輛的某些特征作為先驗知識,原理與車道檢測技術中基於特征的檢測算法類似,經常作為先驗知識的車輛特征包括:車輛的對稱性、顏色、陰影、邊緣特征、紋理特征等信息。該方法在圖像空間中進行搜索,找到與先驗知識模型匹配的區域,即可能存在車輛的區域(ROI)。對於確定出的ROI區域通常還會采用機器學習的方法進一步確認。
        基於運動的檢測方法:由於在不同的實際環境中物體運動時產生的圖像信息不同,基於此特點,通常需要對多幅差異較大的圖像進行處理,積累足夠的信息後對運動物體進行識別,實現對障礙物的檢測。但此方法由於計算量大的局限,實際應用中實時性欠佳。基於運動的檢測方法中,主要是光流法,該方法是機器視覺和模式識別中檢測運動物體常用的方法之一,它利用了同一平麵內運動物體的圖像像素序列灰度分布的變化,建立坐標係檢測並獲取障礙物位置。
        基於統計學習的檢測方法:首先需要采集足夠多的前方車輛樣本,樣本需涵蓋不同的環境、天氣、遠近等情況。在訓練樣本數據的過程中,一般采用神經網絡、Haar小波等方法。訓練完成後,便可應用於要實現的具體功能上。
        1.4行人檢測技術
        行人檢測技術與現行的智能駕駛輔助技術相比具有一定的特殊性,主要體現在行人兼具剛性和柔性物體的特性,對行人的檢測易受到行人自身行為、穿著、姿態等因素的影響。行人檢測技術,即從傳感器采集到的圖像中提取行人位置,對行人運動行為進行判斷的方法,通過提取視頻中運動目標區域的信息,使用背景減除法、光流法、幀差法等,結合人體形態、膚色等特征判斷。在獲取的靜態圖片中,使用的方法主要有模板匹配方法,基於形狀檢測方法,基於機器學習的檢測方法。由於前兩種方法存在明顯缺點,近年來實際應用較少,本文著重介紹基於機器學習的檢測方法的發展現狀。
        基於機器學習的行人檢測方法的性能提升主要依賴行人特征描述以及分類器的訓練。特征描述的複雜程度又影響了檢測方法的實時性,HOG是目前廣泛使用的行人特征描述方法,另外Haar、LBP及其改進方法也是行人特征描述的常用方法。機器學習的分類器涉及到行人檢測的檢測率,神經網絡、支持向量機和Boosting方法是常見的機器學習分類器。
        許多行人檢測技術的算法都是以上述方法及其改進方法的基礎上進行研究,從而在不同方麵優化了行人檢測技術。以HOG與線性向量機(SVM)結合為例,HOG刻畫了圖像的局部梯度幅值和方向特征,基於梯度特征、對塊的特征向量進行歸一化處理、允許塊之間相互重疊,因此對光照變化和小量的偏移並不敏感,能有效地刻畫出人體的邊緣特征。HOG特征和SVM在場景簡單的MIT行人數據庫測試中,該組合檢測率近乎100%。
        1.5駕駛員狀態檢測技術
        早期駕駛員狀態檢測的方法主要是基於車輛運行狀態的檢測方法,包括車道偏離報警、轉向盤檢測等,此類方法對駕駛員本身特征敏感度不高,容易因環境因素誤判,因此在近年來的研究中很少單一使用。本文將分別介紹基於駕駛員麵部特征的檢測技術,以及該技術與多傳感器融合的駕駛員狀態檢測技術。
        目前在基於駕駛員麵部特征的檢測技術中比較常用的是駕駛員的頭部特征,駕駛員頭部的可視化特征可集中反映駕駛員的精神狀態,比如眼睛的眨動狀態和頻率、嘴部運動特征、頭部姿勢等,這些特征都可通過攝像頭采集,不會對駕駛員正常駕駛產生影響,這種非接觸式的方法也逐漸成為此類技術的主流方法。
        FaceLAB是基於眼部特征的駕駛員狀態檢測技術的代表,該技術通過檢測駕駛員頭部姿態、眼瞼運動、凝視方向、瞳孔直徑等特征參量,進行多特征信息融合,實現對駕駛員疲勞狀態的實時檢測,係統采用眼睛睜閉和注視方向檢測方法,解決了在暗光照、頭部運動和駕駛員佩戴眼鏡條件下的視線跟蹤問題。2008年,最新版的FaeeLAB0v4係統采用領先的紅外光主動照明技術,進一步增強了視線檢測的準確度和精度,且能獨立地跟蹤每一隻眼睛。
        基於駕駛員麵部特征與多傳感器融合的檢測技術,其主要代表是歐盟名為「AWAKE」的項目研究,該項目利用圖像、壓力等多種傳感器,通過對駕駛員眼瞼運動、視線方向、轉向盤握緊力等駕駛狀態,及車道跟蹤、周邊車距檢測、油門加速度計和製動器的使用等的分析,將駕駛員的疲勞程度劃分為清醒、可能疲勞和疲勞3種狀態,對駕駛員狀態進行較為全麵的檢測和綜合評價。
        該項目的駕駛員報警係統,由聲音、視覺、觸覺報警器組成,當檢測到疲勞發生時,可根據疲勞程度的不同,通過強弱不同的聲光刺激和安全帶抖動來提高駕駛員的警覺性。在此研究基礎上,日產公司研製出一種報警係統,當該係統判斷駕駛員處於疲勞駕駛狀態時,電子報警器就會鳴響,並向駕駛室噴放一種含有薄荷和檸檬等醒腦物質的香氣,及時消除司機睡意,如果駕駛員疲勞狀態得不到改善,該係統會使用聲光報警,並且自動停車。
        2、結語
        汽車技術的發展進入了智能化時代,機器視覺在眾多汽車駕駛輔助技術中均有應用,機器視覺領域的技術進步無疑將推動汽車駕駛輔助技術的發展。因此圖像采集質量的提升、圖像處理算法的優化,如何更快速地實現圖像智能生成、處理、識別並給出決策建議,都是機器視覺領域需要解決的重要問題。
        未來,隨著各類傳感器的技術革新、圖像處理算法複雜度的降低,機器視覺技術將更好地滿足行車過程中實時性、準確性的要求。
 


返回列表