一種基于多傳感器的車載環境識別系統及全方位視覺模塊技術方案

本發明專利技術公開了一種基于多傳感器的車載環境識別系統，包括全方位視覺模塊、IMU模塊、GPS模塊、雷達模塊和數據融合模塊，全方位視覺模塊用于獲取車輛周圍360度范圍內的環境三維信息，IMU模塊用于獲取車輛的加速度與角速度信息，GPS模塊與IMU模塊聯合工作，獲取車輛的位置和姿態信息，雷達模塊用于獲取車輛前方的目標位置信息，并且具有全天候、全天時的特點，數據融合模塊用于對各傳感器模塊所獲取的環境信息進行融合，實現對車輛行駛環境更加準確的識別。本發明專利技術同時公開了一種全方位視覺模塊，通過各個步進電機控制對應的雙目攝像頭進行俯仰運動獲取所觀測環境的全方位場景圖像；圖像處理模塊實時采集并處理各組雙目攝像頭獲取的場景圖像。

【技術實現步驟摘要】
一種基于多傳感器的車載環境識別系統及全方位視覺模塊
本專利技術涉及一種多攝像頭拼接的全方位視覺裝置以及基于多傳感器的車載環境識別系統，屬于傳感器

技術介紹
單目視覺可以進行簡單的目標跟蹤、目標識別，但是并不能提供環境的深度信息。雙目視覺在單目視覺的基礎上實現了對深度信息的獲取，但是不能實時地進行全方位的信息獲取。相對于傳統視覺傳感器在視場受限方面的不足，全方位視覺裝置可以實時獲取全方位的環境信息，在軍事應用、公共安全、視頻會議以及位置環境的探測等方面發揮著積極的作用。多部成像裝置多角度同時拍攝是最容易想到的全方位圖像獲取的技術，相對于普通攝像機加旋轉云臺的方法存在延時、魚眼技術和折反射技術存在高畸變，多攝像頭拼接的全方位視覺裝置更加簡單可靠。目前多攝像頭拼接的全方位視覺裝置在多攝像頭的精確安裝、多幅圖像的無縫拼接等方面均存在不足，此外該裝置在垂直方向的視角受限也對全方位環境信息的獲取存在一定的影響。隨著工作環境與任務的日益復雜，人們對智能系統的性能提出了更高的要求。單個傳感器在某一采樣時刻只能獲取一組數據，經過處理得到的信息只能用來描述環境的局部特征，因此單靠一個傳感器往往無法滿足某些系統對魯棒性的要求。采用多傳感器融合可以對環境進行更加全面準確的描述，但是信息的冗余在提高系統魯棒性的同時伴隨著大量數據的產生，大量的數據計算處理無疑嚴重影響著系統的實時性，此外系統的功耗、資源占用率等都是需要考慮的問題。
技術實現思路
本專利技術提供了一種全方位視覺模塊，其為多攝像頭拼接的全方位視覺裝置，解決了傳統視覺傳感器不能實時獲取全方位環境信息的問題。以上目的是通過以下技術方案實現的：一種全方位視覺模塊，包括：基座，圖像處理模塊，多組雙目攝像頭，與雙目攝像頭數量一致的攝像頭支架、步進電機、俯仰電機支架；多組雙目攝像頭在水平方向均勻布置，每組雙目攝像頭通過一個攝像頭支架固定在基座外周上，每個步進電機通過對應的俯仰電機支架固定在基座上，每個攝像頭支架與對應的步進電機輸出軸固定連接，通過各個步進電機控制對應的雙目攝像頭進行俯仰運動獲取所觀測環境的全方位場景圖像；圖像處理模塊固定安裝在基座上，實時采集并處理各組雙目攝像頭獲取的場景圖像。進一步地，所述圖像處理模塊包括圖像采集單元、圖像拼接單元、雙目匹配單元、目標識別單元；圖像采集單元實時采集所述各組雙目攝像頭獲取的各個方向的場景圖像并將圖像信息同時傳輸給圖像拼接單元、雙目匹配單元和目標識別單元；圖像拼接單元將各個方向的場景圖像進行一系列圖像預處理后拼接成一幅全景圖像；雙目匹配單元計算雙目攝像頭每幀獲取的兩幅圖像的視差，結合雙目視覺中的三角測量原理得到對應的深度圖像；目標識別單元通過訓練樣本對分類器進行訓練，再利用訓練好的分類器檢測所觀測場景中的樣本目標。進一步地，所述圖像拼接單元的工作過程包括：攝像頭標定：預先校準由于安裝設計產生的物理差異及攝相頭之間的物理差異，得到一致性好的圖像；圖像畸變校正：對導致圖像內直線變彎曲的徑向畸變進行校正操作；圖像投影變換：將不同角度拍攝的圖像進行投影變換至同一投影面以便于拼接；匹配點選取：在圖像序列中尋找具有縮放不變性的SIFT特征點；圖像拼接：包括配準與融合，將各個方向的場景圖像按一定規則拼接為一幅展開的全景圖；后處理：進行圖像對亮度與顏色的均衡處理，以保證全景圖在整體上達到亮度與顏色的一致性。進一步地，所述雙目匹配單元的工作過程包括：攝像頭標定：通過攝像頭標定獲取攝像頭的內部參數與外部參數；代價計算以及圖像分割：通過互信息計算初始匹配代價，解決了由于光照變化引起的誤匹配現象；圖像分割使同一分割塊內的視差具有平滑變化的特點，改善弱紋理區域和深度不連續區域出現的匹配精度問題；構造全局能量函數：將代價計算以及圖像分割的信息融合起來提出全局能量函數E(d)＝Edata(d)+λEsmooth(d)；多方向代價聚合：從8或16個方向的一維路徑進行動態規劃得到總的匹配代價；視差選擇：通過選擇使總的匹配代價最小的視差為每個像素點的視差，從而得到整幅圖像的初步視差圖。視差優化：通過亞像素插值、中值濾波、左右一致性檢驗進行優化處理得到視差圖，再經過雙目視覺中的三角測量原理得到深度圖像。進一步地，所述目標識別單元的工作過程包括：通過訓練樣本來訓練分類器：對正樣本和負樣本進行特征選擇和提取從而對原始數據進行變換得到最能反映分類本質的特征，進而得到訓練好的分類器；利用訓練好的分類器進行目標檢測：用一個掃描子窗口在待檢測的圖像中不斷的移位滑動計算窗口區域的特征，并且通過訓練好的分類器對該特征進行篩選，最終得到所要的分類結果。本專利技術同時提供一種基于多傳感器的車載環境識別系統，能夠獲取多種傳感數據信息，并通過硬件處理器并行計算處理數據信息，解決了單個傳感器獲取信息少、系統魯棒性低、實時性差等問題。以上目的是通過以下技術方案實現的：一種基于多傳感器的車載環境識別系統，包括全方位視覺模塊、IMU模塊、GPS模塊、雷達模塊和數據融合模塊，全方位視覺模塊、IMU模塊、GPS模塊、雷達模塊分別與數據融合模塊通訊連接；全方位視覺模塊用于獲取車輛周圍360度范圍內的環境三維信息；IMU模塊用于獲取車輛的加速度與角速度信息；GPS模塊與IMU模塊聯合工作，獲取車輛的位置和姿態信息；雷達模塊用于獲取車輛前方的目標位置信息，并且具有全天候、全天時的特點；數據融合模塊用于對各傳感器模塊所獲取的環境信息進行融合，實現對車輛行駛環境更加準確的識別。進一步地，所述數據融合模塊包括數據采集單元、數據存儲單元、硬件處理器，數據采集單元采集上述各個傳感器模塊傳輸過來的數據并傳輸給數據存儲單元；數據存儲單元對數據進行存儲并將數據實時傳輸給硬件處理器；硬件處理器以并行的方式計算處理傳輸過來的數據信息，以保證系統的實時性。本專利技術的有益效果是：1本專利技術提供了一種多攝像頭拼接的全方位視覺裝置，通過電機控制水平均置的多組雙目攝像頭進行俯仰運動，能夠獲取環境的全方位信息；并且該裝置提供了圖像拼接、雙目匹配以及目標識別多種圖像處理單元。2本專利技術提供了一種基于多傳感器的車載環境識別系統，能夠獲取多種傳感數據信息，經過融合處理能夠對環境進行更加全面的描述，提高對環境特征描述的準確性，同時信息的冗余可以提高系統魯棒性。3本專利技術通過硬件處理器以并行的方式處理數據，滿足了實時性的要求。附圖說明圖1是基于多傳感器的車載環境識別系統結構框圖圖2是全方位視覺模塊的結構示意圖圖3是圖像處理模塊的結構框圖圖4是圖像拼接單元的原理框圖圖5是雙目匹配單元的原理框圖圖6是目標識別單元的原理框圖具體實施方式以下結合附圖詳細介紹本專利技術的技術方案：如圖1所示，一種基于多傳感器的車載環境識別系統，包括全方位視覺模塊1、IMU模塊2、GPS模塊3、雷達模塊4和數據融合模塊5，全方位視覺模塊1、IMU模塊2、GPS模塊3、雷達模塊4分別與數據融合模塊5通訊連接。全方位視覺模塊1是一種多攝像頭拼接的全方位視覺裝置，能夠獲取車輛周圍360度范圍內的環境三維信息；IMU模塊2包括加速度計和陀螺儀，能夠獲取車輛的加速度與角速度信息；GPS模塊3與IMU模塊2聯合工作，能夠獲取車輛的位置和姿態信息；雷達模塊4能夠獲取車輛前方的目標位置信息，并且具有本文檔來自技高網...

【技術保護點】
一種全方位視覺模塊，其特征在于，包括：基座，圖像處理模塊，多組雙目攝像頭，與雙目攝像頭數量一致的攝像頭支架、步進電機、俯仰電機支架；多組雙目攝像頭在水平方向均勻布置，每組雙目攝像頭通過一個攝像頭支架固定在基座外周上，每個步進電機通過對應的俯仰電機支架固定在基座上，每個攝像頭支架與對應的步進電機輸出軸固定連接，通過各個步進電機控制對應的雙目攝像頭進行俯仰運動獲取所觀測環境的全方位場景圖像；圖像處理模塊固定安裝在基座上，實時采集并處理各組雙目攝像頭獲取的場景圖像。

【技術特征摘要】
1.一種全方位視覺模塊，其特征在于，包括：基座，圖像處理模塊，多組雙目攝像頭，與雙目攝像頭數量一致的攝像頭支架、步進電機、俯仰電機支架；多組雙目攝像頭在水平方向均勻布置，每組雙目攝像頭通過一個攝像頭支架固定在基座外周上，每個步進電機通過對應的俯仰電機支架固定在基座上，每個攝像頭支架與對應的步進電機輸出軸固定連接，通過各個步進電機控制對應的雙目攝像頭進行俯仰運動獲取所觀測環境的全方位場景圖像；圖像處理模塊固定安裝在基座上，實時采集并處理各組雙目攝像頭獲取的場景圖像。2.如權利要求1所述的一種全方位視覺模塊，其特征在于，所述圖像處理模塊包括圖像采集單元、圖像拼接單元、雙目匹配單元、目標識別單元；圖像采集單元實時采集所述各組雙目攝像頭獲取的各個方向的場景圖像并將圖像信息同時傳輸給圖像拼接單元、雙目匹配單元和目標識別單元；圖像拼接單元將各個方向的場景圖像進行一系列圖像預處理后拼接成一幅全景圖像；雙目匹配單元計算雙目攝像頭每幀獲取的兩幅圖像的視差，結合雙目視覺中的三角測量原理得到對應的深度圖像；目標識別單元通過訓練樣本對分類器進行訓練，再利用訓練好的分類器檢測所觀測場景中的樣本目標。3.如權利要求2所述的一種全方位視覺模塊，其特征在于，所述圖像拼接單元的工作過程包括：攝像頭標定：預先校準由于安裝設計產生的物理差異及攝相頭之間的物理差異，得到一致性好的圖像；圖像畸變校正：對導致圖像內直線變彎曲的徑向畸變進行校正操作；圖像投影變換：將不同角度拍攝的圖像進行投影變換至同一投影面以便于拼接；匹配點選取：在圖像序列中尋找具有縮放不變性的SIFT特征點；圖像拼接：包括配準與融合，將各個方向的場景圖像按一定規則拼接為一幅展開的全景圖；后處理：進行圖像對亮度與顏色的均衡處理，以保證全景圖在整體上達到亮度與顏色的一致性。4.如權利要求2所述的一種全方位視覺模塊，其特征在于，所述雙目匹配單元的工作過程包括：攝像頭標定：通過攝像頭標定獲取攝像頭的內部參數與外部參數；代價計算以及圖像分割：通過互信息計算初始匹配代價，...

【專利技術屬性】
技術研發人員：王建華，陳建華，孫維毅，趙潔，張慶，王政軍，鮑磊，王書博，周志超，
申請(專利權)人：吉林大學，
類型：發明
國別省市：吉林,22