基于立體視覺、慣性、激光雷達的同步定位與建圖系統及方法技術方案

本發明專利技術公開了一種基于立體視覺、慣性、激光雷達的同步定位與建圖系統，設置四個模塊，分別是視覺前段模塊、VIO后端模塊、回環檢測模塊和LiDAR建圖模塊。本發明專利技術還公開了該系統的同步定位與建圖的方法。采用上述技術方案，可以生成更準確的地圖和更低的FDE；從LiDAR建圖得到的精確姿態估計，可以用于IMU偏差校正；獲得更好的回環約束；有效消除了IMU時間累計誤差和偏差；高效實現了全局地圖的優化和更新；在復雜環境下更具魯棒性；實現在不同環境中長期穩定運行。期穩定運行。期穩定運行。

【技術實現步驟摘要】
基于立體視覺、慣性、激光雷達的同步定位與建圖系統及方法


[0001]本專利技術屬于機器人位置服務的
更具體地，本專利技術涉及一種基于立體視覺、慣性、激光雷達的同步定位與建圖系統及其同步定位與建圖方法；可擴展用到無人駕駛、人工智能、室內定位、工業互聯網和無線通信等領域；是一種可以在不受控制的場景中工作的自動激光雷達
?
照相機校準方法。

技術介紹

[0002]一、相關技術發展背景介紹：
[0003]同步定位與建圖(SLAM)解決了建立未知環境地圖同時估計機器人狀態的問題，在過去幾十年里得到了廣泛關注和深入研究，但在處理不同的環境和長期連續操作時仍存在很多問題。
[0004]根據移動機器人搭載的傳感器不同，可以將SLAM分為激光雷達(LiDAR)SLAM和視覺SLAM；為了更好地適應環境，目前還出現了多傳感器融合的SLAM。
[0005]激光SLAM與視覺SLAM相比更具環境適應性，但激光SLAM在重復結構(例如隧道或者走廊)中失效。因此在復雜環境中定位與建圖極具挑戰性，需要融合使用多種傳感器才能滿足需求。但是目前還沒有很好的解決方案。
[0006]傳統的慣性測量單元(IMU)測量估計值易漂移。
[0007]二、現有技術中檢索到以下相關文獻：
[0008]1、“Fusion of LiDAR data and multispectral imagery for effective building detection based on graph and connected component analysis”；
[0009]該相關文獻提出了一種基于圖的數據驅動方法，該方法將LiDAR數據和多光譜圖像融合在一起。其存在的問題是：這是一種簡單的外部校準方法，受環境影響大。
[0010]2、“Real
?
time probabilistic fusion of sparse 3D LIDAR and dense stereo”；
[0011]該相關文獻提出的技術方案是：3D
?
LiDAR數據與立體圖像的融合。立體深度估計的優點在于它能夠通過利用立體匹配技術來生成周圍環境的密集深度圖。其存在的問題是：密集的立體深度估計在計算上非常復雜。這是由于需要匹配立體圖像中的對應點；此外，例如，由于明亮區域中像素值的飽和，使用立體圖像的密集深度估計會受到圖像傳感器動態范圍的限制。
[0012]最接近的現有技術及其存在的技術問題是：
[0013]當前的VIO文獻介紹了不同的構架來融合視覺和慣性數據。文獻將不同的方法分為緊耦合系統和松耦合系統。其中，緊耦合系統將視覺信息和慣性測量被聯合優化；松耦合系統將IMU看成為一個分離的模塊，并與一個視覺狀態估計器融合到一起。該方法還可進一步分為基于濾波的方法和基于圖優化的方法。緊耦合的優化方法是利用迭代地最小化殘差的優勢達到更好的精度和魯棒性，同時具有更高的計算代價。
[0014]相關文獻中示出了雙目相機和一個激光掃描儀組合方案，利用VO進行運動估計，
通過匹配激光幀來精確修正，使用多分辨率柵格地圖表示。
[0015]還有文獻提出使用更具魯棒性的VIO替代VO，即VLOAM(Visual
?
lidar Odometry and Mapping，視覺激光雷達測距和測繪)，其使用一個IMU，一個單目相機和一個激光掃描儀，采用松耦合結構，相機和LiDAR模塊的信息可被用于修正IMU偏置。

技術實現思路

[0016]本專利技術提供一種基于立體視覺、慣性、激光雷達的同步定位與建圖系統，其目的是采用緊耦合的組合方式將立體視覺慣性里程計(VIO)與LiDAR建圖融合，同時利用LiDAR增強閉環監測功能。
[0017]為了實現上述目的，本專利技術采取的技術方案為：
[0018]本專利技術的基于立體視覺、慣性、激光雷達的同步定位與建圖系統，設置四個模塊，分別是視覺前段模塊、VIO后端模塊、回環檢測模塊和LiDAR建圖模塊。
[0019]所述的視覺前端模塊從立體相機獲取立體圖像對，執行幀到幀跟蹤和立體匹配，并輸出立體匹配作為視覺測量，分別發送給VIO后端模塊和回環檢測模塊。
[0020]所述的VIO后端模塊采用立體VIO進行立體匹配和IMU測量，在姿勢圖上執行IMU(慣性測量單元)預積分和緊耦合的固定滯后平滑；所述的VIO后端模塊以IMU速率向所述的LiDAR建圖模塊輸出VIO姿態；所述的VIO后端模塊以攝像機速率向所述的回環檢測模塊輸出VIO姿態。
[0021]所述的回環檢測模塊進行視覺回環檢測和初始環路約束估計，并通過對稀疏點云ICP提取進一步精細配準；約束所有LiDAR姿勢的全局位姿圖被增量式優化，以獲取全局校正的軌跡和實時的LiDAR姿勢校正；所述的LiDAR姿勢校正被發送至所述的LiDAR建圖模塊，以進行地圖更新和重新定位。
[0022]所述的LiDAR建圖模塊使用來自VIO的運動估計并執行LiDAR去扭曲(dewarping)和掃描幀到地圖的配準。
[0023]為了實現與上述技術方案相同的專利技術目的，本專利技術還提供了以上所述的基于立體視覺、慣性、激光雷達的同步定位與建圖系統的同步定位與建圖方法，其技術方案是：
[0024]所述的視覺前段模塊對立體視覺進行立體匹配，使用Kanade Lucas Tomasi(KLT)特征跟蹤器來跟蹤先前立體匹配中的所有特征點，無論是在左圖像還是右圖像中；只有當他們都被跟蹤才會輸出；
[0025]如果跟蹤的立體匹配數低于閾值，使用Shi
?
Tomashi角點檢測器進行特征提取，然后進行特征消除過程，刪除與任何小于閾值的現有特征的像素距離的特征；
[0026]ORB描述子后計算所有幸存特征，然后進行立體暴力匹配以獲得新的匹配結果；
[0027]所述的同步定位與建圖系統統通過對第一幀立體視覺進行立體匹配來對同步定位與建圖系統初始化。
[0028]所述的VIO后端模塊的立體視覺慣性里程計的目標是在相對較高的頻率上提供實時準確的狀態估計，作為LiDAR建圖算法的運動模型輸入；
[0029]在位姿圖上運行的緊耦合固定滯后平滑器，在精度和效率之間可獲得很好的權衡；
[0030]基于優化的方法通常允許多次線性化以接近全局最小值，固定滯后位姿圖優化器
進一步限定了變量的最大數目，降低了計算復雜度；
[0031]由于差的視覺測量會導致系統不收斂，因此對視覺測量強制執行嚴格的異常值拒絕機制，系統通過檢查平均重投影誤差來消除異常值。
[0032]所述的LiDAR建圖模塊(激光雷達建圖)在進行激光雷達點提取和掃描幀點云到地圖配準之前，使用高頻IMU速率VIO姿態作為運動；
[0033]將掃描x表示為從一個完整的激光雷達旋轉獲得的點云；經過去扭曲后從x中提取幾何特征，包括銳邊點和平面點；
[本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種基于立體視覺、慣性、激光雷達的同步定位與建圖系統，其特征在于：所述的同步定位與建圖系統設置四個模塊，分別是視覺前段模塊、VIO后端模塊、回環檢測模塊和LiDAR建圖模塊。2.按照權利要求1所述的基于立體視覺、慣性、激光雷達的同步定位與建圖系統，其特征在于：所述的視覺前端模塊從立體相機獲取立體圖像對，執行幀到幀跟蹤和立體匹配，并輸出立體匹配作為視覺測量，分別發送給VIO后端模塊和回環檢測模塊。3.按照權利要求1所述的基于立體視覺、慣性、激光雷達的同步定位與建圖方法，其特征在于：所述的VIO后端模塊采用立體VIO進行立體匹配和IMU測量，在姿勢圖上執行IMU預積分和緊耦合的固定滯后平滑；所述的VIO后端模塊以IMU速率向所述的LiDAR建圖模塊輸出VIO姿態；所述的VIO后端模塊以攝像機速率向所述的回環檢測模塊輸出VIO姿態。4.按照權利要求1所述的基于立體視覺、慣性、激光雷達的同步定位與建圖方法，其特征在于：所述的回環檢測模塊進行視覺回環檢測和初始環路約束估計，并通過對稀疏點云ICP提取進一步精細配準；約束所有LiDAR姿勢的全局位姿圖被增量式優化，以獲取全局校正的軌跡和實時的LiDAR姿勢校正；所述的LiDAR姿勢校正被發送至所述的LiDAR建圖模塊，以進行地圖更新和重新定位。5.按照權利要求1所述的基于立體視覺、慣性、激光雷達的同步定位與建圖方法，其特征在于：所述的LiDAR建圖模塊使用來自VIO的運動估計并執行LiDAR去扭曲和掃描幀到地圖的配準。6.按照權利要求1至5中任意一項所述的基于立體視覺、慣性、激光雷達的同步定位與建圖系統的同步定位與建圖方法，其特征在于：所述的視覺前段模塊對立體視覺進行立體匹配，使用Kanade Lucas Tomasi特征跟蹤器來跟蹤先前立體匹配中的所有特征點，無論是在左圖像還是右圖像中；只有當他們都被跟蹤才會輸出；如果跟蹤的立體匹配數低于閾值，使用Shi
...

【專利技術屬性】
技術研發人員：徐勁松，趙立軍，曹雛清，
申請(專利權)人：哈爾濱工業大學蕪湖機器人產業技術研究院，
類型：發明
國別省市：