一種基于深度學習的多模態SLAM方法技術

本發明專利技術涉及礦山智能定位與導航技術領域，解決了井下SLAM的特征提取準確度和難度變大的技術問題，尤其涉及一種基于深度學習的多模態SLAM方法，包括以下步驟：S1、通過相機提取當前幀圖像幀的信息，生成圖像特征金字塔；S2、獲取激光雷達當前幀激光幀的信息，并通過逆深度縮放算法對點云進行逆深度縮放后生成點云特征金字塔；S3、將圖像特征金字塔和點云特征金字塔作為輸入進入雙向相機

【技術實現步驟摘要】
一種基于深度學習的多模態SLAM方法


[0001]本專利技術涉及礦山智能定位與導航
，尤其涉及一種基于深度學習的多模態SLAM方法。

技術介紹

[0002]煤礦巷道、采掘工作面等作業區域具有典型的非結構化環境特征，且GPS技術無法直接應用于井下，進而導致煤礦開采時礦難頻發，急需機械化換人、自動化減人和提高礦山智能化水平。而構建適用于煤礦機器人的自主定位系統方案，解決井下機器人精準定位、姿態感知等問題。如何快速突破慣導、激光和相機等多信息融合的井下機器人精準感知與定位技術，是實現井下機器人局部自主的關鍵。
[0003]然而正由于礦山井下非結構化、弱光照、無紋理的環境特征下，井下SLAM的特征提取準確度和難度變大，成為井下機器人感知和定位的主要難點。

技術實現思路

[0004]針對現有技術的不足，本專利技術提供了一種基于深度學習的多模態SLAM方法，解決了井下SLAM的特征提取準確度和難度變大的技術問題，能夠在礦山井下非結構化、弱光照、無紋理的環境特征下，提高井下SLAM的特征提取準確度，同時降低提取難度，滿足井下機器人感知和定位的需求。
[0005]為解決上述技術問題，本專利技術提供了如下技術方案：一種基于深度學習的多模態SLAM方法，包括以下步驟：
[0006]S1、通過相機提取當前幀圖像幀的信息，生成圖像特征金字塔；
[0007]S2、獲取激光雷達當前幀激光幀的信息，并通過逆深度縮放算法對點云進行逆深度縮放后生成點云特征金字塔；
[0008]S3、將圖像特征金字塔和點云特征金字塔作為輸入進入雙向相機
?
激光雷達融合模塊，得到融合后的圖像和點云特征輸出圖像特征點；
[0009]S4、對得到的圖像特征點使用KLT光流跟蹤法進行跟蹤，利用重投影誤差做誤差狀態迭代卡爾曼濾波狀態更新得到最新的相機位姿；
[0010]利用IMU先驗對激光雷達進行位姿預測和誤差狀態迭代卡爾曼濾波更新位姿估計，隨后生成視覺里程計因子和激光雷達里程計因子；
[0011]S5、將視覺里程計因子、激光雷達里程計因子和IMU預積分因子加入因子圖中進行優化；
[0012]S6、根據優化后的因子圖進行三維地圖建模。
[0013]進一步地，在步驟S1中，通過相機提取當前幀圖像幀的信息，生成圖像特征金字塔，具體過程包括以下步驟：
[0014]S11、訂閱當前相機獲得的相鄰兩幀圖像幀的信息；
[0015]S12、以PWCNet神經網絡結構為基礎為圖像生成圖像特征金字塔。
[0016]進一步地，在步驟S2中，獲取激光雷達當前幀激光幀的信息，并通過逆深度縮放算法對點云進行逆深度縮放后生成點云特征金字塔，具體過程包括以下步驟：
[0017]S21、訂閱當前激光雷達獲得的幀點云的信息；
[0018]S22、先對得到的點云進行逆深度縮放以保證圖像和點云一一對應；
[0019]S23、以PointPWC
?
Net神經網絡結構為基礎，為經過逆深度縮放后的點云生成點云特征金字塔。
[0020]進一步地，在步驟S4中，具體過程包括以下步驟：
[0021]S41、對步驟三融合的圖像幀的特征點進行KLT光流跟蹤；
[0022]S42、將一個特征點最新的觀測幀與在滑動窗口中最老的一幀、兩幀對應的IMU位姿估計做重投影誤差建立殘差關系，最后用誤差狀態卡爾曼濾波對重投影誤差建立的殘差關系進行狀態更新；
[0023]S43、發布視覺里程計因子；
[0024]S44、利用IMU先驗對激光雷達進行位姿預測和誤差狀態迭代卡爾曼濾波更新位姿估計；
[0025]S45、發布雷達里程計因子。
[0026]進一步地，在步驟S5中，將視覺里程計因子、激光雷達里程計因子和IMU預積分因子加入因子圖中進行優化，具體過程包括：
[0027]S51、向因子圖中添加IMU預積分因子；
[0028]S52、向因子圖中添加相機里程計因子；
[0029]S53、向因子圖中添加激光雷達里程計因子；
[0030]S54、分別求取激光雷達里程計因子、相機里程計因子以及IMU預積分因子關于狀態量的雅克比矩陣，使用Levenberg
?
Marquardt法求解狀態量完成因子圖的優化。
[0031]進一步地，在步驟S6中，根據優化后的因子圖進行三維地圖建模，具體過程包括：
[0032]在ros系統中利用map_server服務器配置rgbdslam包并聯合因子圖優化后的全部數據進行三維地圖建模。
[0033]借由上述技術方案，本專利技術提供了一種基于深度學習的多模態SLAM方法，至少具備以下有益效果：
[0034]本專利技術使用基于深度學習的激光雷達、相機和IMU的SLAM方法，將激光雷達的點云特征與相機的圖像特征通過深度神經網絡提取，解決了井下SLAM的特征提取準確度和難度變大的技術問題，能夠在礦山井下非結構化、弱光照、無紋理的環境特征下，提高井下SLAM的特征提取準確度，同時降低提取難度，滿足井下機器人感知和定位的需求。
附圖說明
[0035]此處所說明的附圖用來提供對本申請的進一步理解，構成本申請的一部分，本申請的示意性實施例及其說明用于解釋本申請，并不構成對本申請的不當限定。在附圖中：
[0036]圖1為本專利技術多模態SLAM方法的步驟流程圖；
[0037]圖2為本專利技術多模態SLAM方法的原理框圖；
[0038]圖3為本專利技術圖像特征金字塔的示意圖；
[0039]圖4為本專利技術點云特征金字塔的示意圖；
[0040]圖5為本專利技術圖像特征金字塔與點云特征金字塔由雙向相機
?
激光雷達融合模塊的融合示意圖；
[0041]圖6為本專利技術雙向相機
?
激光雷達融合模塊的原理框圖；
[0042]圖7為本專利技術融合感知插值算法的原理圖。
具體實施方式
[0043]為使本專利技術的上述目的、特征和優點能夠更加明顯易懂，下面結合附圖和具體實施方式對本專利技術作進一步詳細的說明。借此對本申請如何應用技術手段來解決技術問題并達成技術功效的實現過程能充分理解并據以實施。
[0044]本領域普通技術人員可以理解實現上述實施例方法中的全部或部分步驟是可以通過程序來指令相關的硬件來完成，因此，本申請可采用完全硬件實施例、完全軟件實施例、或結合軟件和硬件方面的實施例的形式。而且，本申請可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(包括但不限于磁盤存儲器、CD
?
ROM、光學存儲器等)上實施的計算機程序產品的形式。
[0045]本實施例充分考慮了礦山井巷非結構化環境特征且GPS技術無法直接運用的因素，由于礦山井巷非結構化環境特征，所以在一定情況下，激光雷達無法采集到足夠的特征點云，但是IMU可以不依賴于外部信息，獨立于其它傳感器存在，故IM本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種基于深度學習的多模態SLAM方法，其特征在于，包括以下步驟：S1、通過相機提取當前幀圖像幀的信息，生成圖像特征金字塔；S2、獲取激光雷達當前幀激光幀的信息，并通過逆深度縮放算法對點云進行逆深度縮放后生成點云特征金字塔；S3、將圖像特征金字塔和點云特征金字塔作為輸入進入雙向相機
?
激光雷達融合模塊，得到融合后的圖像和點云特征輸出圖像特征點；S4、對得到的圖像特征點使用KLT光流跟蹤法進行跟蹤，利用重投影誤差做誤差狀態迭代卡爾曼濾波狀態更新得到最新的相機位姿；利用IMU先驗對激光雷達進行位姿預測和誤差狀態迭代卡爾曼濾波更新位姿估計，隨后生成視覺里程計因子和激光雷達里程計因子；S5、將視覺里程計因子、激光雷達里程計因子和IMU預積分因子加入因子圖中進行優化；S6、根據優化后的因子圖進行三維地圖建模。2.根據權利要求1所述的多模態SLAM方法，其特征在于：在步驟S1中，通過相機提取當前幀圖像幀的信息，生成圖像特征金字塔，具體過程包括以下步驟：S11、訂閱當前相機獲得的相鄰兩幀圖像幀的信息；S12、以PWCNet神經網絡結構為基礎為圖像生成圖像特征金字塔。3.根據權利要求1所述的多模態SLAM方法，其特征在于：在步驟S2中，獲取激光雷達當前幀激光幀的信息，并通過逆深度縮放算法對點云進行逆深度縮放后生成點云特征金字塔，具體過程包括以下步驟：S21、訂閱當前激光雷達獲得的幀點云的信息；S22、先對得到的點云進行逆深度縮放以保證圖像和點云一一對應；S23、以Poi...

【專利技術屬性】
技術研發人員：朱杰，劉弨，段章領，王夢然，楊建文，仰勁濤，夏浩源，王坤，
申請(專利權)人：合肥圖靈紀元科技有限公司，
類型：發明
國別省市：