一種無人機飛行路徑的處理方法技術

一種無人機飛行路徑的處理方法，無人機固定安裝有雙目相機，雙目相機包括左相機和右相機，包括步驟：獲取雙目相機當前幀圖像；檢測當前幀圖像與已記錄路徑的關鍵幀圖像是否相似，若相似，根據當前幀圖像和關鍵幀圖像計算雙目相機的相對位姿，并根據雙目相機的相對位姿計算無人機的相對位姿，并對無人機的相對位姿進行修正；若不相似，判斷當前幀圖像是否為關鍵幀圖像，若是，將當前幀圖像存儲為關鍵幀圖像。由于根據關鍵幀圖像存儲無人機的飛行路徑，大大減少了視覺定位算法的計算量，通過記錄的路徑使得無人機或其他配置了攝像機的無人機能夠按路徑飛行，并且，在按路徑飛行的過程中，通過對無人機的位置漂移的修正，能達到精準的跟蹤效果。

Method for processing flight path of unmanned aerial vehicle

A processing method of UAV flight path, UAV fixed binocular camera binocular cameras including the left camera and the right camera binocular camera comprises the following steps: obtaining the current frame image; detecting the current frame image and the recorded path key frame images are similar, if similar, according to the relative pose of the current frame of binocular camera the image and key frame image calculation, and according to the relative position of binocular camera relative position calculation of the UAV, the UAV relative pose correction; if not similar, judge whether the current frame image as the key frame image, if the current image is stored as a key frame image. The flight path based on key frame storage of UAV, which greatly reduces the computation of visual localization algorithm, by recording the UAV path or other UAV according to the flight path, and the configuration of the camera, in the process by the flight path, by modifying the position drift of UAV, can achieve accurate tracking results.

【技術實現步驟摘要】
一種無人機飛行路徑的處理方法
本專利技術涉及無人機
，具體涉及一種無人機飛行路徑的處理方法。
技術介紹
目前，無人機在復雜環境下(如室內、叢林里、洞穴等等)的導航是極其困難的，特別是無人機自主返航、精準的路徑跟隨等功能的實現是十分困難的，在這種情況下使用現有的加速度計和光流計作為里程計，并且使用圖像匹配進行實時的路徑誤差修正是一個可行的辦法。但是，目前的視覺定位算法一般計算量偏大，如SLAM等算法，很難在機載系統上實時運行，因此，選擇合適的方法來融合視覺信息對無人機飛行路徑進行處理是必須要考慮的。
技術實現思路
針對如何記錄無人機飛行路徑，及實現路徑跟蹤的問題，本申請提供一種無人機飛行路徑的處理方法，無人機固定安裝有雙目相機，雙目相機包括左相機和右相機，包括步驟：獲取雙目相機當前幀圖像；檢測當前幀圖像與已記錄路徑的關鍵幀圖像是否相似，若相似，根據當前幀圖像和關鍵幀圖像計算雙目相機的相對位姿，并根據雙目相機的相對位姿計算無人機的相對位姿，并對無人機的相對位姿進行修正；若不相似，判斷當前幀圖像是否為關鍵幀圖像，若是，將當前幀圖像存儲為關鍵幀圖像。一種實施例中，根據雙目相機的相對位姿計算無人機的相對位姿，具體為：根據優化函數獲取無人機的相對位姿，優化函數為：其中，Ti(t)表示t時刻第i幅關鍵幀時無人機的相對位姿，ρ指的是歐氏距離的平方，是3D點和2D圖像點的對應關系集合，Vi是第i幅關鍵幀里面的特征點集合，PWC指的是雙目相機的相對位姿，X指的是三維坐標點。一種實施例中，對無人機的相對位姿進行修正，包括步驟：保存雙目相機的內參參數、外參參數、畸變參數，并將雙目相機中的左相機的中心設置為雙目相機的中心點；利用fast或Shi-Tomas角點提取算法提取左相機圖像中的角點xl，及利用Lucas-Kanade算法提取右相機圖像中的對應點xr，并且計算出角點xl和對應點xr計算點對；利用RANSAC算法計算單應性矩陣Hlr和基礎矩陣Flr，并根據單應性矩陣Hlr和基礎矩陣Flr剔除異常點對；對保留的點對計算對應的三維坐標點，并計算所有三維坐標點距離雙目相機的平均距離；根據關鍵幀圖像和無人機的相對位姿構建參考關鍵幀，并由參考關鍵幀變換成臨時中間幀圖像，通過Lucas-Kanade算法對臨時中間幀圖像和當前幀圖像進行點對匹配，并計算臨時中間幀圖像的相機坐標；根據臨時中間幀圖像的相機坐標計算出臨時中間幀圖像的世界坐標；根據臨時中間幀圖像的世界坐標通過優化函數計算無人機的相對位姿，并通過卡爾曼濾波器更新無人相的相對位姿。一種實施例中，根據單應性矩陣Hlr和基礎矩陣Flr剔除異常點對，具體為：若雙目相機的圖像場景是平面或接近平面，判斷角點xl和對應點xr是否滿足公式xl＝Hlrxr，若不滿足，則剔除導常點對；若雙目相機的圖像場景復雜，判斷角點xl和對應點xr是否滿足公式xlFlrxr＝0，若不滿足，則剔除導常點對。一種實施例中，計算臨時中間幀圖像的相機坐標，具體為：其中，K為相機的內參參數，davg為三維坐標點距離雙目相機的平均距離，為位移，和為旋轉矩陣，和xR分別是臨時中間幀圖像的相機坐標和世界坐標。一種實施例中，判斷當前幀圖像是否為關鍵幀圖像，包括步驟：判斷當前幀圖像與前一幀圖像的位置差是否超過預設的Dmax，若超過，則當前幀圖像為關鍵幀圖像；否則，判斷當前幀圖像與前一幀圖像的朝向夾角是否超過預設的δψmax，若超過，則當前幀圖像為關鍵幀圖像；否則，判斷當前幀圖像與前一幀圖像的軌跡切向方向夾角是否超過Θmax，若超過，則當前幀圖像為關鍵幀圖像；否則，判斷當前幀圖像與前一幀圖像的匹配特征點是否少于預設的Nmin，若少于，則當前幀圖像為關鍵幀圖像，否則，當前幀圖像不是關鍵幀圖像。一種實施例中，Dmax＝0.5m，δψmax＝π/9，Θmax＝π/4，Nmin＝10。依據上述實施例的無人機飛行路徑的處理方法，由于根據關鍵幀圖像存儲無人機的飛行路徑，大大減少了視覺定位算法的計算量，通過記錄的路徑使得無人機或其他配置了攝像機的無人機能夠按路徑飛行，并且，在按路徑飛行的過程中，通過對無人機的位置漂移的修正，能達到精準的跟蹤效果。附圖說明圖1為無人機飛行路徑的處理方法流程圖；圖2為雙目相機坐標系的示意圖；圖3為關鍵幀圖像和當前幀圖像的特征點匹配及臨時幀圖像示意圖；圖4為無人機路徑跟蹤示意圖；圖5為路徑記錄的示意圖；圖6為路徑記錄的效果分析示意圖。具體實施方式下面通過具體實施方式結合附圖對本專利技術作進一步詳細說明。針對安裝有雙目相機的無人機的路徑記錄與回放的問題，本例提供一種無人機飛行路徑的處理方法，其流程圖如圖1所示，具體包括如下步驟。S1：獲取雙目相機當前幀圖像。由于無人機固定安裝有雙目相機，雙目相機包括左相機和右相機，當無人機飛行過程中，可以獲取雙目相機當前幀圖像，根據當前幀圖像對無人機的飛行路徑作相應的處理。本例中，假設獲得的當前幀圖像已經是去畸變的圖像，并設世界坐標系為相機坐標系表示為那么左相機的姿態可以表示成一個3×4的矩陣該矩陣包含了相機的旋轉和平移，同時使用矩陣K來表示左相機的內參，該K矩陣包括了相機的焦距和相機的中心點。因此，三維世界的點投影在向平面，可以表達成：其中，r表示將投影結果轉換為齊次坐標的比列系數，x＝[x，y，1]T，X＝[X，Y，Z，1]T分別表示二維坐標點和三維坐標點。通過雙目相機系統的兩幅圖像，可以獲得空間中的三維坐標點，雙目相機坐標系的示意圖如圖2所示，表達式如下：表達式中xl和xr分別指左右兩幅不同圖像中相對應的二維點，通過結合左右兩個圖像的(1)表達式可以求出對應三維空間中該點的坐標。S2：檢測當前幀圖像與已記錄路徑的關鍵幀圖像是否相似，若相似，根據當前幀圖像和關鍵幀圖像計算雙目相機的相對位姿，并根據雙目相機的相對位姿計算無人機的相對位姿，并對無人機的相對位姿進行修正。在三維坐標點被給出之后，通過不同時刻左邊相機所拍攝的圖像來獲取左邊相機兩個不同時刻的相對位姿，本例中，采用觸發方法進行圖像匹配和計算無人機的相對運動姿態，具體的，當軌跡規劃模塊檢測到當前幀圖像與記錄的關鍵幀圖像相似的時候，開始選取出對應的關鍵幀圖像進行計算相機位姿，這樣可以節約尋找最合適關鍵幀的時間。由于雙目相機和無人機是固定連接的，那么由此可以獲得無人機在這兩個時刻的相對位姿。相對位姿使用Ti(t)∈SE(3)，下標i表示這是第i個關鍵幀，t表示時刻。Ti(t)就給出了因此當3D點云和圖像上的2D點的對應關系被給出之后，求Ti(t)等效于一個優化問題，進一步，本例根據優化函數獲取無人相的相對位姿，優化函數為：其中，Ti(t)表示t時刻第i幅關鍵幀時無人機的相對位姿，ρ指的是歐氏距離的平方，是3D點和2D圖像點的對應關系集合，Vi是第i幅關鍵幀里面的特征點集合，PWC指的是雙目相機的相對位姿，X指的是三維坐標點。通過公式(3)獲得無人機的相對位姿后，為達到無人機精準按記錄的關鍵幀圖像飛行，還要對該無人機的相對位姿進行修正，修正的步驟為：1)保存雙目相機的內參參數、外參參數、畸變參數，并將雙目相機中的左相機的中心設置為雙目相機的中心點。2)利用fast或Shi-Tomas角點提取算法提取左相機圖像中的角點xl，及利用L本文檔來自技高網...

【技術保護點】
一種無人機飛行路徑的處理方法，其特征在于，無人機固定安裝有雙目相機，所述雙目相機包括左相機和右相機，包括步驟：獲取雙目相機當前幀圖像；檢測所述當前幀圖像與已記錄路徑的關鍵幀圖像是否相似，若相似，根據所述當前幀圖像和關鍵幀圖像計算雙目相機的相對位姿，并根據所述雙目相機的相對位姿計算無人機的相對位姿，并對所述無人機的相對位姿進行修正；若不相似，判斷所述當前幀圖像是否為關鍵幀圖像，若是，將所述當前幀圖像存儲為關鍵幀圖像。

【技術特征摘要】
1.一種無人機飛行路徑的處理方法，其特征在于，無人機固定安裝有雙目相機，所述雙目相機包括左相機和右相機，包括步驟：獲取雙目相機當前幀圖像；檢測所述當前幀圖像與已記錄路徑的關鍵幀圖像是否相似，若相似，根據所述當前幀圖像和關鍵幀圖像計算雙目相機的相對位姿，并根據所述雙目相機的相對位姿計算無人機的相對位姿，并對所述無人機的相對位姿進行修正；若不相似，判斷所述當前幀圖像是否為關鍵幀圖像，若是，將所述當前幀圖像存儲為關鍵幀圖像。2.如權利要求1所述的處理方法，其特征在于，所述根據雙目相機的相對位姿計算無人機的相對位姿，具體為：根據優化函數獲取無人機的相對位姿，所述優化函數為：其中，Ti(t)表示t時刻第i幅關鍵幀時無人機的相對位姿，ρ指的是歐氏距離的平方，是3D點和2D圖像點的對應關系集合，Vi是第i幅關鍵幀里面的特征點集合，PWC指的是雙目相機的相對位姿，X指的是三維坐標點。3.如權利要求2所述的處理方法，其特征在于，所述對無人機的相對位姿進行修正，包括步驟：保存雙目相機的內參參數、外參參數、畸變參數，并將雙目相機中的左相機的中心設置為雙目相機的中心點；利用fast或Shi-Tomas角點提取算法提取左相機圖像中的角點xl，及利用Lucas-Kanade算法提取右相機圖像中的對應點xr，并且計算出所述角點xl和對應點xr計算點對；利用RANSAC算法計算單應性矩陣Hlr和基礎矩陣Flr，并根據所述單應性矩陣Hlr和基礎矩陣Flr剔除異常點對；對保留的點對計算對應的三維坐標點，并計算所有三維坐標點距離雙目相機的平均距離；根據所述關鍵幀圖像和無人機的相對位姿構建參考關鍵幀，并由所述參考關鍵幀變換臨時中間幀圖像，通過Lucas-Kanade算法對所述臨時中間幀圖像...

【專利技術屬性】
技術研發人員：繆瑞航，鄒丹平，裴凌，劉佩林，
申請(專利權)人：上海交通大學，
類型：發明
國別省市：上海,31