基于嵌入式平臺的無人機車輛跟蹤方法技術

本發明專利技術公開了一種基于嵌入式平臺的無人機車輛跟蹤方法，主要解決現有技術中無人機在車輛跟蹤發生遮擋時跟蹤丟失的問題。其實現步驟為：1.訓練車輛分類器并標記地圖；2.獲取一幀圖像，初始化跟蹤目標；3.獲取一幀圖像進行目標跟蹤；4.用分類器判斷目標是否被遮擋，如果是，執行步驟5，否則執行步驟8；5.判斷目標是否在地圖的遮擋區域，如果是，執行步驟6，否則執行步驟7；6.在遮擋區域進行目標檢測并令無人機懸停，執行步驟9；7.預測目標位置；8.根據目標控制無人機的飛行；9.判斷是否結束，如果是則結束跟蹤，否則返回步驟3。本發明專利技術能對遮擋后的目標進行檢測與跟蹤，提高了跟蹤的魯棒性，可用于城市道路下對車輛的跟蹤。

Unmanned vehicle tracking method based on embedded platform

The invention discloses an unmanned vehicle tracking method based on an embedded platform, which mainly solves the problem that the tracking loss of the unmanned vehicle in the prior art is blocked when the vehicle tracking is blocked. The method comprises the following steps: 1. training vehicle classifier and mark map; 2. to obtain an image, initialize the tracking target; 3. to obtain an image of target tracking; 4. classifier to determine whether the target is occluded, if it is, step 5, step 8 or 5.; the judgment target whether in the occluded, map if it is, step 6, otherwise step 7; 6. in the occluded target detection and make UAV hovering, step 9; 7. predicted target position; 8. according to the target control of the UAV flight; 9. to determine whether the end, if it is the end of follow-up, otherwise return to step 3. The method can detect and track the occluded targets, improve the robustness of tracking, and can be used for tracking vehicles under urban roads.

【技術實現步驟摘要】
基于嵌入式平臺的無人機車輛跟蹤方法
本專利技術屬于圖像處理
，更進一步涉及一種無人機車輛跟蹤方法，可用于城市道路下復雜環境的車輛跟蹤。
技術介紹
近年來，無人機事業發展迅速，由于具有結構簡單，高靈活性、機動性強、成本低廉、便于裝備各類傳感器等優點，同時可在復雜環境中進行懸停和垂直起降，無人機是完成目標檢測、目標跟蹤、監控等任務的理想平臺。目前無人機已經應用在諸多目標監控與跟蹤領域中。基于無人機的車輛跟蹤是一個典型應用，可利用無人機的車輛跟蹤進行逃犯追捕、基于車輛跟蹤的航拍跟拍、電影拍攝等,具有重要現實意義。但由于在城市環境中，因為人行天橋、立交橋等復雜遮擋存在，基于無人機的車輛跟蹤易發生跟蹤目標丟失，致使跟蹤失敗。所以，利用無人機上搭配的傳感器，結合航拍下車輛跟蹤的特點，是一種有效解決無人機的車輛跟蹤的方案。成都通甲優博科技有限責任公司的專利申請“一種基于無人機動平臺的車輛跟蹤方法”(公開號：CN104881650A，申請號：201510284911.6,J，申請日：2015年5月29日)中公開了一種基于無人機動平臺的車輛跟蹤方法。該方法主要通過目標車輛在當前視頻幀中的位置預測目標車輛接下去的運動軌跡，并根據預測位置調整無人機的運動方向，從而實現車輛的無人機航拍跟蹤。當在跟蹤目標車輛的時候發生目標丟失的情況，還利用卡爾曼濾波器預測目標車輛在后續視頻幀中可能出現的區域，并在后續視頻中標示該區域以便操作人員在視頻幀中快速找到目標車輛，進一步增加目標車輛跟蹤的穩定性。該方法的不足是整個實現方案無法有效判斷目標車輛是否丟失，同時目標丟失后雖然利用卡爾曼濾波來預測后續視頻中可能出現的位置，但仍需要操作人員在視頻幀查找目標，無法實現自動化跟蹤。
技術實現思路
本專利技術的目的在針對上述現有技術的不足，提供一種基于嵌入式平臺的無人機車輛跟蹤方法，以有效防止目標被遮擋導致跟蹤目標丟失的情況出現，提高車輛跟蹤的魯棒性，實現自動化跟蹤。本專利技術的技術方案是：通過在無人機上搭載嵌入式平臺對目標車輛使用核相關濾波算法進行目標跟蹤，并將跟蹤結果直接反饋給飛行控制模塊控制無人機的飛行。在跟蹤過程中，當利用車輛分類器判斷出跟蹤目標已丟失時，如果跟蹤目標在飛行區域標記的地圖的遮擋區域中，則結合傳感器信息在目標可能出現的區域進行目標檢測，否則使用卡爾曼濾波器預測被遮擋的目標的位置。其實現步驟包括如下：(1)訓練一個車輛分類器：利用無人機在城市交通場景中進行航拍，在航拍視頻中提取有車輛的正樣本，無車輛的負樣本，并利用正、負樣本訓練一個車輛分類器；(2)標記地圖：通過地圖軟件獲取飛行區域的地面地圖，并標記出立交橋、隧道這些出現車輛遮擋區域的入口和對應的出口，得到被標記的地圖；(3)初始化跟蹤目標的位置矩形框：(3a)通過攝像頭，獲取一幀圖像，通過視頻解碼器解碼后加載到嵌入式平臺的內存中，同時回傳給地面控制人員；(3b)地面控制人員在獲取的圖像中選取一個將跟蹤目標包含在內的矩形框，將所選的矩形框作為跟蹤目標的位置矩形框；(3c)用位置矩形框和水平垂直速度初始化卡爾曼濾波器，即將水平垂直速度初始化為0，同時用跟蹤目標的圖像初始化核相關跟蹤器；(4)通過攝像頭獲取一幀圖像，并由視頻解碼器解碼后加載到嵌入式平臺的內存中；(5)利用核相關濾波算法計算出跟蹤器與當前幀圖像的特征的響應矩陣，當前幀圖像目標的位置矩形框被識別為響應矩陣最大值的位置；(6)使用車輛分類器判斷目標是否被遮擋，如果是，則執行步驟(7)；否則，執行步驟(12)；(7)利用傳感器模塊獲得的無人機飛行參數，計算目標在被標記的地圖中的位置，并判斷該位置是否在被標記的地圖的遮擋區域中，如果是，則執行步驟(8)；否則，執行步驟(11)；(8)利用被標記的地圖得到被遮擋目標對應的出口區域，將出口區域轉換到當前幀圖像中，再通過目標檢測算法在當前幀圖像中篩選出目標的候選位置矩形框；(9)在當前幀圖像中，對每個目標的候選位置矩形框，都利用核相關濾波算法計算出跟蹤器與當前幀圖像的特征的響應矩陣，求出所有響應矩陣最大值的位置，作為當前幀圖像目標的位置矩形框；(10)嵌入式平臺發送懸停指令，通過飛行控制模塊令無人機懸停，執行步驟(13)；(11)使用卡爾曼濾波器在當前幀圖像中預測出目標的位置矩形框；(12)利用當前幀圖像中目標的位置矩形框更新卡爾曼濾波器和跟蹤器，并通過飛行控制模塊，嵌入式平臺發送飛行指令使目標偏移到攝像頭拍攝的中心，執行步驟(13)；(13)通信模塊檢測地面控制人員是否發送停止跟蹤的信號，如果是，則結束目標跟蹤；否則，返回步驟(4)。與現有技術相比，本專利技術具有以下優點：第一，本專利技術提出在無人機上搭載嵌入式平臺，并在無人機上進行在線目標跟蹤與檢測，克服了原有技術中需要遠端處理器的缺點，降低了跟蹤過程中通信模塊的傳輸帶寬，減少了傳輸干擾。第二，本專利技術利用無人機上的傳感器模塊，同時結合被標記的地圖信息，對跟蹤目標發生遮擋時進行預測，解決了現有技術中在復雜交通場景下未能對跟蹤目標發生遮擋后再重新檢測的問題，大大提高了跟蹤算法抗遮擋的魯棒性，實現目標在復雜場景中的自主跟蹤。第三，本專利技術使用卡爾曼濾波器，在跟蹤目標的直線行駛過程中發生遮擋時用卡爾曼濾波器的輸出作為跟蹤結果，充分利用了跟蹤目標的運動信息，提高了跟蹤算法抗遮擋的魯棒性。第四，本專利技術使用目標檢測算法，在跟蹤目標發生丟失需要對指定區域檢測時，通過篩選減少了候選框的數目，在不降低檢測準確率的同時，保證跟蹤處理的實時性。附圖說明圖1是本專利技術的實現流程圖。圖2是本專利技術使用的跟蹤系統的示意圖。具體實施方式以下結合附圖對本專利技術作進一步詳細描述。參照圖2，本專利技術使用的跟蹤系統包括嵌入式平臺、攝像頭、視頻解碼模塊、傳感器模塊、存儲器模塊、飛行控制模塊和通信模塊。其中，嵌入式平臺負責與其他模塊通信并完成目標自主跟蹤的處理；傳感器模塊配有氣壓計和全球定位系統模塊，用于獲取無人機的飛行高度與全球定位系統GPS信息；攝像頭模塊用于采集圖像幀并將圖像發送給視頻解碼模塊進行解碼；視頻解碼模塊完成碼流的解碼并將解碼后得到的視頻幀傳輸給嵌入式平臺；通信模塊與地面控制人員進行通信，用于傳送視頻幀圖像和接受地面控制人員的控制信號；飛行控制模塊根據飛行控制信號控制無人機的飛行。參照圖1，對本專利技術基于圖2系統進行無人機車輛跟蹤的方法，其實現步驟如下。步驟1，訓練一個車輛分類器。現有的車輛分類器有多種，包括級聯分類器、隨機森林、支持向量機SVM等，采樣不同的分類器有不同的訓練方式。本專利技術采用但不限于支持向量機SVM車輛分類器，其訓步驟如下：(1a)在航拍視頻中手工提取有車輛的正負樣本，正負樣本都通過開源計算機視覺庫OpenCV中的圖像縮放函數resize將圖像統一縮放到64×64大小，得到正樣本的訓練數據posData和負樣本的訓練數據negData；(1b)調用開源計算機視覺庫OpenCV中的支持向量機類CvSVM的成員函數train，利用正樣本訓練數據posData和負樣本訓練數據negData生成車輛分類器svm.xml。步驟2，標記地圖。通過全能電子地圖下載器下載飛行區域的地圖，找到立交橋、隧道這些出現車輛遮擋區域的入口，分別用不同的正整數標記，并且將入口到對應的本文檔來自技高網...

【技術保護點】
一種基于嵌入式平臺的無人機車輛跟蹤方法，包括：(1)訓練一個車輛分類器：利用無人機在城市交通場景中進行航拍，在航拍視頻中提取有車輛的正樣本，無車輛的負樣本，并利用正、負樣本訓練一個車輛分類器；(2)標記地圖：通過地圖軟件獲取飛行區域的地面地圖，并標記出立交橋、隧道這些出現車輛遮擋區域的入口和對應的出口，得到被標記的地圖；(3)初始化跟蹤目標的位置矩形框：(3a)通過攝像頭，獲取一幀圖像，通過視頻解碼器解碼后加載到嵌入式平臺的內存中，同時回傳給地面控制人員；(3b)地面控制人員在獲取的圖像中選取一個將跟蹤目標包含在內的矩形框，將所選的矩形框作為跟蹤目標的位置矩形框；(3c)用位置矩形框和水平垂直速度初始化卡爾曼濾波器，即將水平垂直速度初始化為0，同時用跟蹤目標的圖像初始化核相關跟蹤器；(4)通過攝像頭獲取一幀圖像，并由視頻解碼器解碼后加載到嵌入式平臺的內存中；(5)利用核相關濾波算法計算出跟蹤器與當前幀圖像的特征的響應矩陣，當前幀圖像目標的位置矩形框被識別為響應矩陣最大值的位置；(6)使用車輛分類器判斷目標是否被遮擋，如果是，則執行步驟(7)；否則，執行步驟(12)；(7)利用傳感器模塊獲得的無人機飛行參數，計算目標在被標記的地圖中的位置，并判斷該位置是否在被標記的地圖的遮擋區域中，如果是，則執行步驟(8)；否則，執行步驟(11)；(8)利用被標記的地圖得到被遮擋目標對應的出口區域，將出口區域轉換到當前幀圖像中，再通過目標檢測算法在當前幀圖像中篩選出目標的候選位置矩形框；(9)在當前幀圖像中，對每個目標的候選位置矩形框，都利用核相關濾波算法計算出跟蹤器與當前幀圖像的特征的響應矩陣，求出所有響應矩陣最大值的位置，作為當前幀圖像目標的位置矩形框；(10)嵌入式平臺發送懸停指令，通過飛行控制模塊令無人機懸停，執行步驟(13)；(11)使用卡爾曼濾波器在當前幀圖像中預測出目標的位置矩形框；(12)利用當前幀圖像中目標的位置矩形框更新卡爾曼濾波器和跟蹤器，并通過飛行控制模塊，嵌入式平臺發送飛行指令使目標偏移到攝像頭拍攝的中心，執行步驟(13)；(13)通信模塊檢測地面控制人員是否發送停止跟蹤的信號，如果是，則結束目標跟蹤；否則，返回步驟(4)。...

【技術特征摘要】
1.一種基于嵌入式平臺的無人機車輛跟蹤方法，包括：(1)訓練一個車輛分類器：利用無人機在城市交通場景中進行航拍，在航拍視頻中提取有車輛的正樣本，無車輛的負樣本，并利用正、負樣本訓練一個車輛分類器；(2)標記地圖：通過地圖軟件獲取飛行區域的地面地圖，并標記出立交橋、隧道這些出現車輛遮擋區域的入口和對應的出口，得到被標記的地圖；(3)初始化跟蹤目標的位置矩形框：(3a)通過攝像頭，獲取一幀圖像，通過視頻解碼器解碼后加載到嵌入式平臺的內存中，同時回傳給地面控制人員；(3b)地面控制人員在獲取的圖像中選取一個將跟蹤目標包含在內的矩形框，將所選的矩形框作為跟蹤目標的位置矩形框；(3c)用位置矩形框和水平垂直速度初始化卡爾曼濾波器，即將水平垂直速度初始化為0，同時用跟蹤目標的圖像初始化核相關跟蹤器；(4)通過攝像頭獲取一幀圖像，并由視頻解碼器解碼后加載到嵌入式平臺的內存中；(5)利用核相關濾波算法計算出跟蹤器與當前幀圖像的特征的響應矩陣，當前幀圖像目標的位置矩形框被識別為響應矩陣最大值的位置；(6)使用車輛分類器判斷目標是否被遮擋，如果是，則執行步驟(7)；否則，執行步驟(12)；(7)利用傳感器模塊獲得的無人機飛行參數，計算目標在被標記的地圖中的位置，并判斷該位置是否在被標記的地圖的遮擋區域中，如果是，則執行步驟(8)；否則，執行步驟(11)；(8)利用被標記的地圖得到被遮擋目標對應的出口區域，將出口區域轉換到當前幀圖像中，再通過目標檢測算法在當前幀圖像中篩選出目標的候選位置矩形框；(9)在當前幀圖像中，對每個目標的候選位置矩形框，都利用核相關濾波算法計算出跟蹤器與當前幀圖像的特征的響應矩陣，求出所有響應矩陣最大值的位置，作為當前幀圖像目標的位置矩形框；(10)嵌入式平臺發送懸停指令，通過飛行控制模塊令無人機懸停，執行步驟(13)；(11)使用卡爾曼濾波器在當前幀圖像中預測出目標的位置矩形框；(12)利用當前幀圖像中目標的位置矩形框更新卡爾曼濾波器和跟蹤器，并通過飛行控制模塊，嵌入式平臺發送飛行指令使目標偏移到攝像頭拍攝的中心，執行步驟(13)；(13)通信模塊檢測地面控制人員是否發送停止跟蹤的信號，如果是，則結束目標跟蹤；否則，返回步驟(4)。2.根據權利要求1所述的方法，其特征在于：步驟(3a)中所述的嵌入式平臺是指NVIDIA嵌入式平臺JetsonTX1。3.根據權利要求1所述的方法，其特征在于：步驟(1)中利用正、負樣本訓練一個車輛分類器，按如下步驟進行：(3a)先將正、負樣本縮放到64×64大小作為訓練的樣本圖像；(3b)通過adaboost算法或支持向量機或隨機森林算法訓練得到車輛分類器。4.根據權利要求1所述的方法，其特征在于：步驟(6)中使用車輛分類器判斷目標是否被遮擋，是先將目標圖像縮放到64×64大小，再通過車輛分類器進行分類，如果分類結果為負樣本，則判斷目標為被遮擋，否則判斷目標為沒有被遮擋。5.根據權利要求1所述的方法，其特征在于：步驟(8)中通過目標檢測算法在當前幀圖像中篩選出目標的候選位置矩形框，按如下步驟進行：(8a)通過目標檢測算法得到一系列的候選位置矩形框；(8b)去掉每個候選位置矩形框中與被遮擋的目標尺寸不相匹配的候選位置矩形框；(8c)對保留下的候選位置矩形框，根據檢測閾值進行降序排序，并選擇排序后互不重疊的前若干個候選位置矩形框。6.根據權利要求...

【專利技術屬性】
技術研發人員：吳憲云，吳仁堅，李云松，張靜，雷杰，郭杰，
申請(專利權)人：西安電子科技大學，
類型：發明
國別省市：陜西,61