一種基于TLD的適用于無人機的變尺度目標跟蹤方法技術(shù)

本發(fā)明專利技術(shù)屬于圖像處理、計算機視覺領(lǐng)域，具體涉及一種基于TLD的適用于無人機的變尺度目標跟蹤方法。采用跟蹤?學(xué)習(xí)?檢測框架的設(shè)計思路，跟蹤器采用中值光流跟蹤器，檢測器采用歸一化相關(guān)檢測器，學(xué)習(xí)器則采用改進的kNN檢測器。基于無人機偵查視頻序列的特點和難點，統(tǒng)籌算法的性能和適應(yīng)性，融合中值光流法以及相關(guān)跟蹤算法的優(yōu)點，提出一種基于TLD框架下的適用于無人機的目標跟蹤算法，解決了無人機視頻處理系統(tǒng)目標跟蹤的在目標給定不明確時目標魯棒跟蹤問題、待跟蹤目標像素數(shù)較少，紋理不明顯、目標外形姿態(tài)角度及尺度變化明顯和跟蹤處理的實時性問題。

A variable scale target tracking method for UAVs based on TLD

The invention belongs to the field of image processing and computer vision, in particular to a variable scale target tracking method suitable for Unmanned Aerial Vehicles Based on TLD. By tracking learning design detection framework, tracker using median optical flow tracker, detector using normalized correlation detector, kNN detector is used for learning improvement. The characteristics and difficulties of the UAV detection based on video sequence, and the algorithm performance and adaptability, the advantages of fusion median optical flow method and correlation tracking algorithm, proposes a target tracking algorithm for UAV Based on TLD framework, solve the UAV video processing system for target tracking in a given target is not clear goals robust tracking problem, target pixel number, texture is not obvious, the target attitude angle and scale shape changes obviously and tracking the real time problem.

【技術(shù)實現(xiàn)步驟摘要】
一種基于TLD的適用于無人機的變尺度目標跟蹤方法
本專利技術(shù)主要屬于圖像處理、計算機視覺領(lǐng)域，具體涉及一種基于TLD的適用于無人機的變尺度目標跟蹤方法。
技術(shù)介紹
目標跟蹤技術(shù)在軍用無人機作戰(zhàn)偵察，精確打擊領(lǐng)域均有廣泛的應(yīng)用，也為目標定位，毀傷評估等情報處理功能提供技術(shù)支持。準確性強，魯棒性高的目標跟蹤算法，可以有效減輕地面操作人員的負擔，提高快速響應(yīng)作戰(zhàn)能力以及系統(tǒng)偵查能力。目前工程運用中，運用最多的即為相關(guān)跟蹤算法，該算法易于硬件實現(xiàn)，簡單有效，處理速度也很可觀，但算法魯棒性不強，且不能對目標尺度變化及遮擋情況進行判斷和捕捉。此外一些其他的較為常用的目標跟蹤算法有中值光流法，TLD(Tracking-Learning-Detection)算法，LCT(Long-termCorrelationTracking)算法等。中值光流法是對傳統(tǒng)LK光流法的改進，通過正反雙向應(yīng)用光流法提高光流跟蹤的精度，但在視頻抖動時誤差較大。TLD算法通過在線學(xué)習(xí)的方式，采用PN學(xué)習(xí)的策略結(jié)合中值光流法和在線級聯(lián)分類器，可實現(xiàn)長時間目標跟蹤，但跟蹤效率低，320*240分辨率大小的圖像在后期的處理速度僅為5fps。LCT算法通過在高速相關(guān)跟蹤的基礎(chǔ)上，通過設(shè)立外觀模型進行遮擋判斷檢測，在線SVM分類器進行目標重捕，也可實現(xiàn)對目標的長時間跟蹤，目標丟失后的重捕準確率較TLD算法不足，實時性有所提高，每秒可達10fps左右。以上算法在日常監(jiān)控領(lǐng)域均取得了很好的跟蹤效果，但是在無人機偵查處理系統(tǒng)中，由于航拍時種種條件的限制無法獲得較好的推廣和應(yīng)用。在無人機視頻處理系統(tǒng)中目標跟蹤技術(shù)主要面臨以下問題：1)目標指定方式，無人機偵察時往往操作時只能點選目標的大概位置，無法給定準確的目標矩形框；2)無人機航拍視頻中，目標所占像素數(shù)不足，且在整個畫面中比例較小，紋理特征不明顯；3)無人機航拍視頻中，由于拍攝圖像受載荷及飛機姿態(tài)的影響，導(dǎo)致目標角度尺度變化明顯。4)在現(xiàn)有硬件處理基礎(chǔ)上，如何保證跟蹤實時性；
技術(shù)實現(xiàn)思路
基于上述問題，本專利技術(shù)提供一種基于TLD框架下的適用于無人機的目標跟蹤方法，基于無人機偵查視頻序列的特點和難點，統(tǒng)籌算法的性能和適應(yīng)性，融合中值光流法以及相關(guān)跟蹤算法的優(yōu)點，解決了無人機視頻處理系統(tǒng)目標跟蹤的諸多問題。本專利技術(shù)是通過以下技術(shù)方案實現(xiàn)的：一種基于TLD的適用于無人機的目標跟蹤方法，所述目標跟蹤方法基于TLD算法，所述TLD算法包括跟蹤器、檢測器及學(xué)習(xí)器，學(xué)習(xí)器基于kNN分類器；所述目標跟蹤方法包括以下步驟：(1)初始化跟蹤器、檢測器及學(xué)習(xí)器；(2)跟蹤器采用中值光流法依據(jù)初始位置預(yù)測當前幀目標的位置作為目標跟蹤結(jié)果，跟蹤器同時依據(jù)目標跟蹤結(jié)果判斷跟蹤成功或跟蹤失敗；(3)檢測器采用以目標為模板，利用歸一化相關(guān)算法對搜索區(qū)域進行相關(guān)運算計算歸一化相關(guān)系數(shù)，得到目標檢測結(jié)果，檢測器同時依據(jù)目標檢測結(jié)果判斷檢測成功或檢測失敗；(4)學(xué)習(xí)器將所述目標跟蹤結(jié)果和所述目標檢測結(jié)果分別與待測目標進行匹配得出歸一化相關(guān)系數(shù)，依據(jù)最大相關(guān)系數(shù)選擇目標跟蹤結(jié)果或目標檢測結(jié)果或目標跟蹤結(jié)果和目標檢測結(jié)果的均值作為目標最終結(jié)果；(5)學(xué)習(xí)器根據(jù)目標最終結(jié)果確定目標旋轉(zhuǎn)角度及目標縮放系數(shù)；(6)結(jié)合目標最終結(jié)果、目標旋轉(zhuǎn)角度及尺度變化更新學(xué)習(xí)器、跟蹤器和檢測器，進行下一步目標跟蹤。進一步地，步驟(3)具體為：對模板圖像進行延拓、濾波，再將其與輸入圖像做卷積運算，卷積計算結(jié)果做逆傅里葉變換，利用歸一化相關(guān)算法獲得整幅圖像各個點的歸一化相關(guān)系數(shù)，最大歸一化相關(guān)系數(shù)所對應(yīng)的位置為檢測目標所在位置即目標檢測結(jié)果；對模板圖像進行延拓是指通過將模板圖像邊緣補0使模板圖像的大小擴大到和輸入圖像的大小一致。進一步地，步驟(5)具體為：將每幀目標最終結(jié)果作為正樣本模型，將所有正樣本模型的圖像大小縮放至同一大小；同時分別設(shè)立不同角度的正樣本模型，即以初始幀為0度，對正樣本模型進行放射變換，每隔θ度為一組，得到360/θ組正樣本模型；θ為360的約數(shù)；優(yōu)選地，θ為30。選取上一幀遠離目標區(qū)域的N個圖像塊作為負樣本模型，同樣將負樣本模型的圖像大小縮放至與正樣品模型的圖像大小一致；N取150-300；優(yōu)選地，N取200；所述學(xué)習(xí)器基于kNN分類器,計算待比對圖像同正樣本模型和負樣本模型的歸一化相關(guān)系數(shù),依據(jù)歸一化相關(guān)系數(shù)排序，取其中最高的k個樣本模型，k為奇數(shù)；如果樣品類別中正樣本模型數(shù)目大于負樣本模型數(shù)目，則表明待檢測圖像為目標，否則認為待檢測圖像為干擾區(qū)域；在確定待檢測圖像為目標后，比對相鄰兩組正樣本模型，計算其歸一化相關(guān)系數(shù)，選擇歸一化相關(guān)系數(shù)最大者組別的角度定為目標當前旋轉(zhuǎn)角度；以待檢測圖像中心為中心，分別取大小為待檢測圖像不同倍數(shù)(γ1，γ2，γ3)區(qū)域作為新的待檢測圖像計算其在正樣本模型中的歸一化相關(guān)系數(shù)，選擇歸一化相關(guān)系數(shù)最大者作為最終結(jié)果，并獲得此時倍數(shù)γ作為目標縮放系數(shù)，γ為γ1、γ2、γ3其中之一；γ1、γ2、γ3分別取1.05～1.2、1、0.8～0.95。優(yōu)選地，γ1、γ2、γ3分別取1.1、1、0.9。進一步地，步驟(4)具體為：若跟蹤器和檢測器均成功，判斷兩者跟蹤結(jié)果是否近似相同；所述近似相同是指目標跟蹤結(jié)果的矩形框與目標檢測結(jié)果的矩形框的重載率>a或兩矩形框的中心點距離小于d；所述重載率即兩矩形框的重載率為其交集與其并集的比；學(xué)習(xí)器根據(jù)kNN分類器計算待匹配樣本同正樣本模型中的最大相關(guān)系數(shù)即匹配率，同時判斷是否發(fā)生遮擋；若近似相同，取匹配率較高的結(jié)果作為目標最終結(jié)果，同時更新最近鄰檢測器；若重載率<b，則認為兩者檢測結(jié)果不同，此時取匹配率較高同時kNN分類器判斷未被遮擋的結(jié)果為目標最終結(jié)果；若重載率大于b但小于a時，取目標跟蹤結(jié)果與目標檢測結(jié)果的均值作為目標最終結(jié)果；若跟蹤器和檢測器僅有一個成功，則使用kNN分類器對結(jié)果判斷，未被遮擋則作為目標最終結(jié)果；其中，a取0.5-0.8；b取0.2-0.4；d取3-6個像素。優(yōu)選地，a取0.7，b取0.4，d取4個像素。進一步地，步驟(2)具體為：在圖像中生成一系列待跟蹤點，首先進行一次金字塔光流跟蹤；再生成目標跟蹤點后，再將當前幀作為初始幀，反向跟蹤；取所有跟蹤點的位置與原始跟蹤點的位置偏差的均值為middleError,如果得到跟蹤點的位置與原始跟蹤點偏差>middleError則認為跟蹤不準確，將跟蹤準確的跟蹤點組合到一起，并由初始位置預(yù)測得到當前幀目標的位置即目標跟蹤結(jié)果；當跟蹤準確點的數(shù)目小于所有跟蹤點數(shù)目的一半時，則判斷跟蹤失敗。進一步地，歸一化相關(guān)系數(shù)的計算公式如下：其中：T′(x′，y′)＝T(x′，y′)-1/(w·h)·∑x″y″T(x″，y″）I′(x+x′，y+y′)＝I(x+x′，y+y′)-1/(w·h)·∑x″y″I(x+x″，y+y″)；w和h分別表示模板圖像的寬和高，R(x，y)為模板圖像在(x，y)位置的歸一化相關(guān)系數(shù)，且0≤R(x，y)≤1；若檢測區(qū)域內(nèi)最大歸一化相關(guān)系數(shù)Rmax(x，y)＜0.5，則認為檢測失敗。本專利技術(shù)的有益技術(shù)效果：1)本專利技術(shù)運行效率高，在i7-4790處理器，8GB內(nèi)存條件下，運行速度可達15ms/幀～50ms本文檔來自技高網(wǎng)...

【技術(shù)保護點】
一種基于TLD的適用于無人機的目標跟蹤方法，所述目標跟蹤方法基于TLD算法，所述TLD算法包括跟蹤器、檢測器及學(xué)習(xí)器，所述學(xué)習(xí)器基于kNN分類器；其特征在于，所述目標跟蹤方法包括以下步驟：(1)初始化跟蹤器、檢測器及學(xué)習(xí)器；(2)跟蹤器采用中值光流法依據(jù)初始位置預(yù)測當前幀目標的位置作為目標跟蹤結(jié)果，跟蹤器同時依據(jù)目標跟蹤結(jié)果判斷跟蹤成功或跟蹤失敗；(3)檢測器采用以目標為模板，利用歸一化相關(guān)算法對搜索區(qū)域進行相關(guān)運算計算歸一化相關(guān)系數(shù)，得到目標檢測結(jié)果，檢測器同時依據(jù)目標檢測結(jié)果判斷檢測成功或檢測失敗；(4)學(xué)習(xí)器將所述目標跟蹤結(jié)果和所述目標檢測結(jié)果分別與待測目標利用歸一化相關(guān)算法進行匹配得出歸一化相關(guān)系數(shù)，依據(jù)最大相關(guān)系數(shù)選擇目標跟蹤結(jié)果或目標檢測結(jié)果或目標跟蹤結(jié)果和目標檢測結(jié)果的均值作為目標最終結(jié)果；(5)學(xué)習(xí)器根據(jù)目標最終結(jié)果確定目標旋轉(zhuǎn)角度及目標縮放系數(shù)；(6)結(jié)合目標最終結(jié)果、目標旋轉(zhuǎn)角度及尺度變化更新學(xué)習(xí)器、跟蹤器和檢測器，進行下一步目標跟蹤。

【技術(shù)特征摘要】
1.一種基于TLD的適用于無人機的目標跟蹤方法，所述目標跟蹤方法基于TLD算法，所述TLD算法包括跟蹤器、檢測器及學(xué)習(xí)器，所述學(xué)習(xí)器基于kNN分類器；其特征在于，所述目標跟蹤方法包括以下步驟：(1)初始化跟蹤器、檢測器及學(xué)習(xí)器；(2)跟蹤器采用中值光流法依據(jù)初始位置預(yù)測當前幀目標的位置作為目標跟蹤結(jié)果，跟蹤器同時依據(jù)目標跟蹤結(jié)果判斷跟蹤成功或跟蹤失敗；(3)檢測器采用以目標為模板，利用歸一化相關(guān)算法對搜索區(qū)域進行相關(guān)運算計算歸一化相關(guān)系數(shù)，得到目標檢測結(jié)果，檢測器同時依據(jù)目標檢測結(jié)果判斷檢測成功或檢測失敗；(4)學(xué)習(xí)器將所述目標跟蹤結(jié)果和所述目標檢測結(jié)果分別與待測目標利用歸一化相關(guān)算法進行匹配得出歸一化相關(guān)系數(shù)，依據(jù)最大相關(guān)系數(shù)選擇目標跟蹤結(jié)果或目標檢測結(jié)果或目標跟蹤結(jié)果和目標檢測結(jié)果的均值作為目標最終結(jié)果；(5)學(xué)習(xí)器根據(jù)目標最終結(jié)果確定目標旋轉(zhuǎn)角度及目標縮放系數(shù)；(6)結(jié)合目標最終結(jié)果、目標旋轉(zhuǎn)角度及尺度變化更新學(xué)習(xí)器、跟蹤器和檢測器，進行下一步目標跟蹤。2.如權(quán)利要求1所述目標跟蹤方法，其特征在于，步驟(3)具體為：對模板圖像進行延拓、濾波，再將其與輸入圖像做卷積運算，卷積計算結(jié)果做逆傅里葉變換，進而獲得整幅圖像各個點的歸一化相關(guān)系數(shù)，所述歸一化相關(guān)系數(shù)通過計算歸一化相關(guān)算法獲得；最大歸一化相關(guān)系數(shù)所對應(yīng)的位置為檢測目標所在位置即目標檢測結(jié)果；對模板圖像進行延拓是指通過將模板圖像邊緣補0使模板圖像的大小擴大到和輸入圖像的大小一致。3.如權(quán)利要求1所述目標跟蹤方法，其特征在于，步驟(5)具體為：將每幀目標最終結(jié)果作為正樣本模型，將正樣本模型的所有圖像的大小縮放至大小一致；同時分別設(shè)立不同角度的正樣本模型，即以初始幀為0度，對正樣本模型進行放射變換，每隔θ度為一組，得到360/θ組正樣本模型；θ取360的約數(shù)，θ越大則角度處理效果越差，越小則實時性越差；選取上一幀遠離目標區(qū)域的N個圖像塊作為負樣本模型，同樣將負樣本模型的圖像大小縮放至與正樣品模型圖像的大小一致；N取150-300；所述學(xué)習(xí)器基于kNN分類器,計算待比對圖像同正樣本模型和負樣本模型的歸一化相關(guān)系數(shù),依據(jù)歸一化相關(guān)系數(shù)排序，取其中最高的k個樣本模型，k為奇數(shù)；如果k個樣本模型中正樣本模型數(shù)目大于負樣本模型數(shù)目，則表明待檢測圖像為目標，否則認為待檢測圖像為干擾區(qū)域；在確定待檢測圖像為目標后，比對相鄰兩組正樣本模型，計算其歸一化相關(guān)系數(shù)，選擇歸一化相關(guān)系數(shù)最大者組別的角度定為目標當前旋轉(zhuǎn)角度；以待檢測圖像中心為中心，分別取大小為待檢測圖像不同倍數(shù)γ1、γ2、γ3區(qū)域作為新的待檢測圖像計算其在正樣本模型中的歸一化相關(guān)系數(shù)，選擇歸一化相關(guān)系數(shù)最大者作為最終結(jié)果，并獲得此時倍數(shù)γ作為目標縮放系數(shù)，γ為γ1、γ2、γ3其中之一；γ1、γ2、γ3分別取1.05～1.2、1、0.8～0.95。4.如權(quán)利要求1所述目標跟蹤方法，其特征在于，步驟(4)具體為...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：黃坤，吳國強，徐翔，尹中義，許克鵬，曲悠揚，
申請(專利權(quán))人：中國航天電子技術(shù)研究院，
類型：發(fā)明
國別省市：北京,11