一種目標跟蹤抗遮擋的方法及裝置制造方法及圖紙

本發明專利技術涉及一種目標跟蹤抗遮擋的方法及裝置，用于解決有遮擋情況下的目標跟蹤。本發明專利技術首先選定圖像序列中的跟蹤目標；其次利用卷積神經網絡對圖像序列中前后相鄰兩幀圖像中的所述跟蹤目標進行位置跟蹤；然后提取跟蹤目標特征并根據所述跟蹤目標的特征向量計算跟蹤置信度；最后根據跟蹤置信度判斷是否存在遮擋，若無遮擋則直接輸出跟蹤結果，否則進行目標軌跡預測，然后輸出跟蹤結果。本發明專利技術方法可以快速簡單進行跟蹤效果評價，易于實現并保證實時性要求。所使用的工程化實現算法與人工特征提取方法相比，識別準確率更高。通過抗遮擋算法可以有效解決跟蹤目標丟失或被遮擋的情況。

An anti occlusion method and device for target tracking

【技術實現步驟摘要】
一種目標跟蹤抗遮擋的方法及裝置
本專利技術涉及圖像目標跟蹤
，具體涉及一種目標跟蹤抗遮擋的方法及裝置對感興趣目標進行持續跟蹤時，會出現遮擋等情況，使得跟蹤目標丟失。
技術介紹
目標視覺跟蹤是與許多現實應用相關的重要問題，包括視頻監控、自主車輛導航、人機交互等。跟蹤的過程一般是在給定視頻初始幀中選定目標對象，并獲取目標的初始狀態(如位置和大小)，在后續幀中自動估計移動對象的狀態。基于多層網絡的卷積神經網絡，可以在有效提取不同層次的特征，相比傳統的圖像處理算法，在目標檢測與分類上有著極大的泛化能力和準確程度。而將卷積神經網絡應用在視覺目標跟蹤上，可以有效提取不同類型目標不同層次特征，并結合相關濾波作為判別式，進行快速準確的視覺跟蹤。盡管視覺跟蹤已經研究了幾十年，但由于部分遮擋、快速和突然的物體運動、照明變化以及視點和姿勢的大變化等各種因素，目標跟蹤仍然是一個具有挑戰性的問題。
技術實現思路
本專利技術針對現有技術中存在的技術問題，提供一種解決跟蹤目標遮擋情況下的方法。本方法采用全卷積孿生網絡，對輸入圖像序列或者視頻中目標進行持續快速跟蹤，設計了一種新的檢測機制，基于快速高效的跟蹤置信度參數，來判斷跟蹤的目標是否被遮擋，從而決定是否更新模板。如果出現遮擋并不斷預測物體運動軌跡，并不斷糾正。在輸入的視頻中第一幀選定需要跟蹤的目標。將該幀與后續幀輸入全卷積孿生網絡，提取跟蹤目標的特征，兩個卷積神經網絡共享權值。提取輸入圖像對中目標回歸模型，然后通過相關濾波方法，篩選相關度強的圖譜，在頻域中進行計算完成目標跟蹤。通過跟蹤置信度參數T判斷跟蹤過程是否出現遮擋等異常情況，并不斷刷新計算跟蹤置信度指標參數T。本專利技術解決上述技術問題的技術方案如下：第一方面，本專利技術提供一種目標跟蹤抗遮擋的方法，包括以下步驟：獲取圖像序列并選定跟蹤目標；利用卷積神經網絡對圖像序列中前后相鄰兩幀圖像中的所述跟蹤目標進行位置跟蹤；提取跟蹤目標特征并根據所述跟蹤目標的特征向量計算跟蹤置信度；根據跟蹤置信度判斷是否存在遮擋，若無遮擋則直接輸出跟蹤結果，否則進行目標軌跡預測，然后輸出跟蹤結果。進一步的，所述的跟蹤目標的選定方法包括人為選擇矩形區域框選跟蹤目標或利用運動物體檢測算法自動選取跟蹤目標。進一步的，所述的利用卷積神經網絡對圖像序列中前后相鄰兩幀圖像中的所述跟蹤目標進行位置跟蹤，包括：選擇相鄰兩幀分別作為全卷積非對稱孿生網絡的兩個分支的輸入；其中前一幀x'為模板圖片，下一幀圖像z'為測試圖片，對應目標物搜索圖像，用于在矩形區域內利用滑動窗口進行搜索；在所述全卷積非對稱孿生網絡的其中一個分支網絡后加入相關濾波，對所述全卷積非對稱孿生網絡的兩個分支做互相關；構建空間映射用于表達相鄰兩幀的互相關結果，特征映射中的最大值及為目標位置。進一步的，所述全卷積非對稱孿生網絡為將對稱的孿生網絡中的其中一個分支增加可微分層，所述可微分層用于實現相關濾波及裁剪。進一步的，所述的孿生網絡包括兩個學習參數為ρ的卷積神經網絡CNN分支，所述卷積神經網絡CNN由依次連接的卷積層、歸一化層、非線性激活層、池化層、卷積層、歸一化層、非線性激活層、池化層、卷積層、非線性激活、卷積層、非線性激活、卷積層、非線性激活構成，所述池化層采用max-pooling，除最后一卷積層外，其他卷積層后均連接有一個ReLU非線性激活層。進一步的，所述的提取跟蹤目標特征并根據所述跟蹤目標的特征向量計算跟蹤置信度，包括：計算跟蹤目標矩形框中每個像素位置的梯度方向值；將圖像劃分為多個元胞，每個元胞為6×6個像素，然后每2×2的元胞構成一個模塊；根據像素位置的梯度方向值計算元胞的特征向量，然后根據所述元胞的特征向量計算每個模塊的特征向量；串聯所有所述模塊的特征向量構成圖像的特征向量；將預設時間片段內所有圖像中的目標特征向量組成一個一維向量，計算該一維向量的峭度和方差，并根據所述峭度和方差計算位置置信度。進一步的，所述的目標軌跡預測，包括：假設tn時刻出現遮擋，則將前兩個時刻tn-2和tn-1的幀圖像作為參考，計算每幀圖像上跟蹤目標的運動方向矢量；利用所述運動方向矢量構建線性方程，并根據所述線性方程設計損失代價函數，當所述代價函數達到最小情況，則認為實際值與預測值最接近；將所述代價函數達到最小情況時的線性方程映射到圖像中，確定相應像素位置。第二方面，本專利技術提供一種目標跟蹤抗遮擋的裝置，包括：視頻幀獲取模塊，用于獲取圖像序列并選定跟蹤目標；位置跟蹤模塊，利用卷積神經網絡對圖像序列中前后相鄰兩幀圖像中的所述跟蹤目標進行位置跟蹤；跟蹤置信度計算模塊，用于提取跟蹤目標特征并根據所述跟蹤目標的特征向量計算跟蹤置信度；跟蹤結果輸出模塊，用于根據跟蹤置信度判斷是否存在遮擋，若無遮擋則直接輸出跟蹤結果，否則進行目標軌跡預測，然后輸出跟蹤結果。第三方面，本專利技術提供一種電子設備，包括：存儲器，用于存儲計算機軟件程序；處理器，用于讀取并執行所述存儲器中存儲的計算機軟件程序，并實現本專利技術第一方面所述的一種目標跟蹤抗遮擋的方法。第四方面，本專利技術提供一種非暫態計算機可讀存儲介質，所述存儲介質內存儲有用于實現本專利技術第一方面所述的一種目標跟蹤抗遮擋的方法的計算機軟件程序。本專利技術的有益效果是：本專利技術設計了一種新的檢測機制即跟蹤置信度參數，在跟蹤過程中不斷評估跟蹤效果來判斷目標是否被遮擋或丟失。采用了卷積孿生網絡方法，提取跟蹤目標的不同層次特征，并結合相關濾波作為判據，實現快速準確的跟蹤。當目標被遮擋或丟失后，通過抗遮擋算法，不斷更新運動軌跡方程，預測目標位置。與當前的工程化方法相比，本專利技術方法可以快速簡單進行跟蹤效果評價，易于實現并保證實時性要求。所使用的工程化實現算法與人工特征提取方法相比，識別準確率更高。通過抗遮擋算法可以有效解決跟蹤目標丟失或被遮擋的情況。附圖說明圖1為本專利技術實施例提供的一種目標跟蹤抗遮擋的方法流程圖；圖2為本專利技術實施例提供的一種目標跟蹤抗遮擋的裝置結構圖。具體實施方式以下結合附圖對本專利技術的原理和特征進行描述，所舉實例只用于解釋本專利技術，并非用于限定本專利技術的范圍。實施例一本專利技術實施例提出一種解決跟蹤目標遮擋情況下的方法。本方法采用全卷積孿生網絡，對輸入圖像序列或者視頻中目標進行持續快速跟蹤，設計了一種新的檢測機制，基于快速高效的跟蹤置信度參數，來判斷跟蹤的目標是否被遮擋，從而決定是否更新模板。如果出現遮擋并不斷預測物體運動軌跡，并不斷糾正。在輸入的視頻中第一幀選定需要跟蹤的目標。將該幀與后續幀輸入全卷積孿生網絡，提取跟蹤目標的特征，兩個卷積神經網絡共享權值。提取輸入圖像對中目標回歸模型，然后通過相關濾波方法，篩選相關度強的圖譜，在頻域中進行計算完成目標跟蹤。通過跟蹤置信度本文檔來自技高網...

【技術保護點】
1.一種目標跟蹤抗遮擋的方法，其特征在于，包括以下步驟：/n獲取圖像序列并選定跟蹤目標；/n利用卷積神經網絡對圖像序列中前后相鄰兩幀圖像中的所述跟蹤目標進行位置跟蹤；/n提取跟蹤目標特征并根據所述跟蹤目標的特征向量計算跟蹤置信度；/n根據跟蹤置信度判斷是否存在遮擋，若無遮擋則直接輸出跟蹤結果，否則進行目標軌跡預測，然后輸出跟蹤結果。/n

【技術特征摘要】
1.一種目標跟蹤抗遮擋的方法，其特征在于，包括以下步驟：
獲取圖像序列并選定跟蹤目標；
利用卷積神經網絡對圖像序列中前后相鄰兩幀圖像中的所述跟蹤目標進行位置跟蹤；
提取跟蹤目標特征并根據所述跟蹤目標的特征向量計算跟蹤置信度；
根據跟蹤置信度判斷是否存在遮擋，若無遮擋則直接輸出跟蹤結果，否則進行目標軌跡預測，然后輸出跟蹤結果。


2.根據權利要求1所述的方法，其特征在于，所述的跟蹤目標的選定方法包括人為選擇矩形區域框選跟蹤目標或利用運動物體檢測算法自動選取跟蹤目標。


3.根據權利要求1所述的方法，其特征在于，所述的利用卷積神經網絡對圖像序列中前后相鄰兩幀圖像中的所述跟蹤目標進行位置跟蹤，包括：
選擇相鄰兩幀分別作為全卷積非對稱孿生網絡的兩個分支的輸入；其中前一幀x'為模板圖片，下一幀圖像z'為測試圖片，對應目標物搜索圖像，用于在矩形區域內利用滑動窗口進行搜索；
在所述全卷積非對稱孿生網絡的其中一個分支網絡后加入相關濾波，對所述全卷積非對稱孿生網絡的兩個分支做互相關；
構建空間映射用于表達相鄰兩幀的互相關結果，特征映射中的最大值及為目標位置。


4.根據權利要求3所述的方法，其特征在于，所述全卷積非對稱孿生網絡為將對稱的孿生網絡中的其中一個分支增加可微分層，所述可微分層用于實現相關濾波及裁剪。


5.根據權利要求3或4所述的方法，其特征在于，所述的孿生網絡包括兩個學習參數為ρ的卷積神經網絡CNN分支，所述卷積神經網絡CNN由依次連接的卷積層、歸一化層、非線性激活層、池化層、卷積層、歸一化層、非線性激活層、池化層、卷積層、非線性激活、卷積層、非線性激活、卷積層、非線性激活構成，所述池化層采用max-pooling，除最后一卷積層外，其他卷積層后均連接有一個ReLU非線性激活層。


6.根據權利要求1所述的方法，其特征在于，所述的提取跟蹤目標特征并根據所述...

【專利技術屬性】
技術研發人員：范強，張智杰，徐寅，孫剛波，王洪，
申請(專利權)人：中國船舶重工集團公司第七一七研究所，
類型：發明
國別省市：湖北;42