【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)屬于飛行汽車計算機視覺領(lǐng)域，具體涉及一種魯棒的飛行汽車空地目標匹配方法及系統(tǒng)。
技術(shù)介紹
1、飛行汽車技術(shù)的快速發(fā)展及其在城市交通、物流運輸和應(yīng)急救援等領(lǐng)域的應(yīng)用，對車輛的自主導(dǎo)航、安全控制和協(xié)同作業(yè)提出了越來越高的要求。其中，實現(xiàn)飛行汽車在空地模式切換過程中的精準目標識別與跟蹤至關(guān)重要。然而，現(xiàn)有的目標識別與跟蹤技術(shù)在飛行汽車場景下面臨諸多挑戰(zhàn)：單一視角的目標跟蹤易受視角限制和目標遮擋影響；飛行模式下目標尺寸縮小，易受光照、大氣干擾等影響；地面行駛模式下，中遠距離目標細節(jié)缺失；不同模態(tài)下(飛行模式和地面行駛模式)的目標識別和匹配也存在困難。現(xiàn)有技術(shù)如yolov5s、deepsort和fastreid等算法，雖然在各自領(lǐng)域取得了一定成果，但直接應(yīng)用于飛行汽車空地目標匹配時，其魯棒性和準確性仍不足以滿足高精度、高實時性的要求，難以有效解決目標遮擋、視角變化、光照變化等復(fù)雜情況。
2、因此，迫切需要一種能夠有效應(yīng)對飛行汽車空地模式切換以及多車協(xié)同作業(yè)挑戰(zhàn)的魯棒目標匹配方法。
技術(shù)實現(xiàn)思路
1、針對現(xiàn)有技術(shù)的不足，本專利技術(shù)的目的在于提供一種魯棒的飛行汽車空地目標匹配方法及系統(tǒng)，解決了現(xiàn)有技術(shù)中的問題。
2、本專利技術(shù)的目的可以通過以下技術(shù)方案實現(xiàn)：
3、一種魯棒的飛行汽車空地目標匹配方法，包括以下步驟：
4、接收飛行汽車地面行駛模式與飛行模式的圖像；
5、基于yolov5s網(wǎng)絡(luò)，引入ca注意力機制并改進損失函數(shù)，來對
6、針對檢測結(jié)果，進行基于deepsort算法的目標跟蹤處理，并對跟蹤結(jié)果進行重識別預(yù)處理，獲得待檢測數(shù)據(jù)集；
7、針對目標圖像與待檢測數(shù)據(jù)集，進行基于fastreid算法的目標重識別處理；
8、對重識別結(jié)果進行余弦相似度計算匹配，并進行再跟蹤。
9、進一步地，所述ca注意力機制將2d池化分解為兩個1d平均池化，按照兩個不同的池化核分別沿水平和豎直方向進行池化操作。
10、進一步地，改進的損失函數(shù)lmpdiou為：
11、lmpdiou＝1-mpdiou
12、
13、其中，表示預(yù)測框的左上坐標和右下坐標，表示實際框的左上坐標和右下坐標，w和h表示輸入圖像的寬和高，c表示最小封閉面積，a表示預(yù)測框范圍，b表示真實框范圍，表示兩個框左上角之間的歐氏距離的平方，表示兩個框右下角之間的歐氏距離的平方。
14、進一步地，對跟蹤結(jié)果進行重識別預(yù)處理的過程為：將跟蹤結(jié)果的圖像以及預(yù)測框txt文件逐幀保存，并將保存圖像根據(jù)預(yù)測框坐標進行截取，獲得待檢測數(shù)據(jù)集。
15、進一步地，在所述目標重識別處理過程中，對圖像進行預(yù)處理后，利用骨干網(wǎng)絡(luò)生成特征，再利用聚合模塊生成全局特征，之后使用head模塊對全局特征進行歸一化操作；
16、所述骨干網(wǎng)絡(luò)以resnet、resnext和resnest為網(wǎng)絡(luò)架構(gòu)，并融入ibn機制；所述head模塊中組合使用歸一化頭、線性頭和簡化頭。
17、進一步地，對重識別結(jié)果進行余弦相似度計算匹配的步驟為：
18、s51，依次讀取待檢測數(shù)據(jù)集的重識別結(jié)果向量，與目標圖像特征向量進行余弦相似度計算；
19、s52，將待檢測數(shù)據(jù)集的余弦相似度結(jié)果按大小排序。
20、一種魯棒的飛行汽車空地目標匹配系統(tǒng)，包括：
21、圖像接收模塊：接收飛行汽車地面行駛模式與飛行模式的圖像；
22、圖像檢測模塊基于yolov5s網(wǎng)絡(luò)，引入ca注意力機制并改進損失函數(shù)，來對接收的圖像進行檢測；
23、跟蹤處理模塊：針對檢測結(jié)果，進行基于deepsort算法的目標跟蹤處理，并對跟蹤結(jié)果進行重識別預(yù)處理，獲得待檢測數(shù)據(jù)集；
24、重識別模塊：針對目標圖像與待檢測數(shù)據(jù)集，進行基于fastreid算法的目標重識別處理；
25、匹配跟蹤模塊：對重識別結(jié)果進行余弦相似度計算匹配，并進行再跟蹤。
26、一種計算機存儲介質(zhì)，存儲有可讀程序，當(dāng)程序運行時，能夠執(zhí)行上述的一種魯棒的飛行汽車空地目標匹配方法。
27、一種電子設(shè)備，包括：處理器、存儲器、通信接口和通信總線，所述處理器、所述存儲器和所述通信接口通過所述通信總線完成相互間的通信；
28、所述存儲器用于存放至少一條可執(zhí)行指令，所述可執(zhí)行指令使所述處理器執(zhí)行上述的一種魯棒的飛行汽車空地目標匹配方法對應(yīng)的操作。
29、一種計算機程序產(chǎn)品，包括計算機指令，所述計算機指令指示計算設(shè)備執(zhí)行上述的一種魯棒的飛行汽車空地目標匹配方法對應(yīng)的操作。
30、本專利技術(shù)的有益效果：
31、1、本專利技術(shù)通過改進損失函數(shù)并引入注意力機制實現(xiàn)空中視角對小目標的識別。
32、2、本專利技術(shù)通過空地雙視角目標匹配方法實現(xiàn)飛行汽車兩種模態(tài)下對同一目標的id匹配，有效解決單視角下目標遮擋的問題。
本文檔來自技高網(wǎng)...【技術(shù)保護點】
1.一種魯棒的飛行汽車空地目標匹配方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種魯棒的飛行汽車空地目標匹配方法，其特征在于，所述CA注意力機制將2D池化分解為兩個1D平均池化，按照兩個不同的池化核分別沿水平和豎直方向進行池化操作。
3.根據(jù)權(quán)利要求1所述的一種魯棒的飛行汽車空地目標匹配方法，其特征在于，改進的損失函數(shù)LMPDIoU為：
4.根據(jù)權(quán)利要求1所述的一種魯棒的飛行汽車空地目標匹配方法，其特征在于，對跟蹤結(jié)果進行重識別預(yù)處理的過程為：將跟蹤結(jié)果的圖像以及預(yù)測框txt文件逐幀保存，并將保存圖像根據(jù)預(yù)測框坐標進行截取，獲得待檢測數(shù)據(jù)集。
5.根據(jù)權(quán)利要求1所述的一種魯棒的飛行汽車空地目標匹配方法，其特征在于，在所述目標重識別處理過程中，對圖像進行預(yù)處理后，利用骨干網(wǎng)絡(luò)生成特征，再利用聚合模塊生成全局特征，之后使用Head模塊對全局特征進行歸一化操作；
6.根據(jù)權(quán)利要求4所述的一種魯棒的飛行汽車空地目標匹配方法，其特征在于，對重識別結(jié)果進行余弦相似度計算匹配的步驟為：
7.一種魯棒的飛行汽車
8.一種計算機存儲介質(zhì)，存儲有可讀程序，其特征在于，當(dāng)程序運行時，能夠執(zhí)行權(quán)利要求1-6任一項所述的一種魯棒的飛行汽車空地目標匹配方法。
9.一種電子設(shè)備，其特征在于，包括：處理器、存儲器、通信接口和通信總線，所述處理器、所述存儲器和所述通信接口通過所述通信總線完成相互間的通信；
10.一種計算機程序產(chǎn)品，包括計算機指令，其特征在于，所述計算機指令指示計算設(shè)備執(zhí)行如權(quán)利要求1-6中任一所述的一種魯棒的飛行汽車空地目標匹配方法對應(yīng)的操作。
...【技術(shù)特征摘要】
1.一種魯棒的飛行汽車空地目標匹配方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種魯棒的飛行汽車空地目標匹配方法，其特征在于，所述ca注意力機制將2d池化分解為兩個1d平均池化，按照兩個不同的池化核分別沿水平和豎直方向進行池化操作。
3.根據(jù)權(quán)利要求1所述的一種魯棒的飛行汽車空地目標匹配方法，其特征在于，改進的損失函數(shù)lmpdiou為：
4.根據(jù)權(quán)利要求1所述的一種魯棒的飛行汽車空地目標匹配方法，其特征在于，對跟蹤結(jié)果進行重識別預(yù)處理的過程為：將跟蹤結(jié)果的圖像以及預(yù)測框txt文件逐幀保存，并將保存圖像根據(jù)預(yù)測框坐標進行截取，獲得待檢測數(shù)據(jù)集。
5.根據(jù)權(quán)利要求1所述的一種魯棒的飛行汽車空地目標匹配方法，其特征在于，在所述目標重識別處理過程中，對圖像進行預(yù)處理后，利用骨干網(wǎng)絡(luò)生成特征，...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：殷國棟，陳旭東，李兵兵，莊偉超，邱春龍，張嘉桐，
申請(專利權(quán))人：東南大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。