一種用于復雜背景船舶的多目標識別方法技術

本發明專利技術屬于深度學習及目標識別技術領域，具體涉及一種用于復雜背景船舶的多目標識別方法。本發明專利技術利用環形注意力引導的CNN輸出高級特征，以增加對復雜背景圖像上目標所在區域的空間信息的獲取，特別是具有不同尺度大小的復雜空間位置的船舶目標；通過低級特征通過層間相關反卷積對目標區域中局部特征的關鍵像素值進行加權，得到復雜背景下詳細特征分布的圖像；通過循環注意力引導低層特征和高層特征進行聯合學習，增強了高層目標區域表達局部細節特征的能力。本發明專利技術能夠在真實海況、復雜多場景海況、目標類別樣本量不均衡的情況下實現船舶多目標識別，在船舶工業與海事管理等領域有較好的使用前景。有較好的使用前景。有較好的使用前景。

【技術實現步驟摘要】
一種用于復雜背景船舶的多目標識別方法


[0001]本專利技術屬于深度學習及目標識別
，具體涉及一種用于復雜背景船舶的多目標識別方法。

技術介紹

[0002]隨著深度學習網絡的成功發展，越來越多的研究人員將深度學習技術應用到海上和港口安防領域中，作為船舶監視的重要任務之一，具有重要的實用價值。現有的船舶分類方法多為二分類，只能對一張圖像中目標進行二分類判別。而在自然場景實際應用時，往往獲取的一張圖像中會出現多個不同類型船只，現有的二分類船舶識別方法將會漏掉大部分船舶目標，同時降低了船舶識別的準確度。與二分類識別方法不同，多目標識別需要在給定圖像中預測一組已有的目標感興趣區域或屬性。這些目標或屬性通常具有復雜的空間位置、不同的尺度大小、與背景的相似顏色和遮擋等變化，這些變化條件使得識別成為一項具有實際應用價值和挑戰性的任務。現有的處理多標簽識別任務的深度學習方法大致分為三個方向：空間信息定位目標區域、視覺注意力機制和標簽的依賴性。深度學習網絡提出之前，處理多標簽識別任務的最原始方法是將多標簽任務視為多個單標簽二分類任務單獨訓練。但這種方法忽略了標簽和特征之間的空間相關性。隨著深度學習的發展，越來越多人員提出了充分利用空間信息定位目標區域的研究方法。然而空間信息定位目標區域的方法雖然對模型的性能起到正相關作用，但引入了注釋的人工成本，帶來了巨大的計算量。人工注釋的高昂成本使得越來越多的研究致力于直接關注并定位圖像目標區域，但是視覺注意力旨在提取更多目標區域，對于復雜背景的圖像容易提取與目標相似的背景信息作為高級特征輸出。在標簽的依賴性方面，最近很多研究工作通過圖神經網絡探索標簽的語義信息，對標簽建模可以幫助捕獲與標簽共存的圖像特征，通過對標簽的依賴和提取，提高多目標識別模型的性能。但目標具有復雜的空間位置時，模型將出現部分目標區域定位錯誤，降低了模型的性能。

技術實現思路

[0003]本專利技術的目的在于提供一種低層次和高層次特征聯合學習，用于復雜背景船舶的多目標識別方法。
[0004]一種用于復雜背景船舶的多目標識別方法，包括以下步驟：
[0005]步驟1：獲取待識別的具有復雜背景的船舶圖像數據集，將其輸入至添加有循環注意力模塊的特征提取網絡中進行特征提取；
[0006]步驟2：采用聯合的高層次反卷積特征模型，融合層內自相關特征信息和層間互相關特征信息；
[0007]將具有復雜背景的船舶圖像輸入至添加有循環注意力模塊的特征提取網絡后，特征提取網絡的上采樣輸出為M，下采樣輸出為H，H，M∈R
W
×
H
×
C
，W，H，C分別代表特征圖的寬度、高度和通道數；HH
T
表示用于增強各目標區域空間信息的層內自相關，HH
T
M
T
表示給局部特征
的關鍵像素值加權，計算它們的總和來構造多層次特征關聯：
[0008][0009]其中，表示層內特征自相關和層間特征互相關捕獲的局部細節特征的關鍵像素權重；
[0010]將關鍵細節特征的像素信息與上采樣的輸出M相乘得到使得關鍵細節特征信息疊加在上采樣的低層次輸出M中：
[0011][0012]其中，表示包含目標區域精細局部特征的低級特征；
[0013]步驟3：搭建并訓練次層次特征和高層次特征聯合學習模型；
[0014]步驟3.1：將反卷積后的低層次特征輸出X作為次層次特征和高層次特征聯合學習模型的輸入，X∈R
W
×
H
×
C
；
[0015]步驟3.2：將X的張量重塑為特征矩陣，該特征矩陣由n＝W*H，C組成；
[0016]樣本協方差矩陣計算為：
[0017][0018][0019]其中，I和1分別為n
×
n單位矩陣和全1矩陣；∑是一個具有唯一平方根的對稱正半定協方差矩陣，∑＝Udiag(λ
i
)U
T
，U是正交矩陣，diag(λ
i
)是對角矩陣，λ
i
為特征值；
[0020]步驟3.3：計算∑的矩陣平方根Y，給定輸入Y0＝∑，Z0＝I，耦合迭代過程如下：
[0021][0022][0023]其中，k＝1，....K，代表計算出矩陣唯一平方根的迭代次數，Y
k
和Z
k
分別逐漸向Y和Y
?1收斂；
[0024]步驟3.4：通過跡或者Frobenius范數，在后補償中乘以協方差矩陣的平方根的跡或者使用Frobenius范數來抵消預歸一化后數據幅度變化大造成的不利影響，具體計算如下：
[0025][0026][0027]其中，λ
i
是∑的特征值；Y
N
是關聯的高層次反卷積特征至低層次256通道輸出的特征圖；
[0028]步驟3.5：多層次特征關聯輸出經過協方差池化和后補償后輸出經過協方差池化和后補償后輸出然后經過兩個1
×
1卷積層，輸出特征為k，k∈R
59
×1×1；將k反向更新到
ResNet50的高層次特征P中，P∈R
59
×8×8，整個過程計算如下：
[0029]V＝Pdiag(k)+P
[0030]其中，diag(k)是維度為8
×
8，對角線值為k的矩陣；
[0031]步驟3.6：采用復合損失函數，包含二元交叉熵損失函數和多標簽分類損失函數，其中二元交叉熵損失函數用于測量模型的最終預測圖像和對應的真實圖像，多標簽分類損失函數用測量從上采樣中恢復的圖像和相應的下采樣真實圖像；
[0032]對于給定一個訓練的數據集I
i
代表第i張圖像，代表第i張圖片上相應的真實標簽，復合損失函數為二元交叉熵損失函數和多標簽分類損失函數的加權和：其中和分別代表二元交叉熵損失函數和多標簽分類損失函數，α是平衡這兩項損失函數的權重參數，和的計算公式為：
[0033][0034][0035]其中，代表第i個圖像中的第j個類別預測的分數；代表上采樣恢復的第i個圖像中第j個類別的分數；
[0036]步驟4：將待識別的具有復雜背景的船舶圖像經過步驟1、步驟2提取得到的反卷積后的低層次特征輸入至訓練好的次層次特征和高層次特征聯合學習模型中，完成復雜背景船舶的多目標識別。
[0037]進一步地，所述步驟1中添加有循環注意力模塊的特征提取網絡ResNet50有四個階段，每個階段都有一個特征提取模塊包含一系列卷積層、ReLu和批標準化，特征提取從一個7
×
7卷積層和一個最大池化層將輸入的具有復雜背景的船舶圖像轉換為256個特征圖，然后從這些特征圖按照ResNet50的四個階段來獲取不同層次的特征；
[0038]所述循環注意力模塊通過三個卷積核為1
×
1的濾波器生成三個特征圖Q、K、W，將Q和K本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種用于復雜背景船舶的多目標識別方法，其特征在于，包括以下步驟：步驟1：獲取待識別的具有復雜背景的船舶圖像數據集，將其輸入至添加有循環注意力模塊的特征提取網絡中進行特征提取；步驟2：采用聯合的高層次反卷積特征模型，融合層內自相關特征信息和層間互相關特征信息；將具有復雜背景的船舶圖像輸入至添加有循環注意力模塊的特征提取網絡后，特征提取網絡的上采樣輸出為M，下采樣輸出為H，H,M∈R
W
×
H
×
C
，W,H,C分別代表特征圖的寬度、高度和通道數；HH
T
表示用于增強各目標區域空間信息的層內自相關，HH
T
M
T
表示給局部特征的關鍵像素值加權，計算它們的總和來構造多層次特征關聯：其中，表示層內特征自相關和層間特征互相關捕獲的局部細節特征的關鍵像素權重；將關鍵細節特征的像素信息與上采樣的輸出M相乘得到使得關鍵細節特征信息疊加在上采樣的低層次輸出M中：其中，表示包含目標區域精細局部特征的低級特征；步驟3：搭建并訓練次層次特征和高層次特征聯合學習模型；步驟3.1：將反卷積后的低層次特征輸出X作為次層次特征和高層次特征聯合學習模型的輸入，X∈R
W
×
H
×
C
；步驟3.2：將X的張量重塑為特征矩陣，該特征矩陣由n＝W*H,C組成；樣本協方差矩陣計算為：為：其中，I和1分別為n
×
n單位矩陣和全1矩陣；∑是一個具有唯一平方根的對稱正半定協方差矩陣，∑＝Udiag(λ
i
)U
T
，U是正交矩陣，diag(λ
i
)是對角矩陣，λ
i
為特征值；步驟3.3：計算∑的矩陣平方根Y，給定輸入Y0＝∑，Z0＝I，耦合迭代過程如下：＝I，耦合迭代過程如下：其中，k＝1,
…
K，代表計算出矩陣唯一平方根的迭代次數，Y
k
和Z
k
分別逐漸向Y和Y
?1收斂；步驟3.4：通過跡或者Frobenius范數，在后補償中乘以協方差矩陣的平方根的跡或者使用Frobenius范數來抵消預歸一化后數據幅度變化大造成的不利影響，具體計算如下：使用Frobenius范數來抵消預歸一化后數據幅度變化大造成的不利影響，具體計算如下：
其中，λ
i
是∑的特征值；Y
N
是關聯的高層次反卷積特征至低層次256通道輸出的特征圖；步驟3.5：多層次特征關聯輸出經過協方差池化和后補償后輸出經過協方差池...

【專利技術屬性】
技術研發人員：孟浩，凌越，田洋，袁寧澤，高放，
申請(專利權)人：哈爾濱工程大學，
類型：發明
國別省市：