【技術實現步驟摘要】
本專利技術屬于遙感圖像處理，特別涉及一種多標簽遙感場景圖像分類方法及相關裝置。
技術介紹
1、隨著衛星技術的快速發展，遙感場景圖像的內容和分辨率顯著提升；隨著圖像分辨率的提升，同一張遙感場景圖像中往往包含多找那個土地覆蓋目標，例如碼頭、車輛和建筑物等；在此背景下，單一標簽無法充分表達遙感場景的復雜內容；因此，通過多個語義標簽全面表征圖像中土地覆蓋目標的多標簽遙感場景圖像的分類任務，正吸引越來越多的研究者關注。
2、目前，多標簽遙感場景圖像分類方法主要分為兩大類：基于特征增強的方法和基于語義關聯的方法；其中，基于特征增強的方法主要通過結合注意力機制、多尺度信息檢索等先進技術，以增強模型的特征學習能力，從而更有效地發現圖像中的不同目標；基于語義關聯的方法利用語義標簽之間的內在關聯性，增強模型對場景理解的能力；例如碼頭通常與水共存，而沙漠通常與水體無關，通過語義關系的引入，能夠幫助模型更準確地進行多標簽分類，并提高其解釋下；然而，現有的多標簽遙感場景圖像分類方法中由于監督信號的有限性以及深度學習過程的隨機性，導致從遙感圖像中提取的語義信息可能存在不準確性，進而降低了所建語義關系的可信度，嚴重影響分類性能。
技術實現思路
1、針對現有技術中存在的技術問題，本專利技術提供了一種多標簽遙感場景圖像分類方法及相關裝置，以解決現有的多標簽遙感場景圖像分類方法由于監督信號的有限性以及深度學習過程的隨機性，導致從遙感圖像中提取的語義信息可能存在不準確性，進而降低了所建語義關系的可信度，嚴重
2、為達到上述目的，本專利技術采用的技術方案為：
3、本專利技術提供了一種多標簽遙感場景圖像分類方法，包括：
4、獲取待分類遙感圖像；
5、將所述待分類遙感圖像輸入至預構建的基于語義協助的特征融合網絡中進行分類，得到待分類遙感圖像的多標簽遙感場景圖像分類結果；
6、其中，所述預構建的基于語義協助的特征融合網絡包括雙尺度特征提取模塊、局部語義增強模塊、跨尺度交互注意力模塊及分類模塊；
7、所述雙尺度特征提取模塊，用于對所述待分類遙感圖像進行特征提取，以捕獲待分類遙感圖像中的低級特征和高級特征，獲得特征圖和特征圖
8、所述局部語義增強模塊，用于對特征圖和特征圖分別進行語義信息提取，獲得特征圖和特征圖其中，所述局部語義增強模塊中引入監督語義損失和基于語義的對比學習損失；
9、所述跨尺度交互注意力模塊，用于對特征圖和特征圖進行信息交互，獲得分類特征和分類特征
10、所述分類模塊，用于根據分類特征和分類特征生成不同尺度的分類結果，并基于分類損失對不同尺寸的分類結果進行整合，得到最終得分，作為待分類遙感圖像的多標簽遙感場景圖像分類結果。
11、進一步的，所述雙尺度特征提取模塊的主干為包含四個殘差層的resnet18；其中，特征圖為包含四個殘差層的resnet18最后一層輸出的特征圖；特征圖為包含四個殘差層的resnet18倒數第二層的輸出特征圖。
12、進一步的，所述局部語義增強模塊包括并行的第一輕量化語義增強單元transformer1和第二輕量化語義增強單元transformer2；
13、其中，第一輕量化語義增強單元transformer1用于對特征圖進行語義信息提取，獲得特征圖第二輕量化語義增強單元transformer2用于對特征圖進行語義信息提取，獲得特征圖
14、進一步的，第一輕量化語義增強單元transformer1和第二輕量化語義增強單元transformer2的結構相同，均包括有監督的語義判別器、對比學習模塊、基于注意力的特征更新機制模塊、正則化模塊及多層卷積塊；
15、有監督的語義判別器，用于從特征圖或特征圖分別提取類別感知語義信息，得到類特定語義信息向量
16、對比學習模塊，用于對基于語義的對比學習損失，將從特征圖中提取的類特定語義信息向量與從特征圖中提取的類特定語義信息向量對比學習擴展至語義級別，獲得具有高判別性的語義信息；
17、基于注意力的特征更新機制模塊，用于建立特征圖或特征圖的特征像素與具有高判別性的語義信息之間的關系，獲得增強特征圖xe；其中，采用特征像素作為媒介建立語義之間的聯系；
18、正則化模塊用于對增強特征圖xe進行正則化處理，獲得正則化的特征圖；
19、多層卷積塊，用于對正則化的特征圖進行局部信息挖掘，獲得特征圖或特征圖
20、進一步的，有監督的語義判別器包括兩個并行的判別分支；
21、在第一個判別分支中，在特征圖或特征圖上應用sigmoid函數和1×1卷積層，生成類注意圖對特征圖或特征圖和類注意圖的每個通道進行元素乘法，之后進行全局平均池化處理，得到類特定語義信息向量
22、在第二個判別分支中，將在特征圖或特征圖經過全局平均池化和1×1卷積層，得到類激活向量其中，類激活向量用于基于監督語義損失監督生成類注意圖的過程。
23、進一步的，監督語義損失，具體如下：
24、
25、
26、其中，為監督語義損失；bce(·)為二元交叉熵損失函數；為特征圖對類激活向量中的第i個元素；yi為標簽向量中的第j個標簽；ri2為特征圖對類激活向量中的第i個元素；n為類激活向量中的元素總個數；r為類激活向量；y為標簽向量；σ(·)為激活函數；rj為類激活向量中的第j個元素；c為類別數。
27、進一步的，基于語義的對比學習損失，具體如下：
28、
29、
30、{p(a)＝sdj\{a}}
31、sd＝{sd1,...,sdc}
32、
33、
34、其中，為基于語義的對比學習損失；a為基于遙感場景的標簽構建的單標簽語義數據集sd中語義標簽為j的錨樣本；|p(a)|為a的正樣本集的總體數量；p(a)為a的正樣本集；為sd中語義標簽為j的錨樣本對應的基于語義的對比學習損失；d(*)為余弦相似度；p∈p(a)為相關的正樣本；β為溫度系數；n∈n(a)為相關的負樣本；sdj為類別j的子數據集；為指示函數；為雙尺度語義向量中的第i個元素中的第j類樣本；dsfi為雙尺度語義向量中的第i個元素，雙尺度語義向量通過將從特征圖中提取的類特定語義信息向量與從特征圖中提取的類特定語義信息向量連接得到。
35、進一步的，分類損失具體為：
36、
37、其中，為分類損失：fsi為最終得分。
38、本專利技術還提供了一種多標簽遙感場景圖像分類系統，包括：
39、圖像獲取模塊，用于獲取待分類遙感圖像；
40、分類模塊，用于將所述待分類遙感圖像輸入至預構建的基于語義協助的特征融合網絡中進行分類，得到待分類遙感圖像的多標簽遙感場景圖像分類結果；
41、其中，所述預構建的基于語本文檔來自技高網...
【技術保護點】
1.一種多標簽遙感場景圖像分類方法，其特征在于，包括：
2.根據權利要求1所述的一種多標簽遙感場景圖像分類方法，其特征在于，所述雙尺度特征提取模塊的主干為包含四個殘差層的ResNet18；其中，特征圖為包含四個殘差層的ResNet18最后一層輸出的特征圖；特征圖為包含四個殘差層的ResNet18倒數第二層的輸出特征圖。
3.根據權利要求1所述的一種多標簽遙感場景圖像分類方法，其特征在于，所述局部語義增強模塊包括并行的第一輕量化語義增強單元Transformer1和第二輕量化語義增強單元Transformer2；
4.根據權利要求3所述的一種多標簽遙感場景圖像分類方法，其特征在于，第一輕量化語義增強單元Transformer1和第二輕量化語義增強單元Transformer2的結構相同，均包括有監督的語義判別器、對比學習模塊、基于注意力的特征更新機制模塊、正則化模塊及多層卷積塊；
5.根據權利要求4所述的一種多標簽遙感場景圖像分類方法，其特征在于，有監督的語義判別器包括兩個并行的判別分支；
6.根據權利要求5所述的一種多標簽
7.根據權利要求4所述的一種多標簽遙感場景圖像分類方法，其特征在于，基于語義的對比學習損失，具體如下：
8.根據權利要求1所述的一種多標簽遙感場景圖像分類方法，其特征在于，分類損失具體為：
9.一種多標簽遙感場景圖像分類系統，其特征在于，包括：
10.一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1-7任一項所述的多標簽遙感場景圖像分類方法的步驟。
...【技術特征摘要】
1.一種多標簽遙感場景圖像分類方法，其特征在于，包括：
2.根據權利要求1所述的一種多標簽遙感場景圖像分類方法，其特征在于，所述雙尺度特征提取模塊的主干為包含四個殘差層的resnet18；其中，特征圖為包含四個殘差層的resnet18最后一層輸出的特征圖；特征圖為包含四個殘差層的resnet18倒數第二層的輸出特征圖。
3.根據權利要求1所述的一種多標簽遙感場景圖像分類方法，其特征在于，所述局部語義增強模塊包括并行的第一輕量化語義增強單元transformer1和第二輕量化語義增強單元transformer2；
4.根據權利要求3所述的一種多標簽遙感場景圖像分類方法，其特征在于，第一輕量化語義增強單元transformer1和第二輕量化語義增強單元transformer2的結構相同，均包括有監督的語義判別器、對比學習...
【專利技術屬性】
技術研發人員：朱國亮，陳忠旺，史曉峰，杜瑞琦，王懿婧，
申請(專利權)人：甘肅省農村信用社聯合社，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。