【技術實現步驟摘要】
本專利技術涉及圖像融合，特別是指一種多模態頻域交叉圖像融合方法。
技術介紹
1、在現代多傳感器系統中，紅外圖像與可見光圖像的融合技術正迅速發展，成為許多應用中的關鍵工具。這種技術通過結合不同光譜范圍內獲取的信息來提高整體感知能力，不僅增強圖像的細節和特征，而且擴展了應用的可能性，尤其在目標檢測、監控、導航和輔助駕駛等領域具有重要的應用價值。紅外成像設備通過捕捉熱輻射，能夠在低光照或夜間條件下探測物體，但通常存在分辨率較低和對比度不足的問題，可見光成像則依賴于環境的光線，通過反射光獲取物體的結構和顏色信息，其圖像分辨率高，細節豐富，但在低光照或復雜環境條件下圖像效果會顯著下降。紅外圖像和可見光圖像的融合圖像結合了兩者的優點，提高了系統的整體性能，融合結果在對目標識別能力、環境適應性和可靠性等場景下均表現出明顯優勢。
2、紅外與可見光圖像的融合方法主要分為三種類別。其中，圖像級別融合直接對兩種圖像進行像素級合成，通過變換和重建等手段來生成融合圖像，方法簡單直觀，但可能會引入不同來源的數據噪聲和失真；特征級別融合則通過提取兩種圖像的特征，融合特征信息后再進行決策，能夠在信息壓縮和特征增強方面效果顯著，但也需要解決特征提取的復雜性問題；決策級別融合則基于高層次信息將來自不同傳感器的決策結果進行融合，從而提高判斷的準確性，通常用于僅關心最終決策結果的應用場景。隨著人工智能和深度學習技術的日益成熟，紅外與可見光圖像融合技術的未來可能會越來越依賴于數據驅動的智能模型。通過大量的訓練數據和復雜的網絡結構，深度學習方法有可能顯著提升圖
技術實現思路
1、本專利技術實施例提供了一種多模態頻域交叉圖像融合方法，能夠提高多模態圖像的融合效果，使得融合結果具有更清晰的細節以及更豐富的信息。所述技術方案如下：
2、本專利技術實施例提供了一種多模態頻域交叉圖像融合方法，包括：
3、s1、構建多模態圖像融合網絡；其中，所述多模態圖像融合網絡包括：編碼器網絡、跨模態交叉融合網絡以及解碼器；多模態圖像融合網絡的執行步驟包括：
4、使用編碼器網絡對輸入的各個模態圖像提取不同頻域特征；
5、使用跨模態交叉融合網絡通過跨層連接與交叉連接的方式實現不同模態圖像各個頻域特征的融合；
6、將融合后的特征輸入解碼器，對融合特征進行解碼，輸出融合圖片；
7、s2、利用多模態圖像對構建的多模態圖像融合網絡進行訓練，輸出包含各個模態圖像特征的融合圖片。
8、進一步地，所述編碼器網絡包括：共享特征編碼器、基礎轉換網絡編碼器以及細節卷積神經網絡編碼器；
9、模態圖像包括：紅外圖像與可見光圖像；
10、所述使用編碼器網絡對輸入的各個模態圖像提取不同頻域特征包括：
11、通過共享特征編碼器實現跨模態淺層特征提取，獲得紅外圖像與可見光圖像淺層特征其中，分別表示紅外圖像與可見光圖像的淺層特征；
12、對淺層特征采用基礎轉換網絡編碼器進一步提取特征，獲得低頻基礎特征其中，分別表示紅外圖像與可見光圖像的低頻基礎特征；
13、對淺層特征采用細節卷積神經網絡編碼器進一步提取特征，獲得高頻細節特征其中，分別表示紅外圖像與可見光圖像的高頻細節特征。
14、進一步地，所述共享特征編碼器包括：2個基于恢復轉換器塊的轉換器層；
15、每個共享特征編碼器都由2個基于恢復轉換器塊的轉換器層堆疊而成，兩個共享特征編碼器之間的參數相互獨立；
16、共享特征編碼器的公式表示為：
17、
18、其中，s(·)表示共享特征編碼器提取特征的過程，{i,v}分別表示輸入的成對紅外圖像與可見光圖像。
19、進一步地，所述基礎轉換網絡編碼器包括一個基于輕量化轉換器的轉換網絡模塊，用于從淺層特征中提取低頻基礎特征；
20、每個轉換網絡模塊包括：2個norm層、1個基礎attention層和1個mlp層；其中，norm為歸一化，attention為注意力，mlp為多層感知機；
21、基礎轉換網絡編碼器的公式表示為：
22、norm(attention(norm(mlp(·))))＝b(·)
23、
24、其中，b(·)表示基礎轉換網絡編碼器提取特征的過程。
25、進一步地，所述細節卷積神經網絡編碼器包括3個inn，用于從淺層特征中提取高頻細節特征；其中，inn為可逆神經網絡；
26、在每一次可逆神經網絡的處理過程中，變換過程為：
27、
28、其中，⊙表示哈達瑪積運算，表示第k個可逆層輸入特征中的第1到第c個通道，k＝1,2,...,k,k表示可逆層處理數，c表示輸入特征通道數，cat(·)是通道連接操作，ii是任意映射函數，i＝1,...,3，i表示不同的映射函數標識，在可逆神經網絡重復處理3遍后，輸出細節卷積神經網絡編碼器特征提取結果，即高頻細節特征；
29、整個細節卷積神經網絡編碼器的公式表示為：
30、
31、其中，d(·)表示細節卷積神經網絡編碼器提取特征的過程。
32、進一步地，跨模態交叉融合網絡包含高頻與低頻分支和通道注意力模塊，用于融合編碼器提取到的頻域特征；其中，每個高頻和低頻分支都由3個代表不同深度的層特征提取模塊組成；
33、層特征提取模塊的層特征提取過程表示為：
34、lfc(θb′)＝θb″,lfc(θb′,θb″)＝θb″′,
35、lfc(θd′)＝θd″,lfc(θd′,θd″)＝θd″′
36、其中，分別表示紅外圖像與可見光圖像的低頻基礎特征，分別表示紅外圖像與可見光圖像的高頻細節特征，lfc(·)代表層特征提取，用于提取不同層級的高低頻特征，根據處理次數的多少可以產生由淺到深的不同階段特征；{θb′,θb″,θb″′}表示低頻各階段特征；{θd′,θd″,θd″′}表示高頻各階段特征。
37、進一步地，所述使用跨模態交叉融合網絡通過跨層連接與交叉連接的方式實現不同模態圖像各個頻域特征的融合包括：
38、對得到的不同模態圖像的頻域特征，利用層特征提取模塊提取由淺到深的不同階段特征；
39、在對階段特征處理的過程中，采用跨層連接的方式，鏈接不同層級特征，將淺層特征向各個深層特征進行傳遞；
40、基于處理不同頻域特征信息要求，完成頻域特征融合，采用交叉連接的方式，通過提取初級特征{fb,fd}并與跨層處理結果相互鏈接，得到經過異頻域特征修飾的異模態同頻融合特征{θb,θd}；其中，跨層連接和交叉連接的過程表示為：
41、
42、lfc(θb′,θb″,θb″′,fd)＝本文檔來自技高網...
【技術保護點】
1.一種多模態頻域交叉圖像融合方法，其特征在于，所述方法包括：
2.根據權利要求1所述的多模態頻域交叉圖像融合方法，其特征在于，所述編碼器網絡包括：共享特征編碼器、基礎轉換網絡編碼器以及細節卷積神經網絡編碼器；
3.根據權利要求2所述的多模態頻域交叉圖像融合方法，其特征在于，所述共享特征編碼器包括：2個基于恢復轉換器塊的轉換器層；
4.根據權利要求3所述的多模態頻域交叉圖像融合方法，其特征在于，所述基礎轉換網絡編碼器包括一個基于輕量化轉換器的轉換網絡模塊，用于從淺層特征中提取低頻基礎特征；
5.根據權利要求4所述的多模態頻域交叉圖像融合方法，其特征在于，所述細節卷積神經網絡編碼器包括3個INN，用于從淺層特征中提取高頻細節特征；其中，INN為可逆神經網絡；
6.根據權利要求1所述的多模態頻域交叉圖像融合方法，其特征在于，跨模態交叉融合網絡包含高頻與低頻分支和通道注意力模塊，用于融合編碼器提取到的頻域特征；其中，每個高頻和低頻分支都由3個代表不同深度的層特征提取模塊組成；
7.根據權利要求6所述的多模態頻域交叉
8.根據權利要求1所述的多模態頻域交叉圖像融合方法，其特征在于，在訓練過程添加混合梯度損失，所述混合梯度損失由表面層與梯度層組合而成，確保多模態圖像融合網絡訓練過程能夠學習到更完整的融合梯度信息。
9.根據權利要求8所述的多模態頻域交叉圖像融合方法，其特征在于，所述混合梯度損失將可見光圖像轉換為Lab色彩空間，提取L亮度通道作為可見光處理通道；將可見光圖像L亮度通道與紅外圖像通道進行混合處理Mix(·)，產生表面層損失結果同時使用sobel算子實現可見光圖像L亮度通道與紅外圖像通道的梯度提取，將提取得到的梯度圖進行梯度混合處理MixGrad(·)，產生梯度層損失結果將獲得的表面層損失結果與梯度層損失結果按權重進行求和，得到最終的混合梯度損失LossMixed_Grad，表示為：
10.一種計算機可讀取存儲介質，其特征在于，所述計算機可讀取存儲介質中存儲有程序代碼，所述程序代碼可被處理器調用執行如權利要求1至9任一項所述的方法。
...【技術特征摘要】
1.一種多模態頻域交叉圖像融合方法，其特征在于，所述方法包括：
2.根據權利要求1所述的多模態頻域交叉圖像融合方法，其特征在于，所述編碼器網絡包括：共享特征編碼器、基礎轉換網絡編碼器以及細節卷積神經網絡編碼器；
3.根據權利要求2所述的多模態頻域交叉圖像融合方法，其特征在于，所述共享特征編碼器包括：2個基于恢復轉換器塊的轉換器層；
4.根據權利要求3所述的多模態頻域交叉圖像融合方法，其特征在于，所述基礎轉換網絡編碼器包括一個基于輕量化轉換器的轉換網絡模塊，用于從淺層特征中提取低頻基礎特征；
5.根據權利要求4所述的多模態頻域交叉圖像融合方法，其特征在于，所述細節卷積神經網絡編碼器包括3個inn，用于從淺層特征中提取高頻細節特征；其中，inn為可逆神經網絡；
6.根據權利要求1所述的多模態頻域交叉圖像融合方法，其特征在于，跨模態交叉融合網絡包含高頻與低頻分支和通道注意力模塊，用于融合編碼器提取到的頻域特征；其中，每個高頻和低頻分支都由3個代表不同深度的層特征提取模塊組成；
7.根據權利要求6所述的多模態頻域交叉圖...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。