【技術(shù)實(shí)現(xiàn)步驟摘要】
基于多尺度雙域信息融合技術(shù)的遙感圖像全色銳化方法
[0001]本專利技術(shù)涉及遙感圖像處理
，具體來說是基于多尺度雙域信息融合技術(shù)的遙感圖像全色銳化方法。
技術(shù)介紹
[0002]在當(dāng)前的遙感系統(tǒng)中，由于衛(wèi)星傳感器的限制，單個(gè)傳感器很難獲得高分辨率的多光譜圖像。因此，衛(wèi)星通常攜帶兩種傳感器以分別獲得全色(panchromatic，PAN)和多光譜(multispectral，MS)圖像。
[0003]多光譜圖像包含著豐富的光譜信息，但分辨率比較低，全色圖像有著精細(xì)的圖像紋理信息，但卻只有單個(gè)通道的光譜信息。為了獲得高分辨率的多光譜圖像圖像，通常的方法是將MS圖像和PAN圖像進(jìn)行融合，這種方法也被稱為全色銳化。由于這一方法是很多下游任務(wù)，如遙感圖像分割、目標(biāo)檢測(cè)等任務(wù)的基礎(chǔ)，這一方法受到了很多的關(guān)注。
[0004]目前使用的方法主要可以分為兩類，基于人工設(shè)計(jì)特征的傳統(tǒng)方法和基于深度學(xué)習(xí)的方法。傳統(tǒng)方法包含成分替換、多分辨率分析、變分優(yōu)化等方法。人工設(shè)計(jì)特征沒法充分利用圖像的信息，因此目前基于深度學(xué)習(xí)占據(jù)主流。
[0005]但這些方法的輸出也存在著偽影、顏色失真等問題，原因在于這些方法在單一尺度特征上進(jìn)行融合，對(duì)于尺寸變化較大的遙感地物來說無法充分提取到特征，同時(shí)，這些方法側(cè)重于在空間域處理信息，忽略了頻率域隱含的信息。
技術(shù)實(shí)現(xiàn)思路
[0006]本專利技術(shù)的目的是為了解決現(xiàn)有技術(shù)中融合圖像易產(chǎn)生偽影、顏色失真、泛化性差的缺陷，提供一種基于多尺度雙域信息融合技術(shù)的遙感圖像全色銳化
【技術(shù)保護(hù)點(diǎn)】
【技術(shù)特征摘要】
1.一種基于多尺度雙域信息融合技術(shù)的遙感圖像全色銳化方法，其特征在于，包括以下步驟：11)遙感圖像的獲取與預(yù)處理：獲取全色圖像和多光譜圖像，并按照設(shè)定大小進(jìn)行裁剪處理，將裁剪后的全色圖像、多光譜圖像進(jìn)行4倍下采樣，生成樣本對(duì)<MS、PAN、G>,其中，MS、PAN為下采樣后的多光譜、全色圖像，G為下采樣前的多光譜圖像；12)構(gòu)建全色銳化模型：基于空域信息融合子網(wǎng)絡(luò)、頻域信息融合子網(wǎng)絡(luò)進(jìn)行多尺度雙域信息融合，構(gòu)建出全色銳化模型；13)全色銳化模型的訓(xùn)練：將預(yù)處理后的全色圖像和多光譜圖像輸入全色銳化模型進(jìn)行訓(xùn)練；14)待銳化遙感圖像的獲?。韩@取待銳化處理的全色圖像和多光譜圖像并進(jìn)行預(yù)處理；15)遙感圖像全色銳化結(jié)果的獲得：將預(yù)處理后的全色圖像和多光譜圖像輸入訓(xùn)練后的全色銳化模型，獲得遙感圖像全色銳化結(jié)果。2.根據(jù)權(quán)利要求1所述的基于多尺度雙域信息融合技術(shù)的遙感圖像全色銳化方法，其特征在于，所述的構(gòu)建全色銳化模型包括以下步驟：21)基于U
?
Net構(gòu)造一個(gè)多尺度網(wǎng)絡(luò)，其包含兩個(gè)子網(wǎng)絡(luò)，為空域信息融合子網(wǎng)絡(luò)和頻域信息融合子網(wǎng)絡(luò)；設(shè)定U
?
Net包括收縮子網(wǎng)絡(luò)和擴(kuò)張子網(wǎng)絡(luò)，在收縮子網(wǎng)絡(luò)中通過卷積和下采樣操作提取圖像的多尺度特征信息，在擴(kuò)張子網(wǎng)絡(luò)中通過上采樣、特征拼接技術(shù)進(jìn)行特征重建；設(shè)定收縮子網(wǎng)絡(luò)為空域信息融合子網(wǎng)絡(luò)、擴(kuò)張子網(wǎng)絡(luò)為頻域信息融合子網(wǎng)絡(luò)；22)構(gòu)建空域信息融合子網(wǎng)絡(luò)，包括：卷積投影模塊1、卷積投影模塊2、卷積特征提取模塊1、卷積特征提取模塊2、卷積下采樣模塊1、卷積下采樣模塊2、卷積下采樣模塊3、卷積下采樣模塊4、空域信息融合模塊1、空域信息融合模塊2、空域信息融合模塊3；其中，卷積投影模塊將輸入的圖像投影到特征空間，卷積特征提取模塊用于提取圖像特征，卷積下采樣模塊用于提取多尺度的空域特征信息，空域信息融合模塊對(duì)同一尺度的全色圖像特征圖和多光譜圖像特征圖進(jìn)行融合；23)構(gòu)建頻域信息融合子網(wǎng)絡(luò)，其包括上采樣模塊1、上采樣模塊2、頻域信息融合模塊1、頻域信息融合模塊2、頻域信息融合模塊3、通道變換模塊；其中，上采樣模塊將前一子網(wǎng)絡(luò)的輸出進(jìn)行上采樣，并將上采樣后的結(jié)果傳入頻域信息融合模塊；上采樣模塊為雙三次插值操作，將輸入的特征圖尺寸進(jìn)行兩倍的放大，通道變換模塊將特征圖從特征空間映射到輸出圖像。3.根據(jù)權(quán)利要求1所述的基于多尺度雙域信息融合技術(shù)的遙感圖像全色銳化方法，其特征在于，所述全色銳化模型的訓(xùn)練包括以下步驟：31)設(shè)定建立空域損失函數(shù)31)設(shè)定建立空域損失函數(shù)頻域損失函數(shù)和和
整體損失函數(shù)整體損失函數(shù)其中，A、P分別傅里葉變換后的振幅、相位分量，Y和G對(duì)應(yīng)著網(wǎng)絡(luò)輸出和真實(shí)圖像，λ為超參數(shù)；32)將預(yù)處理后的多光譜圖像和全色圖像輸入網(wǎng)絡(luò)，特征在空域融合子網(wǎng)絡(luò)和頻域融合子網(wǎng)絡(luò)分別融合，最終得到的結(jié)果加上輸入的多光譜圖像，得到最后結(jié)果：即將LRMS和PAN通過網(wǎng)絡(luò)，得到融合結(jié)果F
ms7
，將F
ms7
與LRMS相加，得到重構(gòu)后的輸出圖像；321)讀取訓(xùn)練集圖片對(duì)<ms,pan,G>，分別對(duì)應(yīng)低分辨率高光譜圖象、全色圖像和高分辨率多光譜圖像；322)將ms和pan輸入全色銳化模型，得到輸出的結(jié)果Y；323)根據(jù)空域損失函數(shù)和頻域損失函數(shù)，計(jì)算Y和G的損失函數(shù)；324)根據(jù)訓(xùn)練集的損失函數(shù)，根據(jù)梯度下降算法優(yōu)化網(wǎng)絡(luò)權(quán)重，直到達(dá)到設(shè)定的總迭代次數(shù)為止。4.根據(jù)權(quán)利要求2所述的基于多尺度雙域信息融合技術(shù)的遙感圖像全色銳化方法，其特征在于，所述構(gòu)建空域信息融合子網(wǎng)絡(luò)包括以下步驟：41)設(shè)定卷積投影模塊1由3x3卷積構(gòu)成，設(shè)定stride＝1，其輸入是多光譜圖像，輸出為對(duì)應(yīng)的特征F
ms
；設(shè)定卷積投影模塊2由3x3卷積構(gòu)成，設(shè)定stride＝1，其輸入是全色圖像，輸出為對(duì)應(yīng)的特征F
pan
；42)設(shè)定空域信息融合模塊1包含兩個(gè)分支，兩個(gè)分支通過特征提取單元進(jìn)行交互；其中特征提取單元由HIN模塊組成，輸入MS和PAN圖像的特征F
ms
和F
pan
，經(jīng)過兩個(gè)分支處理，最后由1x1卷積進(jìn)行融合，產(chǎn)生融合結(jié)果F
ms1
；其表達(dá)式如下：給定輸入F
ms
和F
pan
，空域信息融合模塊的公式定義如下F
g
＝HIN(F
pan
)F
ms
＝Fms
×
FgF
ms
＝F
ms
+F
g
F
l
＝HIN(Fms)F
pan
＝F
pan
×
F
l
F
pan
＝F
pan
+F
l
F
ms1
＝Conv1×1(Concat(F
pan
，F(xiàn)
ms
))，公式中，Conv1×1對(duì)應(yīng)著尺寸為1的卷積操作，Concat對(duì)應(yīng)著通道維度的拼接，HIN為特征提取單元；當(dāng)輸入F
pan
和F
ms
時(shí)，首先將F
pan
通過HIN模塊，得到提取后的特征F
g
，將F
ms
與F
g
相乘，并加上F
g
，得到新的F
ms
特征；將新得到的F
ms
特征通過HIN模塊，得到提取后的特征F
l
，將F
l
與F
pan
相乘，并加上F
l
，得到新的F
pan
特征；將變換后的F
ms
與F
pan
進(jìn)行通道維度的拼接，并通過1x1卷積，得到融合后的特征F
ms1
；在空域信息融合模塊中給定輸入F
pan
，其中HIN模塊的公式定義如下：F
mid
＝Conv3×3(F
pan
)
F
res
＝Conv3×3(R
out
)F
g
＝F
res
+F
pan
公式中，ChannelSplit為沿通道維度的復(fù)制并均分，Concat為通道維度的拼接，In為Instance Normalization，Conv3×3對(duì)應(yīng)著卷積核大小為3x3的卷積操作；當(dāng)輸入F
pan
時(shí)，首先經(jīng)過一次3x3卷積操作，進(jìn)行一次特征提取，并將提取后的特征沿著通道維度進(jìn)行復(fù)制，對(duì)復(fù)制后的特征進(jìn)行均分操作，得到和對(duì)進(jìn)行Instance Normalization操作后，將兩個(gè)特征進(jìn)行通道維度拼接，并經(jīng)過一個(gè)3x3卷積操作進(jìn)行融合，最后加上原始的輸入特征，得到變換后的特征F
g
，F(xiàn)
g
即為空域信息融合模塊中F
pan
經(jīng)過HIN模塊提取的特征；在空域信息融合模塊中給定輸入F
ms
，其中HIN模塊的公式定義如...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：張潔，何炫華，顏科宇，謝成軍，李瑞，張輝，杜健銘，陳紅波，金洲，孫友強(qiáng)，
申請(qǐng)(專利權(quán))人：中國(guó)科學(xué)院合肥物質(zhì)科學(xué)研究院，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。