一種基于端到端深度學習的圖像去霧方法技術

本發明專利技術公開了一種基于端到端深度學習的圖像去霧的方法。本發明專利技術根據霧圖成像模型將無霧圖像生成有霧圖像，將有霧圖像及其對應的傳輸圖和大氣光輸入到所設計的圖像去霧神經網絡中，利用隨機梯度下降法訓練圖像去霧神經網絡；將待測有霧圖像輸入到訓練后的圖像去霧神經網絡中獲得傳輸圖和大氣光值，得到待測有霧圖像去霧后的結果。本發明專利技術方法和傳統的圖像去霧方法相比，得到的去霧后結果在視覺上效果較佳，且適用的場景范圍更廣，同時可以估計得到大氣光值，從而實現端到端的去霧，可以得到較好的去霧效果。

An Image Defogging Method Based on End-to-End Deep Learning

The invention discloses an image defogging method based on end-to-end depth learning. According to the fog image imaging model, the fog-free image is generated, the fog image and its corresponding transmission map and atmospheric light are input into the designed image Fog-removal neural network, and the image Fog-removal neural network is trained by the random gradient descent method, and the fog image to be measured is input into the trained image Fog-removal neural network to obtain the transmission map and atmospheric light value, and to be measured. The result of fog image defogging. Compared with the traditional image defogging method, the obtained defogging result has better visual effect, wider applicable scene range, and can estimate the atmospheric light value, thus achieving end-to-end defogging and better defogging effect.

【技術實現步驟摘要】
一種基于端到端深度學習的圖像去霧方法
本專利技術涉及圖像增強方法領域，具體涉及了一種基于端到端深度學習的圖像去霧方法。
技術介紹
圖像去霧是計算機視覺領域一個重要的方向，室外有霧場景下，拍攝得到的圖片受霧霾顆粒的影響，圖像質量不佳，這對后期圖像的分類、分割、目標的檢測和追蹤等會造成影響。因此，設計有效的圖像去霧算法，從有霧圖像中恢復出清晰的真實世界無霧圖像就顯得非常有意義。傳統的圖像去霧方法采用人工設計的特征，在特定場景下部分設計的先驗特征并不成立，適用場景較為局限，在部分場景中傳統的方法無法得到令人滿意的去霧結果。依據從大氣散射模型簡化得到的霧圖成像模型的圖像去霧方法更好地考慮了場景的真實情況，能恢復出更接近實際場景的無霧圖像。深度學習有優越的學習能力，可以通過訓練自主學習得到與有霧圖像去霧相關的特征傳輸圖與大氣光值并利用霧圖成像模型合成有霧圖像以及對應的傳輸圖與大氣光值，用合成的數據集訓練得到端到端的神經去霧網絡，并將訓練好的網絡用于真實有霧圖像的去霧。
技術實現思路
為了解決
技術介紹
中存在的問題，本專利技術的目的在于提供了一種基于端到端深度學習的圖像去霧方法。本專利技術將圖像去霧分為傳輸圖和大氣光值的兩部分，并且通過特殊設計的圖像去霧神經網絡進行同時估計獲得預測的大氣光值與傳輸圖，進而有霧圖像做到端到端的去霧，實現準確的圖像去霧處理。本專利技術采用的技術方案包括如下步驟：(1)獲取帶有深度圖的清晰無霧圖J作為無霧圖像，根據霧圖成像模型由無霧圖像生成樣本有霧圖像I，并記錄下合成過程中生成的傳輸圖t和大氣光值A，作為真實傳輸圖和真實大氣光值；(2)將樣本有霧圖像I及其一一對應的真實傳輸圖t和真實大氣光值A輸入到所設計的圖像去霧神經網絡中，利用隨機梯度下降法訓練圖像去霧神經網絡；(3)將待測有霧圖像輸入到訓練后的圖像去霧神經網絡中獲得傳輸圖和大氣光值，根據無霧圖像生成部分利用傳輸圖和大氣光值對待測有霧圖像進行去霧，得到待測有霧圖像去霧后的結果；所述的清晰無霧圖J選用含有RGB圖像所對應的深度信息的數據集NYU深度數據集和VirtualKITTI數據集。所述步驟(1)具體為：(1.1)由無霧圖像所對應的深度圖采用以下公式生成得到真實傳輸圖，同時記錄下生成傳輸圖時對應的真實大氣光值A：t(x)＝e-βd(x)其中，d(x)為無霧圖像中像素點x所對應的深度值，e表示常數；β表示大氣光的真實散射系數，真實散射系數β隨機生成，β的取值范圍為0.5到1.5之間；A表示真實大氣光值，真實大氣光值A隨機生成，A的取值范圍在0.8和1之間；t(x)表示真實傳輸圖中像素點x的傳輸值；(1.2)根據上述步驟(1.1)生成的真實散射系數β和真實大氣光值A利用以下公式表示的霧圖成像模型將無霧圖像生成樣本有霧圖像：I(x)＝J(x)t(x)+A(1-t(x))其中，J(x)表示無霧圖像中的像素點x的像素值，I(x)表示樣本有霧圖像中的像素點x的像素值。所述步驟(2)中的圖像去霧神經網絡具體包括傳輸圖估計部分和大氣光值估計部分，傳輸圖估計部分和大氣光值估計部分分別用于傳輸圖和大氣光值的估計；其中傳輸圖估計部分主要由卷積層、最大值池化層、上采樣層組成，大氣光值估計部分主要由卷積層、最大值池化層、全連接層組成。(2.A)傳輸圖估計部分：傳輸圖估計部分主要由三個結構相同的傳輸圖網絡單元和一個最終卷積層依次連接構成，每個傳輸圖網絡單元由卷積層、池化層和上采樣層依次連接構成；三個傳輸圖網絡單元中的每個卷積層采用的激活函數均為ReLU函數，引入非線性性；三個傳輸圖網絡單元中的第三個卷積層的特征圖維度為10；對于最終卷積層，采用尺度大小為1x1的卷積核，不僅能夠保留前一層的平面結構，而且能夠起到降維的作用，且激活函數選用Sigmoid函數，使得傳輸圖的數值在0到1之間，以此保證輸出值的范圍；池化層選用最大值池化，尺度選擇2x2；上采樣層采用最近鄰插值進行上采樣；每個傳輸圖網絡單元中的卷積層包含卷積核和偏置參數，卷積層的響應函數為：其中，和分別為當前卷積層的第i個特征圖和當前卷積層的前一層第j個特征圖，當前卷積層的前一層為當前卷積層前面的輸入層或者是當前卷積層前面的傳輸圖網絡單元中的上采樣層，若為當前卷積層前面的輸入層，其特征圖為樣本有霧圖像I的RGB三通道；表示與特征圖卷積得到特征圖的卷積核，為得到當前卷積層第i個特征圖的偏置參數，卷積核的作用類似于傳統圖像處理方法中的濾波器，通過訓練得到的卷積核與前一層的輸出進行卷積操作能夠提取出有用的特征；每個傳輸圖網絡單元中，樣本有霧圖像I的RGB三通道輸入，經過卷積層提取特征圖，利用池化層進行最大值池化保持特征圖的平移和旋轉不變性，再通過上采樣層恢復尺寸的大小。傳輸圖估計部分的損失函數設置為樣本有霧圖像經傳輸圖估計部分處理估計得到的傳輸圖與樣本有霧圖像對應的真實傳輸圖之間的均方誤差，公式如下：其中，t′(x)為樣本有霧圖像經傳輸圖估計部分處理估計得到的傳輸圖中像素點x的傳輸值，t*(x)為樣本有霧圖像對應的真實傳輸圖中像素點x的傳輸值，q為樣本有霧圖像的數目，ti′(x)表示第i張樣本有霧圖像經傳輸圖估計部分處理估計得到的傳輸圖中像素點x的傳輸值，表示第i張樣本有霧圖像對應的真實傳輸圖中像素點x的傳輸值，||||2表示二范數；(2.B)大氣光值估計部分：大氣光值估計部分主要由兩個結構相同的大氣光值網絡單元和三個全連接層依次連接構成，每個大氣光值網絡單元由卷積層、池化層依次連接構成；兩個大氣光值網絡單元中的每個卷積層采用的激活函數均為ReLU函數；池化層選用最大值池化，在保持不變性的基礎上，起到了降維的作用；三個全連接層的輸出維度分別為256、10、1。大氣光值估計部分的損失函數設置為樣本有霧圖像經傳輸圖估計部分處理估計得到的大氣光值與樣本有霧圖像對應的真實大氣光值之間的均方誤差，公式如下：其中，A′為樣本有霧圖像經大氣光值估計部分處理估計得到的大氣光值，A*為樣本有霧圖像對應的真實大氣光值，A′i表示第i張樣本有霧圖像經大氣光值估計部分處理估計得到的大氣光值，表示第i張樣本有霧圖像對應的真實大氣光值。所述步驟(2)中，傳輸圖估計部分和大氣光值估計部分均采用隨機梯度下降法(Tensorflow)訓練，直至直至傳輸圖估計部分損失函數的值小于0.015或者訓練次數達到300次，大氣光值估計部分損失函數的值小于0.001或者訓練次數達到300次則停止訓練。所述步驟(3)中，根據無霧圖像生成部分利用傳輸圖和大氣光值對待測有霧圖像進行去霧，具體采用以下公式處理得到：其中，I^(x)表示待測有霧圖像中像素點x的像素值，t^(x)表示待測有霧圖像經圖像去霧神經網絡處理獲得的傳輸圖，A^表示待測有霧圖像經圖像去霧神經網絡處理獲得的大氣光值，t0為預設的最小傳輸閾值，通過引入t0能夠避免J(x)因為噪聲點的影響而過大，J(x)表示無霧圖像J中的像素點x的像素值。本專利技術的有益效果：本專利技術與傳統圖像去霧算法相比，使用的場景更為廣泛；與現有其他基于深度學習的去霧算法相比，本專利技術所設計的網絡不僅能夠估計得到傳輸圖，同時可以估計得到大氣光值，從而實現端到端的去霧，可以得到較好的去霧效果。附圖說明圖1是本專利技術設計的圖像去霧神經網絡的結構圖。本文檔來自技高網...

【技術保護點】
1.一種基于端到端深度學習的圖像去霧算法，其特征是，包括如下步驟：(1)獲取帶有深度圖的清晰無霧圖J作為無霧圖像，根據霧圖成像模型由無霧圖像生成樣本有霧圖像I，并記錄下合成過程中生成的傳輸圖t和大氣光值A，作為真實傳輸圖和真實大氣光值；(2)將樣本有霧圖像I及其對應的真實傳輸圖t和真實大氣光值A輸入到所設計的圖像去霧神經網絡中，訓練圖像去霧神經網絡；(3)將待測有霧圖像輸入到訓練后的圖像去霧神經網絡中獲得傳輸圖和大氣光值，根據無霧圖像生成部分利用傳輸圖和大氣光值對待測有霧圖像進行去霧，得到待測有霧圖像去霧后的結果。

【技術特征摘要】
1.一種基于端到端深度學習的圖像去霧算法，其特征是，包括如下步驟：(1)獲取帶有深度圖的清晰無霧圖J作為無霧圖像，根據霧圖成像模型由無霧圖像生成樣本有霧圖像I，并記錄下合成過程中生成的傳輸圖t和大氣光值A，作為真實傳輸圖和真實大氣光值；(2)將樣本有霧圖像I及其對應的真實傳輸圖t和真實大氣光值A輸入到所設計的圖像去霧神經網絡中，訓練圖像去霧神經網絡；(3)將待測有霧圖像輸入到訓練后的圖像去霧神經網絡中獲得傳輸圖和大氣光值，根據無霧圖像生成部分利用傳輸圖和大氣光值對待測有霧圖像進行去霧，得到待測有霧圖像去霧后的結果。2.根據權利要求1所述的一種基于端到端深度學習的圖像去霧算法，其特征是：所述的清晰無霧圖J選用含有RGB圖像所對應的深度信息的數據集NYU深度數據集和VirtualKITTI數據集。3.根據權利要求1所述的一種基于端到端深度學習的圖像去霧算法，其特征是：所述步驟(1)具體為：(1.1)由無霧圖像所對應的深度圖采用以下公式生成得到真實傳輸圖，同時記錄下生成傳輸圖時對應的真實大氣光值A：t(x)＝e-βd(x)其中，d(x)為無霧圖像中像素點x所對應的深度值，e表示常數；β表示大氣光的真實散射系數，真實散射系數β隨機生成，β的取值范圍為0.5到1.5之間；A表示真實大氣光值，真實大氣光值A隨機生成，A的取值范圍在0.8和1之間；t(x)表示真實傳輸圖中像素點x的傳輸值；(1.2)根據上述步驟(1.1)生成的真實散射系數β和真實大氣光值A利用以下公式表示的霧圖成像模型將無霧圖像生成樣本有霧圖像：I(x)＝J(x)t(x)+A(1-t(x))其中，J(x)表示無霧圖像中的像素點x的像素值，I(x)表示樣本有霧圖像中的像素點x的像素值。4.根據權利要求1所述的一種基于端到端深度學習的圖像去霧算法，其特征是：所述步驟(2)中的圖像去霧神經網絡具體包括傳輸圖估計部分和大氣光值估計部分，傳輸圖估計部分和大氣光值估計部分分別用于傳輸圖和大氣光值的估計；(2.A)傳輸圖估計部分：傳輸圖估計部分主要由三個結構相同的傳輸圖網絡單元和一個最終卷積層依次連接構成，每個傳輸圖網絡單元由卷積層、池化層和上采樣層依次連接構成；三個傳輸圖網絡單元中的每個卷積層采用的激活函數均為ReLU函數；三個傳輸圖網絡單元中的第三個卷積層的特征圖維度為10；對于最終卷積層，采用尺度大小為1x1的卷積核，且激活函數選用Sigmoid函數；池化層選用最大值池化，尺度選擇2x2；上采樣層采用最近鄰...

【專利技術屬性】
技術研發人員：黃紅兵，阮穎穎，章毅，劉俊毅，龔小謹，姜文東，陳水耀，鐘一俊，劉巖，徐晶，賀家樂，江洪成，吳愷源，張暉，蔡晴，
申請(專利權)人：國網浙江省電力有限公司信息通信分公司，浙江大學，
類型：發明
國別省市：浙江,33