基于對抗網絡的圖像顯著性檢測方法技術

本發明專利技術公開了一種利用對抗訓練來生成卷積神經網絡模型的圖像顯著性檢測方法，屬于計算機視覺與圖像處理領域。所述方法包括數據預處理、網絡結構、選取合適的參數、使用隨機梯度下降法與沖量單元進行訓練，數據預處理是對收集到的大量數據及標簽進行預處理，網絡結構是設計網絡結構及具體核函數，選取合適的參數包括學習速率、動量因子及每次塞入網絡的圖像數目，使用隨機梯度下降法與沖量單元進行訓練來減小網絡過擬合的可能性，利用本發明專利技術能夠更準確地獲取顯著性圖。

【技術實現步驟摘要】

本專利技術涉及計算機視覺與數字圖像處理領域，特別是涉及一種基于對抗網絡的圖像顯著性檢測方法。
技術介紹
顯著性預測，是一種預測靜態自然圖像中人眼注視位置的過程。圖像顯著性預測的結果被廣泛應用于計算機視覺領域，包括自動圖像分割、目標識別、高效圖像縮略和圖像檢索等，是很重要的圖像預處理步驟。傳統的手動選取特征的方法大致可以分成三個步驟：前期特征提取，特征差異推斷，以及特征差異結合。顯著性預測是一種自底向上的方法，受到最低層的特征所驅使。而隨著大數據時代的到來，數據驅動的學習方法越來越多地出現在人們視野中。深度學習的方法也一再刷新各領域最高紀錄。目前對抗訓練主要用于生成對抗網絡，其中包含生成器和鑒別器。生成器用來產生對抗樣本，鑒別器同時使用原樣本和對抗樣本來進行訓練，生成器是將原樣本進行混合生成的新樣本。生成器也不斷改進生成方法，最終目的是生成鑒別器不能正確識別的對抗樣本。這個方法可用于生成類似自然圖像，在人臉圖像和房間圖像中均有應用，可節約成本。對抗訓練最早出現是為了解決深度學習對于對抗樣本的脆弱性。后來對抗訓練被證明具有正則化的效果。將對抗訓練用于生成卷積神經網絡檢測圖像顯著性是亟待解決的問題。
技術實現思路
本專利技術目的就是為解決利用對抗訓練生成卷積神經網絡檢測圖像顯著性的方法問題。本專利技術的技術問題通過以下的技術方案予以解決：一種利用對抗訓練的圖像顯著性檢驗方法，包括：A1：數據預處理：對收集到的圖像及標簽進行預處理，得到圖像數據；A2：設計卷積神經網絡模型結構及具體核函數；A3：選取合適的參數；A4：使用對抗訓練來減小卷積神經網絡模型過擬合的可能性，得到訓練好的卷積神經網絡模型；A5：將所述圖像數據輸入到所述訓練好的卷積神經網絡模型后，得到顯著圖。根據本專利技術的另一個具體方面，A1中的數據預處理是指將輸入的介于0-255之間的圖像的初始像素值除以255，從而得到0-1之間的圖像數據；然后將圖像數據進行下采樣至圖像原始高度及原始寬度的一半大小。根據本專利技術的另一個具體方面，A2中卷積神經網絡模型CNN包含9層，其中8個卷積層、1個反卷積層；在每個所述卷積層中設置卷積層的卷積核大小和卷積步長，設置卷積神經網絡模型的過程是最小化預測顯著圖與真值之間歐氏距離的損失函數的過程。根據本專利技術的另一個具體方面，所述卷積是所述卷積核對所述圖像數據進行操作的簡稱，所述卷積步長是所述卷積核在對所述圖像數據進行操作的時候對原始圖像數據做卷積時候滑動像素的大小；使用卷積步長為2的卷積實現降低圖像分辨率，有效控制擬合。根據本專利技術的另一個具體方面，所述顯著圖是指由輸入原始圖像數據經過卷積神經網絡模型后得到的矩陣，所述真值為相對應于原始圖像數據的標簽，所述顯著圖中每個像素點都具有各自的值。根據本專利技術的另一個具體方面，每層采用ReLU函數作為激活函數。根據本專利技術的另一個具體方面，進行權重衰減限制搜尋范圍，反復進行權重衰減逐漸縮小搜索范圍，最終找到全局最優解對應的點，卷積神經網絡模型收斂，其中每次衰減后搜尋點更加靠近最優點所在的區域范圍。根據本專利技術的另一個具體方面，所述對抗訓練是指將正常樣本和對抗樣本同時作用于卷積神經網絡模型的訓練；所述對抗樣本是指在正常樣本上加線性擾動得到的樣本，所述對抗訓練能夠增強卷積神經網絡模型的正則化，從而提高預測準確率。根據本專利技術的另一個具體方面，所述線性擾動指由目標函數對原始圖像求梯度所得到的矩陣，所述矩陣在長、寬、通道數方面和原始圖像矩陣在長、寬、通道數方面大小相同。根據本專利技術的另一個具體方面，采用線性擾動的方式生成所述對抗樣本，而所述對抗訓練體現在對應損失函數的不斷更新：J~(w,x,y)=αJ(w,x,y)+(1-α)J(w,x+σsign(▿xJ(w,x,y)))]]>其中：η為得到的擾動，y為網絡輸出，σ為正極小量，sign為取大于零的值，為求目標函數對于輸入圖像x的梯度，α為控制對抗訓練的小于1的參數。本專利技術與現有技術對比的有益效果是：在本專利技術中針對顯著性預測這個特定問題，卷積神經網絡要實現的是一個回歸問題，使得生成的顯著圖中每個像素點都有各自的值，利用對抗訓練的泛化能力來實現網絡正則化，從而提高預測過程準確率。附圖說明圖1是本專利技術方法的流程圖具體實施方式本專利技術使用對抗訓練對卷積神經網絡實現正則化的功能，從而提高了使用神經網絡預測時的準確率。針對具體問題——顯著性預測，本專利技術提出一種基于數據驅動的回歸方法。學習過程可以被描述為最小化顯著圖與真值之間歐氏距離的代價函數。為了避免取到局部極小值，本專利技術使用較小的批大小—2，雖然收斂較慢，但效果更好。訓練過程中使用隨機梯度下降法和沖量單元相結合的方式，有助于訓練過程中逃離局部最小值，使網絡能夠更快速地收斂。學習速率逐漸降低，保證在尋找最小值的過程中不過步幅過大而跳過最優解。如圖1所示，本專利技術所提出的一種利用對抗訓練來生成卷積神經網絡模型的圖像顯著性檢驗方法，所述方法如下：A1：數據預處理：由于深度學習是數據驅動的方法，故在收集到大量數據及標簽的基礎上最重要的就是將它們進行預處理為輸入網絡做好準備；A2：網絡結構：所設計的卷積神經網絡(CNN)包含9層，其中8個卷積層、1個反卷積層。在卷積層中使用步長為2的卷積從而使得圖像分辨率下降。該學習過程被描述為最小化預測顯著圖與真值之間歐氏距離的損失函數的過程；A3：選取合適的參數，包括學習速率、動量因子及每次塞入網絡的圖像數目。顯著圖中像素點的大小屬于0到1之間，故屬于回歸問題而非分類問題；A4：使用隨機梯度下降法(SGD)+沖量單元進行訓練，從而尋找到全局最小值。使用對抗訓練(生成對抗樣本，并使用對抗樣本來訓練網絡)來減小網絡過擬合的可能性。沒有使用全連接層。A5：將所述圖像數據輸入到所述訓練好的卷積神經網絡模型后，得到顯著圖。在具體的實施方案中，可按下面方式操作。A1：對訓練集圖像進行預處理，每幅圖像的像素值分別除以255，得到像素值0-1之間的圖像。然后對圖像進行下采樣，生成寬和高分別減半的圖像。數據集是顯著性預測領域近年來應用廣泛的SALICON和iSUN。SALICON是根據鼠標點擊來獲取的真值，而iSUN則是通過眾包的方式得到的真值；A2：由于該卷積神經網絡層數比較多，為了節約內存和控制過擬合，前兩層卷積都設為步長為2，即隔一個像素點進行一次卷積，而所采用的卷積核大小都大于3，故實際上并不會造成信息損失。在每個所述卷積層中設置卷積層的卷積核大小和卷積步長，設置卷積神經網絡模型的過程是最小化預測顯著圖與真值之間歐氏距離的損失函數的過程。所述卷積是所述卷積核對對所述圖像數據進行操作的簡稱，所述卷積步長是所述卷積核在對所述圖像數據進行操作的時候對原始圖像數據做卷積時候滑動像素的大小；所述顯著圖是指由輸入原始圖像數據經過卷積神經網絡模型后得到的矩陣，所述真值為相對應于原始圖像數據的標簽，所述顯著圖中每個像素點都具有各自的值。每層采用ReLU(RectifiedLinearUnits，調整線性單元)函數作為激活函數。A3：深度學習函數包選擇谷歌開發的第二代人工智能學習系統tensorflow。將原數據集里的圖像轉換成HDF5的數據存儲格式，HDF5是用于存儲和本文檔來自技高網...

【技術保護點】
一種利用對抗訓練的圖像顯著性檢驗方法，其特征在于，所述方法包括：A1：數據預處理：對收集到的圖像及標簽進行預處理，得到圖像數據；A2：設計卷積神經網絡模型結構及具體核函數；A3：選取合適的參數；A4：使用對抗訓練來減小卷積神經網絡模型過擬合的可能性，得到訓練好的卷積神經網絡模型；A5：將所述圖像數據輸入到所述訓練好的卷積神經網絡模型后，得到顯著圖。

【技術特征摘要】
1.一種利用對抗訓練的圖像顯著性檢驗方法，其特征在于，所述方法包括：A1：數據預處理：對收集到的圖像及標簽進行預處理，得到圖像數據；A2：設計卷積神經網絡模型結構及具體核函數；A3：選取合適的參數；A4：使用對抗訓練來減小卷積神經網絡模型過擬合的可能性，得到訓練好的卷積神經網絡模型；A5：將所述圖像數據輸入到所述訓練好的卷積神經網絡模型后，得到顯著圖。2.根據權利要求1所述圖像顯著性檢驗方法，其特征在于，A1中的數據預處理是指將輸入的介于0-255之間的圖像的初始像素值除以255，從而得到0-1之間的圖像數據；然后將圖像數據進行下采樣至圖像原始高度及原始寬度的一半大小。3.根據權利要求1所述圖像顯著性檢驗方法，其特征在于，A2中卷積神經網絡模型CNN包含9層，其中8個卷積層、1個反卷積層；在每個所述卷積層中設置卷積層的卷積核大小和卷積步長，設置卷積神經網絡模型的過程是最小化預測顯著圖與真值之間歐氏距離的損失函數的過程。4.根據權利要求3所述圖像顯著性檢驗方法，其特征在于，所述卷積是所述卷積核對所述圖像數據進行操作的簡稱，所述卷積步長是所述卷積核在對所述圖像數據進行操作的時候對原始圖像數據做卷積時候滑動像素的大小；使用卷積步長為2的卷積實現降低圖像分辨率，有效控制擬合。5.根據權利要求3所述圖像顯著性檢驗方法，其特征在于，所述顯著圖是指由輸入原始圖像數據經過卷積神經網絡模型后得到的矩陣，所述真值為...

【專利技術屬性】
技術研發人員：王好謙，閆冰，王興政，張永兵，戴瓊海，
申請(專利權)人：深圳市未來媒體技術研究院，清華大學深圳研究生院，
類型：發明
國別省市：廣東;44