一種基于卷積神經網絡的圖像處理方法及移動終端技術

本發明專利技術公開了一種基于卷積神經網絡的圖像處理方法及移動終端，卷積神經網絡包括多個數據層和處理層，該方法在移動終端的GPU中執行，GPU中存儲有紋理圖和網絡參數，紋理圖中以第一數據類型存儲有當前數據層的多個第一特征圖，網絡參數包括每一個數據層的每一個特征圖所對應的數值范圍，該方法包括：從紋理圖中獲取當前數據層的多個第一特征圖；對于每一個第一特征圖，根據其所對應的數值范圍來將該第一特征圖中的數據轉化為第二數據類型；當前處理層對第二數據類型的多個第一特征圖進行渲染處理，以生成下一個數據層的多個第二特征圖；對于每一個第二特征圖，根據其所對應的數值范圍來將該第二特征圖中的數據轉化為第一數據類型并存儲至紋理圖中。

An image processing method and mobile terminal based on convolution neural network

The invention discloses an image processing convolution neural network method and mobile terminal based on convolutional neural network including a plurality of data layer and the processing layer, the method is implemented in the mobile terminal GPU, GPU are stored in the texture map and network parameters in the texture map to the first data type stores a plurality of first characteristic the data layer, the network parameters including numerical range corresponding to each feature map for each data layer, the method includes obtaining a first feature map for the current data layer from the texture map; for each of the first feature map, according to the range of values corresponding to the the first feature map data into second data types; the processing layer on the first second feature map data types for rendering, with more than second feature map generation the next layer for data; Each second feature map is transformed into the first data type and stored in the texture map according to its corresponding numerical range. The second feature map is transformed into the first data type.

【技術實現步驟摘要】
一種基于卷積神經網絡的圖像處理方法及移動終端
本專利技術涉及圖像處理
，尤其涉及一種基于卷積神經網絡的圖像處理方法及移動終端。
技術介紹
卷積神經網絡(CNN，ConvolutionalNeuralNetwork)在圖像處理領域扮演著重要的角色，例如，圖像的分類、分割、風格轉換、畫質改善等，均可以采用CNN來實現，以取得比傳統處理方法更好的效果。目前，基于CNN的圖像處理在PC端得到了廣泛應用，然而，其在移動終端上的應用仍存在瓶頸，尤其是當CNN達到數百層時，需要大量的浮點數乘法運算及大量的內存申請，導致移動終端的計算效率跟不上CNN的發展速度。移動端GPU的發展以及跨平臺的OpenGLES(OpenGraphicsLibraryforEmbeddedSystems)圖形程序接口為移動端的CNN計算帶來了極大的便利。雖然基于OpenGLES的GPU并行計算提高了CNN的處理效率，在腳本渲染時能夠快速進行浮點數的運算，但其在數據存儲方面仍存在瓶頸。一方面，OpenGLES的紋理支持的數據類型為無符號8位整型(uint8)，16位或32位浮點(float16，float32)等，但移動終端的存儲空間參差不齊，存儲空間較小的移動終端難以支撐CNN計算，OpenGLES的渲染腳本未必適用于所有移動終端。另一方面，OpenGLES支持的紋理的大小也有限制，相對低端的GPU芯片，紋理的寬和高均需限制在2048個像素的范圍內。此外，對于圖像風格轉換、視頻風格轉換等復雜的圖像處理，CNN往往多達幾十層甚至數百層，在采用紋理存儲CNN數據時，勢必會導致大量紋理的創建、綁定和解綁，降低了計算效率。因此，需要提供一種兼容性更好、且計算效率更高的CNN圖像處理方法。
技術實現思路
為此，本專利技術提供一種基于卷積神經網絡的圖像處理方法及移動終端，以解決或至少緩解上面存在的問題。根據本專利技術的一個方面，提供一種基于卷積神經網絡的圖像處理方法，所述卷積神經網絡包括多個數據層和多個處理層，每個數據層包括多個特征圖，所述方法在移動終端的圖形處理器中執行，所述圖形處理器包括圖形存儲器，所述圖形存儲器中存儲有紋理圖和網絡參數，所述紋理圖中以第一數據類型存儲有當前數據層的多個第一特征圖，所述網絡參數包括每一個數據層的每一個特征圖所對應的數值范圍，所述方法包括：從所述紋理圖中獲取當前數據層的多個第一特征圖；對于每一個第一特征圖，根據其所對應的數值范圍來將該第一特征圖中的數據轉化為第二數據類型；當前處理層對第二數據類型的多個第一特征圖進行渲染處理，以生成下一個數據層的多個第二特征圖；對于每一個第二特征圖，根據其所對應的數值范圍來將該第二特征圖中的數據轉化為第一數據類型；將多個第二特征圖以第一數據類型存儲至所述紋理圖中。可選地，在根據本專利技術的基于卷積神經網絡的圖像處理方法中，每一個數據層的每一個特征圖所對應的數值范圍按照以下步驟確定：將預定數量的測試圖像輸入所述卷積神經網絡；記錄每一個測試圖像在所述卷積神經網絡的計算過程中所得到的每一個數據層的每一個特征圖算例；對于所述卷積神經網絡的每一個數據層的每一個特征圖，根據該特征圖所對應的所有測試圖像的特征圖算例來確定該特征圖的數值范圍。可選地，在根據本專利技術的基于卷積神經網絡的圖像處理方法中，所述預定數量的測試圖像包括第一數量的真實圖像和第二數量的隨機圖像，其中，所述第一數量大于等于所述第二數量，所述隨機圖像的RGB值為采用高斯分布函數隨機生成。可選地，在根據本專利技術的基于卷積神經網絡的圖像處理方法中，所述根據該特征圖所對應的所有測試圖像的特征圖算例來確定該特征圖的數值范圍的步驟包括：計算該特征圖所對應的所有特征圖算例的數據點均值的均值和標準差，所述特征圖算例的數據點均值為特征圖算例中各數據點的值的均值；根據所述均值和標準差來確定該特征圖的數值范圍。可選地，在根據本專利技術的基于卷積神經網絡的圖像處理方法中，所述計算該特征圖所對應的所有特征圖算例的數據點均值的均值和標準差的步驟包括：對于第k個數據層的第j個特征圖，分別計算該特征圖所對應的每一個特征圖算例的數據點均值μkjn和數據點平方均值其中，k為數據層的編號，k大于等于1且小于等于所述卷積神經網絡所包括的數據層的總數量K，j為特征圖的編號，j大于等于1且小于等于第k個數據層所包括的特征圖的總數量J(k)，n為特征圖算例的編號，n大于等于1且小于等于測試圖像的總數量N；計算各特征圖算例的數據點均值μkj,n的均值和標準差所述根據所述均值和標準差來確定該特征圖的數值范圍的步驟包括：將該特征圖的數值范圍設置為(minkj，maxkj)，其中，minkj＝μkj-3σk，jmaxkj＝μkj+3σkj。可選地，在根據本專利技術的基于卷積神經網絡的圖像處理方法中，所述第一數據類型為八位無符號整型，所述第二數據類型為浮點型；所述根據其所對應的數值范圍來將該第一特征圖中的數據轉化為第二數據類型的步驟包括：將第一特征圖中的數據由0～255范圍內的整數歸一化為0.0～1.0范圍內的浮點數；將所述0.0～1.0范圍內的浮點數轉化為該第一特征圖所對應的數值范圍內的浮點數；所述根據其所對應的數值范圍來將該第二特征圖中的數據轉化為第一數據類型的步驟包括：根據其所對應的數值范圍來將該第二特征圖中的數據轉化為0.0～255.0范圍內的浮點數；將所述0.0～255.0范圍內的浮點數轉化為小于等于其本身的最大整數。可選地，在根據本專利技術的基于卷積神經網絡的圖像處理方法中，將當前數據層k的第j1個第一特征圖的數值范圍記為將下一個數據層(k+1)的第j2個第二特征圖的數值范圍記為按照以下公式將所述0.0～1.0范圍內的浮點數轉化為該第一特征圖所對應的數值范圍內的浮點數：其中，fkj1為范圍內的浮點數，sfkj1為0.0～1.0范圍內的浮點數；按照以下公式將第二特征圖中的數據轉化為0.0～255.0范圍內的浮點數：其中，為0.0～255.0范圍內的浮點數，為下一個數據層(k+1)的第j2個第二特征圖中的任意一個數據點的值。可選地，在根據本專利技術的基于卷積神經網絡的圖像處理方法中，所述紋理圖包括多個紋理區塊，每個紋理區塊包括RGBA四個通道，每個通道適于存儲一個第二特征圖；所述將多個第二特征圖以第一數據類型存儲至所述紋理圖中的步驟包括：將多個第二特征圖以第一數據類型按順序存儲至各紋理區塊的各通道中。可選地，在根據本專利技術的基于卷積神經網絡的圖像處理方法中，所述網絡參數還包括第二特征圖的數量和尺寸，以及下一個數據層所對應的紋理圖所包括的紋理區塊的數量和紋理圖的尺寸，其中，所述第二特征圖的尺寸包括第二特征圖的橫向數據點的數量和縱向數據點的數量；所述紋理區塊的數量為ceil(c/4)，其中，c為第二特征圖的數量，ceil(c/4)表示大于等于(c/4)的最小整數；所述紋理圖的尺寸按照以下步驟確定：將紋理區塊的數量因數分解為w*h，以使得(w*第二特征圖的橫向數據點的數量)與(h*第二特征圖的縱向數據點的數量)的差值的絕對值最小；所述紋理圖的橫向數據點的數量為(w*第二特征圖的橫向數據點的數量)，所述紋理圖的縱向數據點的數量為(h*第二特征圖的縱向數據點的數量)。可選地，在根據本專利技術的基于卷積神經網絡的圖像處本文檔來自技高網...

【技術保護點】
一種基于卷積神經網絡的圖像處理方法，所述卷積神經網絡包括多個數據層和多個處理層，每個數據層包括多個特征圖，所述方法在移動終端的圖形處理器中執行，所述圖形處理器包括圖形存儲器，所述圖形存儲器中存儲有紋理圖和網絡參數，所述紋理圖中以第一數據類型存儲有當前數據層的多個第一特征圖，所述網絡參數包括每一個數據層的每一個特征圖所對應的數值范圍，所述方法包括：從所述紋理圖中獲取當前數據層的多個第一特征圖；對于每一個第一特征圖，根據其所對應的數值范圍來將該第一特征圖中的數據轉化為第二數據類型；當前處理層對第二數據類型的多個第一特征圖進行渲染處理，以生成下一個數據層的多個第二特征圖；對于每一個第二特征圖，根據其所對應的數值范圍來將該第二特征圖中的數據轉化為第一數據類型；將多個第二特征圖以第一數據類型存儲至所述紋理圖中。

【技術特征摘要】
1.一種基于卷積神經網絡的圖像處理方法，所述卷積神經網絡包括多個數據層和多個處理層，每個數據層包括多個特征圖，所述方法在移動終端的圖形處理器中執行，所述圖形處理器包括圖形存儲器，所述圖形存儲器中存儲有紋理圖和網絡參數，所述紋理圖中以第一數據類型存儲有當前數據層的多個第一特征圖，所述網絡參數包括每一個數據層的每一個特征圖所對應的數值范圍，所述方法包括：從所述紋理圖中獲取當前數據層的多個第一特征圖；對于每一個第一特征圖，根據其所對應的數值范圍來將該第一特征圖中的數據轉化為第二數據類型；當前處理層對第二數據類型的多個第一特征圖進行渲染處理，以生成下一個數據層的多個第二特征圖；對于每一個第二特征圖，根據其所對應的數值范圍來將該第二特征圖中的數據轉化為第一數據類型；將多個第二特征圖以第一數據類型存儲至所述紋理圖中。2.如權利要求1所述的方法，其中，每一個數據層的每一個特征圖所對應的數值范圍按照以下步驟確定：將預定數量的測試圖像輸入所述卷積神經網絡；記錄每一個測試圖像在所述卷積神經網絡的計算過程中所得到的每一個數據層的每一個特征圖算例；對于所述卷積神經網絡的每一個數據層的每一個特征圖，根據該特征圖所對應的所有測試圖像的特征圖算例來確定該特征圖的數值范圍。3.如權利要求2所述的方法，其中，所述預定數量的測試圖像包括第一數量的真實圖像和第二數量的隨機圖像，其中，所述第一數量大于等于所述第二數量，所述隨機圖像的RGB值為采用高斯分布函數隨機生成。4.如權利要求2或3所述的方法，其中，所述根據該特征圖所對應的所有測試圖像的特征圖算例來確定該特征圖的數值范圍的步驟包括：計算該特征圖所對應的所有特征圖算例的數據點均值的均值和標準差，所述特征圖算例的數據點均值為特征圖算例中各數據點的值的均值；根據所述均值和標準差來確定該特征圖的數值范圍。5.如權利要求4所述的方法，其中，所述計算該特征圖所對應的所有特征圖算例的數據點均值的均值和標準差的步驟包括：對于第k個數據層的第j個特征圖，分別計算該特征圖所對應的每一個特征圖算例的數據點均值μkj,n和數據點平方均值其中，k為數據層的編號，k大于等于1且小于等于所述卷積神經網絡所包括的數據層的總數量K，j為特征圖的編號，j大于等于1且小于等于第k個數據層所包括的特征圖的總數量J(k)，n為特征圖算例的編號，n大于等于1且小于等于測試圖像的總數量N；計算各特征圖算例的數據點均值μkj,n的均值和標準差所述根據所述均值和標準差來確定該特征圖的數值范圍的步驟包括：將該特征圖的數值范圍設置為(minkj，maxkj)，其中，minkj＝μkj-3σkj，maxkj＝μk...

【專利技術屬性】
技術研發人員：李啟東，李志陽，張偉，傅松林，洪煒冬，
申請(專利權)人：廈門美圖之家科技有限公司，
類型：發明
國別省市：福建,35