用于圖像處理的引導式神經網絡模型的裝置和方法制造方法及圖紙

本公開提供了用于圖像處理的引導式神經網絡模型的裝置和方法。一種裝置可包括引導圖生成器、合成網絡和加速器。引導圖生成器可接收作為內容圖像的第一圖像和作為風格圖像的第二圖像，并分別從第一圖像和第二圖像生成第一多個引導圖和第二多個引導圖。合成網絡可將第一多個引導圖與第二多個引導圖合成以確定引導信息。加速器可通過基于引導信息將第二圖像的風格施加至第一圖像來生成輸出圖像。像的風格施加至第一圖像來生成輸出圖像。像的風格施加至第一圖像來生成輸出圖像。

【技術實現步驟摘要】
用于圖像處理的引導式神經網絡模型的裝置和方法


[0001]實施例總體上關于圖像處理，并且具體關于利用神經網絡模型的引導式圖像處理。

技術介紹

[0002]當前的并行圖形數據處理包括被開發為用于對圖形數據執行特定操作的系統和方法，這些特定操作諸如例如，線性插值、曲面細分、柵格化、紋理映射、深度測試等。傳統上，圖形處理器使用固定功能計算單元來處理圖形數據；然而，最近，圖形處理器的多個部分已經變得可編程，使得此類處理器能夠支持用于處理頂點和片段數據的更廣泛種類的操作。
[0003]為了進一步提高性能，圖形處理器典型地實現諸如流水線操作之類的處理技術，這些處理技術嘗試貫穿圖形流水線的不同部分并行地處理盡可能多的圖形數據。具有單指令多線程(SIMT)架構的并行圖形處理器被設計成使圖形流水線中的并行處理的量最大化。在SIMT架構中，成組的并行線程嘗試盡可能頻繁地一起同步地執行程序指令，以提高處理效率。可以在Shane Cook的CUDA編程(CUDA Programming)第三章，第37
?
51頁(2013年)中找到對SIMT架構的軟件和硬件的總體概述。
[0004]圖像處理(例如，非相片級逼真或相片級逼真肖像渲染)在游戲、動畫、電影創造等方面正日益重要。傳統方法首先按照筆畫、紋理或反射率等對風格/照明建立數學模型，隨后根據這些數學模型來設計對應的渲染器。然而，此類方法對于不熟悉數學模型的最終用戶而言是困難的。最近，基于深度神經網絡(DNN)的方法被用于圖像處理。盡管那些方法易于使用，但很少關注到對于高性能結果關鍵的引導(guidance)。
附圖說明
[0005]為了以能夠詳細理解本實施例的以上記載特征的方式，可通過參考實施例來對以上簡要概括的實施例進行更具體的描述，這些實施例中的一些在所附附圖中被圖示。然而，應當注意，所附附圖僅圖示出典型實施例，并且因此不應被認為是對其范圍的限制。
[0006]圖1是圖示配置成用于實現本文中所描述的實施例的一個或多個方面的計算機系統的框圖；
[0007]圖2A
?
圖2D圖示根據實施例的并行處理器組件；
[0008]圖3A
?
圖3C是根據實施例的圖形多處理器和基于多處理的GPU的框圖；
[0009]圖4A
?
圖4F圖示在其中多個GPU通信地耦合至多個多核處理器的示例性架構；
[0010]圖5圖示根據實施例的圖形處理流水線；
[0011]圖6圖示根據實施例的機器學習軟件棧；
[0012]圖7圖示根據實施例的通用圖形處理單元；
[0013]圖8圖示根據實施例的多GPU計算系統；
[0014]圖9A
?
圖9B圖示示例性深度神經網絡的層；
[0015]圖10圖示示例性循環神經網絡；
[0016]圖11圖示深度神經網絡的訓練和部署；
[0017]圖12是圖示分布式學習的框圖；
[0018]圖13圖示適用于使用經訓練的模型執行推斷的示例性推斷芯片上系統(SOC)；
[0019]圖14是根據實施例的處理系統的框圖；
[0020]圖15A
?
圖15C圖示由本文中描述的實施例提供的計算系統和圖形處理器；
[0021]圖16A
?
圖16C圖示由本文中描述的實施例提供的附加的圖形處理器和計算加速器架構的框圖；
[0022]圖17是根據一些實施例的圖形處理器的圖形處理引擎的框圖；
[0023]圖18A
?
圖18B圖示根據本文中描述的實施例的包括在圖形處理器核中采用的處理元件陣列的線程執行邏輯；
[0024]圖19圖示根據實施例的附加的執行單元；
[0025]圖20是圖示根據一些實施例的圖形處理器指令格式的框圖；
[0026]圖21是根據另一個實施例的圖形處理器的框圖；
[0027]圖22A
?
圖22B圖示根據一些實施例的圖形處理器命令格式和命令序列；
[0028]圖23圖示根據一些實施例的用于數據處理系統的示例性圖形軟件架構；
[0029]圖24A是圖示根據實施例的IP核開發系統的框圖；
[0030]圖24B圖示根據本文中描述的一些實施例的集成電路封裝組件的橫截面側視圖；
[0031]圖24C圖示封裝組件，該封裝組件包括連接到襯底的多個單元的硬件邏輯小芯片(例如，基礎管芯)；
[0032]圖24D圖示根據實施例的包括可互換小芯片的封裝組件；
[0033]圖25是圖示根據實施例的示例性芯片上系統集成電路的框圖；
[0034]圖26A
?
圖26B是圖示根據本文中所描述的實施例的用于在SoC內使用的示例性圖形處理器的框圖；
[0035]圖27是圖示根據實施例的用于圖像處理的裝置的框圖；
[0036]圖28是圖示根據實施例的用于從圖像生成神經引導圖的過程的示意圖；
[0037]圖29是圖示根據實施例的用于從圖像生成語義引導圖的過程的示意圖；
[0038]圖30是圖示根據實施例的用于從圖像生成位置引導圖的過程的示意圖；
[0039]圖31是圖示根據實施例的用于圖像處理的方法的流程圖；
[0040]圖32是圖示根據實施例的使用DNN的示例圖像到圖像轉換的示意圖；
[0041]圖33是圖示根據實施例的利用空間特征變換的圖像到圖像轉換的示意圖；
[0042]圖34是圖示根據實施例的用于空間特征變換的過程的示意圖；
[0043]圖35是圖示根據實施例的緊湊卷積操作的過程的示意圖；
[0044]圖36是圖示根據實施例的緊湊卷積操作的過程的更多細節的示意圖；
[0045]圖37是圖示根據實施例的用于圖像處理的裝置的框圖；以及
[0046]圖38是圖示根據實施例的用于圖像處理的方法的流程圖。
具體實施方式
[0047]在一些實施例中，圖形處理單元(GPU)通信地耦合至主機/處理器核以加速圖形操
作、機器學習操作、模式分析操作、以及各種通用GPU(GPGPU)功能。GPU可通過總線或另一互連(例如，諸如PCIe或NVLink之類的高速互連)而通信地耦合至主機處理器/核。在其他實施例中，GPU可與核集成在同一封裝或芯片上，并且通過內部處理器總線/互連(即，在封裝或芯片的內部)通信地耦合至核。不論連接GPU所采用的方式如何，處理器核都可以采取工作描述符中所包含的命令/指令序列的形式將工作分配給GPU。GPU隨后使用專用電路/邏輯來有效地處理這些命令/指令。
[0048]在下列描述中，闡述了眾多特定細節來提供更全面的理解。然而，對本領域技術人員將會顯而易見的是，可在沒有這些特定細節中的一個或多個細節的情況下實施本文中所描述的實施例。在其他實例中，未描述公知的特征以避免使當前實施例的細節變得模糊。
[004本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種用于圖像處理的方法，包括：接收作為內容圖像的第一圖像和作為風格圖像的第二圖像；分別從所述第一圖像和所述第二圖像生成第一多個引導圖和第二多個引導圖；將所述第一多個引導圖與所述第二多個引導圖合成以確定引導信息；以及通過基于所述引導信息將所述第二圖像的風格施加至所述第一圖像來生成輸出圖像。2.如權利要求1所述的方法，其特征在于，生成所述第一多個引導圖和所述第二多個引導圖包括：分別從所述第一圖像和所述第二圖像生成第一神經引導圖和第二神經引導圖；分別從所述第一圖像和所述第二圖像生成第一語義引導圖和第二語義引導圖；以及分別從所述第一圖像和所述第二圖像生成第一位置引導圖和第二位置引導圖。3.如權利要求2所述的方法，其特征在于，生成所述第一神經引導圖和所述第二神經引導圖包括：通過從所述第一圖像移除風格來生成所述第一神經引導圖；以及通過從所述第二圖像移除風格來生成所述第二神經引導圖。4.如權利要求2所述的方法，其特征在于，生成所述第一語義引導圖和所述第二語義引導圖包括：通過語義解析確定所述第一圖像和所述第二圖像中的每個圖像的多個部分的邊界；檢測所述多個部分的邊界內的、表示面部成分的標記點；基于檢測到的標記點擬合所述面部成分的邊界曲線；基于所擬合的邊界曲線生成成分掩模；以及通過將所述成分掩模與所述多個部分的邊界組合來生成所述第一語義引導圖和所述第二語義引導圖。5.如權利要求4所述的方法，其特征在于，生成所述第一語義引導圖和所述第二語義引導圖進一步包括：擬合眼球的邊界曲線；以及通過將所述成分掩模與所述眼球的邊界曲線組合來生成所述第一語義引導圖和所述第二語義引導圖。6.如權利要求2所述的方法，其特征在于，生成所述第一位置引導圖和所述第二位置引導圖包括：通過語義解析確定所述第一圖像和所述第二圖像中的每個圖像的多個部分的邊界；基于像素距部分的邊界的最小距離為部分的邊界內的每個像素確定得分；以及基于像素的得分生成所述第一位置引導圖和所述第二位置引導圖。7.如權利要求2所述的方法，其特征在于，將所述第一多個引導圖和所述第二多個引導圖合成包括：將所述第一神經引導圖與所述第二神經引導圖合成，將所述第一語義引導圖與所述第二語義引導圖合成，并將所述第一位置引導圖與所述第二位置引導圖合成，以確定所述引導信息。8.如權利要求1所述的方法，其中，所述第一圖像的風格和所述第二圖像的風格中的每一個風格包括肖像風格或照明風格。9.如權利要求4所述的方法，其中，所述多個部分包括臉、身體或頭發。
10.一種用于圖像處理的裝置，包括：引導圖生成器，用于：接收作為內容圖像的第一圖像和作為風格圖像的第二圖像；分別從所述第一圖像和所述第二圖像生成第一多個引導圖和第二多個引導圖；合成網絡，用于將所述第一多個引導圖與所述第二多個引導圖合成以確定引導信息；以及加速器，用于通過基于所述引導信息將所述第二圖像的風格施加至所述第一圖像來生成輸出圖像。11.如權利要求10所述的裝置，其特征在于，所述引導圖生成器用于：分別從所述第一圖像和所述第二圖像生成第一神經引導圖和第二神經引導圖；分別從所述第一圖像和所述第二圖像生成第一語義引導圖和第二語義引導圖；以及分別從所述第一圖像和所述第二圖像生成第一位置引導圖和第二位置引導圖。12.如權利要求11所述的裝置，其特征在于，所述引導圖生成器用于：通過從所述第一圖像移除風格...

【專利技術屬性】
技術研發人員：姚安邦，陸鳴，王一凱，王山東，陳玉榮，S，
申請(專利權)人：英特爾公司，
類型：發明
國別省市：