信息處理裝置、信息處理方法以及信息處理程序制造方法及圖紙

本發明專利技術提供信息處理裝置、信息處理方法以及信息處理程序。通過對神經網絡的反向傳播時的梯度矢量所包含的多個要素均等地進行量化，來縮短神經網絡的執行時間。來縮短神經網絡的執行時間。來縮短神經網絡的執行時間。

【技術實現步驟摘要】
【國外來華專利技術】信息處理裝置、信息處理方法以及信息處理程序


[0001]本專利技術涉及信息處理裝置、信息處理方法以及信息處理程序。

技術介紹

[0002]在圖像處理等中表現出顯著的成果的神經網絡通過使其結構變得復雜來實現較高的性能。
[0003]作為縮短像這樣具有復雜化的傾向的神經網絡的執行時間的方法，已知有量化。
[0004]在量化中，通過將神經網絡中使用的權重的數據類型(例如FP32)轉換為數據容量更小的數據類型(INT8)，來削減計算時間、通信時間。另外，在現有的量化方法中，對構成權重矢量的每個要素進行量化的執行判斷。
[0005]例如，對構成權重矢量的每個要素，將量化誤差與閾值進行比較，僅在量化誤差小于閾值的情況下，對該要素進行量化。
[0006]專利文獻1：國際公開第2019/008752號
[0007]非專利文獻1：S.Khoram,et al,“Adaptive quantization of neural networks”,ICLR,2018
[0008]然而，在如上述那樣現有的量化方法中，由于僅對權重進行量化，并且對權重矢量的每個要素進行量化的執行判斷，因此在應用于神經網絡的學習的情況下，存在執行時間的縮短程度較低這樣的課題。

技術實現思路

[0009]在一個方面，本專利技術的目的在于能夠縮短神經網絡的執行時間。
[0010]因此，該信息處理裝置是具有處理器的信息處理裝置，其中，該處理器執行進行量化對象數據的量化的處理，上述處理器對神經網絡的反向傳播時的梯度矢量所包含的多個要素均等地進行量化。
[0011]根據一個實施方式，能夠縮短神經網絡的執行時間。
附圖說明
[0012]圖1是例示作為實施方式的一個例子的計算機系統的硬件結構的圖。
[0013]圖2是例示作為實施方式的一個例子的計算機系統的功能結構的圖。
[0014]圖3是表示神經網絡的概要的圖。
[0015]圖4是例示作為實施方式的一個例子的計算機系統中的Loss的變異的圖。
[0016]圖5是用于對作為實施方式的一個例子的計算機系統中的激活的閾值進行說明的圖。
[0017]圖6是用于對作為實施方式的一個例子的計算機系統中的梯度的閾值進行說明的圖。
[0018]圖7是表示用于在作為實施方式的一個例子的計算機系統中設定權重梯度的閾值
的條件式的圖。
[0019]圖8是用于對作為實施方式的一個例子的計算機系統中的激活梯度的閾值進行說明的圖。
[0020]圖9是用于對作為實施方式的一個例子的計算機系統中的學習步驟進行說明的流程圖。
[0021]圖10是用于對作為實施方式的一個例子的計算機系統中的量化處理進行說明的流程圖。
[0022]圖11是將利用作為實施方式的一個例子的計算機系統進行了量化的神經網絡的學習結果與利用現有方法進行了量化的情況以及未進行量化就使其學習的情況分別進行比較而示出的圖。
[0023]圖12是將利用作為實施方式的一個例子的計算機系統進行了量化的神經網絡的學習結果與利用現有方法進行了量化的情況以及未進行量化就使其學習的情況分別進行比較而示出的圖。
[0024]圖13是例示作為實施方式的變形例的計算機系統的功能結構的圖。
[0025]圖14是用于對作為實施方式的變形例的計算機系統的量化執行部的功能進行說明的圖。
[0026]圖15是用于對作為實施方式的變形例的計算機系統中的量化處理進行說明的流程圖。
[0027]圖16是將利用作為實施方式的變形例的計算機系統進行的量化處理的模擬結果與現有方法進行比較而示出的圖。
[0028]圖17是將利用作為實施方式的變形例的計算機系統進行的量化處理的模擬結果與現有方法進行比較而示出的圖。
[0029]圖18是將利用作為實施方式的變形例的計算機系統進行的量化處理的模擬結果與現有方法進行比較而示出的圖。
[0030]圖19是將利用作為實施方式的變形例的計算機系統進行的量化處理的模擬結果與現有方法進行比較而示出的圖。
具體實施方式
[0031]以下，參照附圖對本信息處理裝置、信息處理方法以及信息處理程序所涉及的實施方式進行說明。但是，以下所示的實施方式只不過是例示，并不旨在排除在實施方式中未明確示出的各種變形例、技術的應用。即，能夠在不脫離其主旨的范圍內對本實施方式進行各種變形并實施。另外，各圖不是旨在僅具備圖中所示的構成要素，而能夠包含其他功能等。
[0032](A)結構
[0033]圖1是例示作為實施方式的一個例子的計算機系統1的硬件結構的圖。
[0034]計算機系統1是信息處理裝置，實現量化后的神經網絡。如圖1所示，計算機系統1具備CPU(Central Processing Unit：中央處理器)10、存儲器11以及加速器12。這些CPU10、存儲器11以及加速器12經由通信總線13相互可通信地連接。通信總線13進行本計算機系統1內的數據通信。
[0035]存儲器11是包含ROM(Read Only Memory：只讀存儲器)和RAM(Random Access Memory：隨機存儲器)的存儲存儲器。在存儲器11的ROM中，寫入有量化處理所涉及的軟件程序、該程序用的數據類。存儲器11上的軟件程序被CPU10適當地讀入并執行。另外，存儲器11的RAM被用作一次存儲存儲器或者工作存儲器。在存儲器11的RAM中，也儲存用于權重、激活、權重梯度、激活梯度等的量化的參數、各種閾值等。
[0036]加速器12執行矩陣運算等神經網絡的計算所需的運算處理。
[0037]CPU10是進行各種控制、運算的處理裝置(處理器)，基于所安裝的程序控制計算機系統1整體。而且，通過該CPU10執行儲存于存儲器11等的深度學習處理程序(省略圖示)，來實現作為后述的深度學習處理部100(圖2)的功能。
[0038]另外，深度學習處理程序也可以包含信息處理程序而構成。通過CPU10執行儲存于存儲器11等的信息處理程序(省略圖示)，來實現作為后述的量化處理部101(圖2)的功能。
[0039]而且，計算機系統1的CPU10通過執行深度學習處理程序(信息處理程序)，而作為深度學習處理部100(量化處理部101)發揮功能。
[0040]此外，用于實現作為深度學習處理部100(量化處理部101)的功能的程序(信息處理程序)以記錄于例如軟盤、CD(CD－ROM、CD－R、CD－RW等)、DVD(DVD－ROM、DVD－RAM、DVD－R、DVD+R、DVD－RW、DVD+RW、HD DVD等)、藍光盤、磁盤、光盤、光磁盤等計算機可讀取的記錄介質的方式來提供。而且，計算機(計算機系統1)從該記錄介質讀取程序并轉送至內部存儲裝置或者外部存儲裝置并儲存并使用。另外，也可以將該程序記錄于例如磁盤、光盤、光磁盤等存儲裝置(記錄介質)，從該存儲裝置經由通信路徑提供給計算機。本文檔來自技高網...

【技術保護點】

【技術特征摘要】
【國外來華專利技術】1.一種信息處理裝置，其特征在于，具有處理器，該處理器執行進行量化對象數據的量化的處理，上述處理器對神經網絡的反向傳播時的梯度矢量所包含的多個要素均等地進行量化。2.根據權利要求1所述的信息處理裝置，其特征在于，上述處理器使上述梯度矢量所包含的多個要素的數據類型全部相同來進行量化。3.根據權利要求1或2所述的信息處理裝置，其特征在于，上述處理器在對上述梯度矢量所包含的多個要素進行量化時，以基于后續執行的下次學習時的損失函數的閾值來判斷能否量化。4.根據權利要求1～3中任一項所述的信息處理裝置，其特征在于，上述處理器對神經網絡的正向傳播時的激活矢量進行量化。5.根據權利要求4所述的信息處理裝置，其特征在于，上述處理器使上述激活矢量所包含的多個要素的數據類型全部相同來進行量化。6.一種信息處理裝置，其特征在于，具有處理器，該處理器執行進行量化對象數據的量化的處理，上述處理器對神經網絡的正向傳播時的激活矢量進行量化。7.根據權利要求6所述的信息處理裝置，其特征在于，上述處理器使上述激活矢量所包含的多個要素的數據類型全部相同來進行量化。8.一種信息處理方法，其特征在于，在具有執行進行量化對象數據的量化的處理的處理器的信息處理裝置中，具備：基于閾值來判斷能否量化的處理；以及對神經網絡的反向傳播時的梯度矢量所包含的多個要素均等地進行量化的處理。9.根據權利要求8所述的信息處理方法，其特征在于，在上述量化的處理中，使上述梯度矢量所包含的多個要素的數據類型全部相同來進行量化。10.根據權利要求8或9所述的信息處理方法，其特征在于，在上述判斷的處理中，在對上述梯度矢量所包含的多個要素進行量化時，以基于后續執行的下次學習時的損失函數的閾值來判斷能否量化。11.根據權利要求8～10中任一項所述的信息處理方法，其特征在于，在上述量化的處理中，對神經網絡的正向傳播時的激活矢量進行量化。12.根據權利要求11所述的信息處理方法，其特征在于，...

【專利技術屬性】
技術研發人員：坂井靖文，恩謝，
申請(專利權)人：富士通株式會社，
類型：發明
國別省市：