一種神經網絡剪枝方法及裝置制造方法及圖紙

本發明專利技術公開了一種神經網絡剪枝方法及裝置，以解決現有技術中網絡剪枝不能兼顧壓縮、加速和精度的技術問題。該方法：根據待剪枝網絡層中神經元的激活值，確定神經元的重要度值；根據所述待剪枝網絡層中神經元與下一個網絡層中神經元的連接權重，確定神經元的多樣性值；根據所述待剪枝網絡層中的神經元的重要度值和多樣性值，采用體積最大化神經元選取策略從所述待剪枝網絡層中選取保留的神經元；將所述待剪枝網絡層中的其他神經元剪掉，得到剪枝網絡層。本發明專利技術技術方案能夠在確保神經網絡精度的同時取得了較好的壓縮和加速效果。

【技術實現步驟摘要】

本專利技術涉及計算機領域，特別涉及一種神經網絡剪枝方法及裝置。
技術介紹
目前，深度神經網絡在計算機視覺領域取得了巨大的成功，如圖像分類、目標檢測、圖像分割等。然而，效果較好的深度神經網絡往往有著數量較大的模型參數，不僅計算量大而且在實際部署中模型占據較大一部分空間，這在一些需要實時運算的應用場景無法正常應用。因此，如何對深度神經網絡進行壓縮與加速則顯得尤為重要，尤其是未來一些需要將深度神經網絡應用到諸如嵌入式設備、集成硬件設備中的應用場景。目前，對深度神經網絡進行壓縮和加速的方式主要是通過網絡剪枝的方式實現，例如，SongHan等人發表的論文“LearningbothWeightsandConnectionsforEfficientNeuralNetwork”中提出了一種基于權重的網絡剪枝技術，以及ZeldaMariet等人發表的論文“DiversityNetworks”中提出了一種基于行列式點過程的神經網絡剪枝技術。然而目前的網絡剪枝技術的效果不理想，仍然存在壓縮、加速和精度不能同時兼顧的技術問題。
技術實現思路
鑒于上述問題，本專利技術提供一種神經網絡剪枝方法及裝置，以解決現有技術存在壓縮、加速和精度不能同時兼顧的技術問題。本專利技術一方面，提供一種神經網絡剪枝方法，方法包括：根據待剪枝網絡層中神經元的激活值，確定神經元的重要度值；根據所述待剪枝網絡層中神經元與下一個網絡層中神經元的連接權重，確定神經元的多樣性值；根據所述待剪枝網絡層中的神經元的重要度值和多樣性值，采用體積最大化神經元選取策略從所述待剪枝網絡層中選取保留的神經元；將所述待剪枝網絡層中的其他神經元剪掉，得到剪枝網絡層。另一方面，本專利技術實施例還提供一種神經網絡剪枝裝置，該裝置包括：重要度值確定單元，用于根據待剪枝網絡層中神經元的激活值，確定神經元的重要度值；多樣性值確定單元，用于根據所述待剪枝網絡層中神經元與下一個網絡層中神經元的連接權重，確定神經元的多樣性值；神經元選取單元，用于根據所述待剪枝網絡層中的神經元的重要度值和多樣性值，采用體積最大化神經元選取策略從所述待剪枝網絡層中選取保留的神經元；剪枝單元，用于將所述待剪枝網絡層中的其他神經元剪掉，得到剪枝網絡層。本專利技術實施例提供的神經網絡剪枝方法，首先，針對待剪枝網絡層中的每一個神經元，根據所述神經元的激活值確定其重要度值以及根據該神經元與下一個網絡層中神經元的連接權重確定其多樣性值；再根據待剪枝網絡層中神經元的重要度值和多樣性值，采用體積最大化神經元選取策略從待剪枝中選取保留的神經元。本專利技術技術方案，神經元的重要性值反映神經元對神經網絡輸出結果的影響程度，神經元的多樣性反映神經元的表達能力，因此，采用體積最大神經元選取策略選取出的神經元對神經網絡的輸出結果的貢獻作用和表達能力較強，剪掉的神經元為對神經網絡輸出結果貢獻較弱且表達能力較差的神經元，因此，剪枝后的神經網絡與剪枝前的神經網絡相比，不僅得到了很好的壓縮和加速效果，而且與剪枝前相比其精度損失較小，因此，本專利技術實施例提供的剪枝方法能夠在確保神經網絡精度的同時取得了較好的壓縮和加速效果。本專利技術的其它特征和優點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本專利技術而了解。本專利技術的目的和其他優點可通過在所寫的說明書、權利要求書、以及附圖中所特別指出的結構來實現和獲得。下面通過附圖和實施例，對本專利技術的技術方案做進一步的詳細描述。附圖說明附圖用來提供對本專利技術的進一步理解，并且構成說明書的一部分，與本專利技術的實施例一起用于解釋本專利技術，并不構成對本專利技術的限制。在附圖中：圖1為本專利技術實施例中神經網絡剪枝方法的流程圖之一；圖2為本專利技術實施例中確定神經元的重要度值的方法流程圖；圖3為本專利技術實施例中從所述待剪枝網絡層中選取保留的神經元的方法流程圖之一；圖4為本專利技術實施例中從所述待剪枝網絡層中選取保留的神經元的方法流程圖之二；圖5為本專利技術實施例中采用貪心求解方法選取神經元的方法流程圖；圖6為本專利技術實施例中神經網絡剪枝方法的流程圖之二；圖7為本專利技術實施例中神經網絡剪枝方法的流程圖之三；圖8為本專利技術實施例中神經網絡剪枝裝置的結構示意圖之一；圖9為本專利技術實施例中重要度值確定單元的結構示意圖；圖10為本專利技術實施例中神經元選取單元的結構示意圖之一；圖11為本專利技術實施例中神經元選取單元的結構示意圖之二；圖12為本專利技術實施例中神經網絡剪枝裝置的結構示意圖之二；圖13為本專利技術實施例中神經網絡剪枝裝置的結構示意圖之三。具體實施方式為了使本
的人員更好地理解本專利技術中的技術方案，下面將結合本專利技術實施例中的附圖，對本專利技術實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本專利技術一部分實施例，而不是全部的實施例。基于本專利技術中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都應當屬于本專利技術保護的范圍。以上是本專利技術的核心思想，為了使本
的人員更好地理解本專利技術實施例中的技術方案，并使本專利技術實施例的上述目的、特征和優點能夠更加明顯易懂，下面結合附圖對本專利技術實施例中技術方案作進一步詳細的說明。本專利技術技術方案，在應用時可以根據實際應用需求確定神經網絡中的哪些網絡層需要剪枝(后續稱為待剪枝網絡層)，既可以單獨對神經網絡中的部分網絡層進行剪枝，也可以對神經網絡中的所有網絡層進行剪枝。在實際應用中，例如，可根據網絡層的計算量大小確定是否對該網絡層進行剪枝，以及可權衡剪枝后神經網絡要求的速度和精度(如精度不低于剪枝前的90％)來確定剪枝的網絡層數量以及每一個待剪枝網絡層需要剪掉的神經元數量，各待剪枝網絡層剪掉的神經元數量可以相同也可以不相同，本領域技術人員可以根據實際應用的需求靈活選定，本申請不做嚴格限定。圖1為本專利技術實施例提供的一種神經網絡剪枝方法的流程圖，對神經網絡中的每一個待剪枝網絡層均可采用圖1所示的方法流程，該方法包括：步驟101、根據待剪枝網絡層中神經元的激活值，確定神經元的重要度值。步驟102、根據所述待剪枝網絡層中神經元與下一個網絡層中神經元的連接權重，確定神經元的多樣性值。步驟103、根據所述待剪枝網絡層中的神經元的重要度值和多樣性值，采用體積最大化神經元選取策略從所述待剪枝網絡層中選取保留的神經元。步驟104、將所述待剪枝網絡層中的其他神經元剪掉，得到剪枝網絡層。以下對前述圖1所示的各個步驟的具體實現方式進行詳細的描述，以便本領域技術人員理解本申請技術方案。具體實現方式僅僅是一個示例，本領域技術人員基于該示例想到的其他替代方式或等同方式均在本申請保護的范圍內。本專利技術實施例中，均以待剪枝網絡層為神經網絡中的第l層為例進行描述。優選地，前述步驟101可通過如圖2所示的方法流程實現，方法包括：步驟101a、通過神經網絡對輸入數據進行一次前向操作，得到所述待剪枝網絡層中每個神經元的激活值向量；步驟101b、計算各神經元的激活值向量的方差；步驟101c、根據各神經元的方差得到所述待剪枝網絡層的神經元方差重要性向量；步驟101d、根據所述神經元方差重要性向量，分別對各神經元的方差進行歸一化處理，得到神經元的重要度值。假設待剪枝網絡層為神經網絡的第l層，待剪枝網絡層包含的神經元總數為nl，神經網絡的訓練數據為T＝本文檔來自技高網...

【技術保護點】
一種神經網絡剪枝方法，其特征在于，所述方法包括：根據待剪枝網絡層中神經元的激活值，確定神經元的重要度值；根據所述待剪枝網絡層中神經元與下一個網絡層中神經元的連接權重，確定神經元的多樣性值；根據所述待剪枝網絡層中的神經元的重要度值和多樣性值，采用體積最大化神經元選取策略從所述待剪枝網絡層中選取保留的神經元；將所述待剪枝網絡層中的其他神經元剪掉，得到剪枝網絡層。

【技術特征摘要】
1.一種神經網絡剪枝方法，其特征在于，所述方法包括：根據待剪枝網絡層中神經元的激活值，確定神經元的重要度值；根據所述待剪枝網絡層中神經元與下一個網絡層中神經元的連接權重，確定神經元的多樣性值；根據所述待剪枝網絡層中的神經元的重要度值和多樣性值，采用體積最大化神經元選取策略從所述待剪枝網絡層中選取保留的神經元；將所述待剪枝網絡層中的其他神經元剪掉，得到剪枝網絡層。2.根據權利要求1所述的方法，其特征在于，所述根據待剪枝網絡層中神經元的激活值，確定神經元的重要度值，包括：通過神經網絡對輸入數據進行一次前向操作，得到該待剪枝網絡層中每個神經元的激活值向量；計算各神經元的激活值向量的方差；根據各神經元的方差得到所述待剪枝網絡層的神經元方差重要性向量；根據所述神經元方差重要性向量，分別對各神經元的方差進行歸一化處理，得到神經元的重要度值。3.根據權利要求2所述的方法，其特征在于，采用以下公式對各神經元的方差進行歸一化處理：其中式中，qi為待剪枝網絡層中第i個神經元的激活值向量的方差，Q為待剪枝網絡層的神經元方差重要性向量。4.根據權利要求1所述的方法，其特征在于，根據所述待剪枝網絡層中神經元與下一個網絡層中神經元的連接權重，確定神經元的多樣性值，包括：針對待剪枝網絡層中的每個神經元，根據所述神經元與下一個網絡層中神經元的連接權重，構建所述神經元的權重向量，并將所述權重向量的方向向量確定為所述神經元的多樣性值。5.根據權利要求1所述的方法，其特征在于，所述根據所述待剪枝網絡層中的神經元的重要度值和多樣性值，采用體積最大化神經元選取策略從所述待剪枝網絡層中選取保留的神經元，包括：針對待剪枝網絡層中的每個神經元，將所述神經元的重要度值與多樣性值的乘積確定為所述神經元的特征向量；從所述待剪枝網絡層中的神經元中選取多組包含k個神經元的組合，所述k為預置的正整數；計算每個組合包含的神經元的特征向量所組成的平行六面體的體積，選取體積最大的組合作為保留的神經元。6.根據權利要求1所述的方法，其特征在于，所述根據所述待剪枝網絡層中的神經元的重要度值和多樣性值，采用體積最大化神經元選取策略從所述待剪枝網絡層中選取保留的神經元，包括：針對待剪枝網絡層中的每個神經元，將所述神經元的重要度值與多樣性值的乘積確定為所述神經元的特征向量；采用貪心求解方法，從所述待剪枝網絡層中的神經元中選取k個神經元作為保留的神經元。7.根據權利要求6所述的方法，其特征在于，采用貪心求解方法，從所述待剪枝網絡層中的神經元中選取k個神經元作為保留的神經元，包括：初始化神經元集合為空集合；根據所述待剪枝網絡層中的神經元的特征向量構建特征矩陣；采用多輪以下選取方式選取k個神經元：從本輪選取的特征矩陣中選取模長最大的特征向量，并將所述模長最大的特征向量對應的神經元添加至所述神經元集合中；判斷所述神經元集合中的神經元數量是否達到k，若是則結束；若否，則：從本輪選取的特征矩陣中去掉所述模長最大的特征向量在其他特...

【專利技術屬性】
技術研發人員：王乃巖，
申請(專利權)人：北京圖森互聯科技有限責任公司，
類型：發明
國別省市：北京;11