一種基于FPGA的深度卷積神經網絡的流水化加速系統技術方案

本發明專利技術提出了一種基于FPGA的深度卷積神經網絡的流水化加速系統，該流水化加速系統主要由輸入數據分配控制模塊、輸出數據分配控制模塊、卷積計算順序序列化實現模塊、池化計算順序序列化實現模塊、卷積計算模塊、池化計算模塊和卷積計算結果分配控制模塊組成，此外所述流水化加速系統還包含一個內部系統級聯接口。按照本發明專利技術設計的流水化加速系統，能夠在FPGA上高效并行流水化實現，并且有效地解決了計算過程中由于各類填充操作而導致的資源浪費和有效計算延誤問題，能有效地降低系統功耗和大大提高運算處理速度。

A water flow acceleration system based on FPGA's depth convolution neural network

The present invention provides a system to accelerate the depth of convolutional neural network FPGA flow based on the flow acceleration system is mainly composed of the input data distribution module, output data distribution module, convolution module, calculation module, the realization of the pool convolution calculation module, pool calculation module and distribution module convolution calculation results order sequence composition serialization calculation, the flow acceleration system also includes an internal system interface cascade. According to the invention and design of water system can be accelerated, FPGA efficient parallel pipelined implementation, and effectively solves the calculation process due to various filling operation caused by the waste of resources and effective calculation problem of delay, can effectively reduce the power consumption of the system and greatly improve the processing speed of Gao Yunsuan.

【技術實現步驟摘要】
一種基于FPGA的深度卷積神經網絡的流水化加速系統
本專利技術屬于神經網絡計算領域，具體涉及一種基于FPGA的深度卷積神經網絡的流水化加速系統。
技術介紹
伴隨著深度學習掀起的新的機器學習熱潮，深度卷積神經網絡已經廣泛應用于語音識別、圖像識別和自然語音處理等不同的大規模機器學習問題中，并取得了一系列突破性的研究成果，其強大的特征學習與分類能力引起了廣泛的關注，具有重要的分析與研究價值。深度卷積神經網絡模型具有模型深度高、層次復雜、數據量級大、并行度高、計算密集和存儲密集等特征，大批量的卷積運算和池化操作往往使其在應用過程當中成為一大計算瓶頸，大量中間結果的存儲也對計算機存儲結構提出了較高的要求，這對于實時性較強而投入成本有限的應用場景來說是十分不利的。當下比較常用的兩種加速器是CPU和GPU，CPU基于其串行執行的結構特點在計算性能上并不能較理想地滿足要求，GPU雖然在計算性能上優勢明顯但卻與CPU一樣無法突破功耗壁壘，并且CPU和GPU在可擴展性上都存在較為嚴重的限制。考慮到諸如上述因素，FPGA基于其配置靈活、高度并行、設計靈活、低功耗和性價比高等特點成為深度卷積神經網絡模型十分理想的替代加速器，但如何結合FPGA芯片特點和平臺優勢充分挖掘出深度卷積神經網絡計算模型的并行性以及流水性，合理高效地充分利用FPGA片上的有限資源仍是有待解決的問題。
技術實現思路
本專利技術提供了一種基于FPGA的深度卷積神經網絡的流水化加速系統，其目的在于同時結合深度卷積神經網絡模型結構特點和FPGA芯片特點及平臺優勢，對傳統軟件層中已有實現的深度卷積神經網絡計算結構進行重新調整并且設計相應的模塊，充分挖掘深度卷積神經網絡在計算過程當中潛在的并行性以及各計算層之間的流水性，使之更匹配于FPGA的設計特點，并且配合FPGA的相應的設計，以合理高效地利用FPGA設計的計算資源，為深度卷積神經網絡的實現提供一套高性能的流水化加速方案。本專利技術提供了基于FPGA的深度卷積神經網絡的流水化加速系統，其特征在于，該系統包括：輸入數據分配控制模塊、輸出數據分配控制模塊、卷積計算順序序列化實現模塊、池化計算順序序列化實現模塊、卷積計算模塊、池化計算模塊和卷積計算結果分配控制模塊，此外所述流水化加速系統還包含一個內部系統級聯接口；所述輸入數據分配控制模塊同時與FPGA外圍接口和所述內部系統級聯接口、卷積計算順序序列化實現模塊相連；所述輸出數據分配控制模塊同時與FPGA外圍接口和所述內部系統級聯接口、卷積計算結果分配控制模塊以及池化計算模塊相連；所述卷積計算結果分配控制模塊同時與所述卷積計算模塊、輸出數據分配控制模塊以及池化計算順序序列化實現模塊相連；所述卷積計算順序序列化實現模塊與卷積計算模塊之間直接相連；所述池化計算順序序列化實現模塊與池化計算模塊之間直接相連；所述輸入數據分配控制模塊實時監視所述卷積計算順序序列化實現模塊的數據消耗狀況，向DDR片外存儲器發送相關讀數據命令并及時接收FPGA外圍接口和所述內部系統級聯接口傳送來的輸入數據，除此之外，所述輸入數據分配控制模塊還需將接收到的數據傳送給所述卷積計算順序序列化實現模塊；所述輸出數據分配控制模塊接收所述池化計算模塊或所述卷積計算結果分配控制模塊傳送來的輸入數據，并根據當前所處的計算階段將接收到的數據傳送給所述內部系統級聯接口或所述FPGA外圍接口，向所述DDR片外存儲器發送相關寫數據命令和相關中斷通知；除此之外，所述輸出數據分配控制模塊還實時響應所述FPGA外圍接口發送的命令；所述卷積計算順序序列化實現模塊結合調整參數將深度卷積神經網絡中相關卷積操作的結構化計算順序序列化，并為所述卷積計算模塊及時傳送序列化后的數據集；所述池化計算順序序列化實現模塊結合相關調整參數將深度卷積神經網絡中相關池化操作的結構化計算順序序列化，并為所述池化計算模塊及時傳送序列化后的數據集；所述卷積計算模塊完成深度卷積神經網絡中的相關卷積計算，并將計算結果及時傳送給所述卷積計算結果分配控制模塊；所述池化計算模塊主要負責完成深度卷積神經網絡中的相關池化操作，并將計算結果及時傳送給所述輸出數據分配控制模塊；所述卷積計算結果分配控制模塊接收所述卷積計算模塊傳來的計算結果數據，并根據當前所處的計算階段將接收到的數據有組織有規格地傳送給所述池化計算順序序列化實現模塊或所述輸出數據分配控制模塊。所述內部系統級聯接口主要負責為所述FPGA片上系統內部子系統之間的級聯或內部模塊之間的連接提供有效接口，用于連接所述輸出數據分配控制模塊和輸入數據分配控制模塊。進一步地，所述卷積計算順序序列化實現模塊由特征圖元組選擇功能子模塊和卷積核參數選擇功能子模塊組成。特征圖元組選擇功能子模塊實現特征圖元組選擇功能，卷積核參數選擇功能子模塊實現卷積核參數選擇功能。所述池化計算順序序列化實現模塊與所述卷積計算順序序列化實現模塊中的特征圖元組選擇功能子模塊的組成結構和實現的功能基本類似。進一步地，所述特征圖元組選擇功能子模塊主要由特征圖元組存儲器、新舊選擇器、標記參數存儲器、地址參數存儲器、計算窗口緩沖存儲器和特征圖元組計數器組成；所述特征圖元組存儲器采用雙端口RAM實現，用于存儲所述輸入數據分配控制模塊送入的特征圖元組；所述新舊選擇器維護兩個地址寄存器，分別為新值地址寄存器和舊值地址寄存器，用于從所述特征圖元組存儲器中選擇相應的特征圖元組并輸出給所述卷積計算模塊；所述標記參數存儲器用于存儲有效分析序號的新舊值選取標記和窗口計算提前結束標記，所述地址參數存儲器用于存儲有效分析序號的舊值選取地址，對于一個給定的深度卷積神經網絡模型，所述標記參數存儲器和所述地址參數存儲器一次寫入多次循環讀取；所述計算窗口緩沖存儲器采用雙端口RAM實現，用于緩存所述新舊選擇器輸出的特征圖元組并將其輸出給所述卷積計算模塊；所述特征值圖元組計數器用于統計所述新舊選擇器選擇輸出的特征圖元組個數；所述特征圖元組選擇功能子模塊每節拍從所述輸入數據分配控制模塊獲取一個特征圖元組的KFP個特征值，這KFP個特征值組成一個輸入特征值組；所述新舊選擇器每次選擇特征圖元組進行輸出時，查看當前新舊值選取標記值，若當前新舊值選取標記值為選新值標記，則從新值地址寄存器提供的起始地址處開始以特征值組為單位進行特征圖元組的輸出，每輸出一個特征組后，新值地址寄存器自動加一，當當前選取的特征圖元組輸出完畢后，從所述標記參數存儲器中順序獲取下一個新舊值選取標記作為當前新舊值選取標記；若當前新舊值選取標記值為選舊值標記，則將當前舊值選取地址送入舊值地址寄存器，并以此地址為起始地址以特征值組為單位進行特征圖元組的輸出，每輸出一個特征組后，舊值地址寄存器自動加一，當當前選取的特征圖元組輸出完畢后，從所述標記參數存儲器中順序獲取下一個新舊值選取標記作為當前新舊值選取標記，并從所述地址參數存儲器中順序獲取下一個舊值選取地址作為當前舊值選取地址；每當所述新舊選擇器輸出完一個特征圖元組后，所述特征圖元組計數器自動加一，若此時所述新舊選擇器選擇輸出的特征圖元組達到一個無填充元素的計算窗口大小，所述新舊選擇器將暫停輸出，直至位于所述計算窗口緩沖存儲器中的當前計算窗口的特征圖元組重復使用((DON-1)/KGP+1)次本文檔來自技高網...

【技術保護點】
一種基于FPGA的深度卷積神經網絡的流水化加速系統，其特征在于，該系統包括：輸入數據分配控制模塊、輸出數據分配控制模塊、卷積計算順序序列化實現模塊、池化計算順序序列化實現模塊、卷積計算模塊、池化計算模塊和卷積計算結果分配控制模塊，此外所述流水化加速系統還包含一個內部系統級聯接口；所述輸入數據分配控制模塊同時與FPGA外圍接口和所述內部系統級聯接口、卷積計算順序序列化實現模塊相連；所述輸出數據分配控制模塊同時與FPGA外圍接口和所述內部系統級聯接口、卷積計算結果分配控制模塊以及池化計算模塊相連；所述卷積計算結果分配控制模塊同時與所述卷積計算模塊、輸出數據分配控制模塊以及池化計算順序序列化實現模塊相連；所述卷積計算順序序列化實現模塊與卷積計算模塊之間直接相連；所述池化計算順序序列化實現模塊與池化計算模塊之間直接相連；所述輸入數據分配控制模塊實時監視所述卷積計算順序序列化實現模塊的數據消耗狀況，向DDR片外存儲器發送相關讀數據命令并及時接收FPGA外圍接口和所述內部系統級聯接口傳送來的輸入數據，除此之外，所述輸入數據分配控制模塊還需將接收到的數據傳送給所述卷積計算順序序列化實現模塊；所述輸出數據分配控制模塊接收所述池化計算模塊或所述卷積計算結果分配控制模塊傳送來的輸入數據，并根據當前所處的計算階段將接收到的數據傳送給所述內部系統級聯接口或所述FPGA外圍接口，向所述DDR片外存儲器發送相關寫數據命令和相關中斷通知；除此之外，所述輸出數據分配控制模塊還實時響應所述FPGA外圍接口發送的命令；所述卷積計算順序序列化實現模塊結合調整參數將深度卷積神經網絡中相關卷積操作的結構化計算順序序列化，并為所述卷積計算模塊及時傳送序列化后的數據集；所述池化計算順序序列化實現模塊結合相關調整參數將深度卷積神經網絡中相關池化操作的結構化計算順序序列化，并為所述池化計算模塊及時傳送序列化后的數據集；所述卷積計算模塊完成深度卷積神經網絡中的相關卷積計算，并將計算結果及時傳送給所述卷積計算結果分配控制模塊；所述池化計算模塊主要負責完成深度卷積神經網絡中的相關池化操作，并將計算結果及時傳送給所述輸出數據分配控制模塊；所述卷積計算結果分配控制模塊接收所述卷積計算模塊傳來的計算結果數據，并根據當前所處的計算階段將接收到的數據有組織有規格地傳送給所述池化計算順序序列化實現模塊或所述輸出數據分配控制模塊。所述內部系統級聯接口主要負責為所述FPGA片上系統內部子系統之間的級聯或內部模塊之間的連接提供有效接口，用于連接所述輸出數據分配控制模塊和輸入數據分配控制模塊。...

【技術特征摘要】
1.一種基于FPGA的深度卷積神經網絡的流水化加速系統，其特征在于，該系統包括：輸入數據分配控制模塊、輸出數據分配控制模塊、卷積計算順序序列化實現模塊、池化計算順序序列化實現模塊、卷積計算模塊、池化計算模塊和卷積計算結果分配控制模塊，此外所述流水化加速系統還包含一個內部系統級聯接口；所述輸入數據分配控制模塊同時與FPGA外圍接口和所述內部系統級聯接口、卷積計算順序序列化實現模塊相連；所述輸出數據分配控制模塊同時與FPGA外圍接口和所述內部系統級聯接口、卷積計算結果分配控制模塊以及池化計算模塊相連；所述卷積計算結果分配控制模塊同時與所述卷積計算模塊、輸出數據分配控制模塊以及池化計算順序序列化實現模塊相連；所述卷積計算順序序列化實現模塊與卷積計算模塊之間直接相連；所述池化計算順序序列化實現模塊與池化計算模塊之間直接相連；所述輸入數據分配控制模塊實時監視所述卷積計算順序序列化實現模塊的數據消耗狀況，向DDR片外存儲器發送相關讀數據命令并及時接收FPGA外圍接口和所述內部系統級聯接口傳送來的輸入數據，除此之外，所述輸入數據分配控制模塊還需將接收到的數據傳送給所述卷積計算順序序列化實現模塊；所述輸出數據分配控制模塊接收所述池化計算模塊或所述卷積計算結果分配控制模塊傳送來的輸入數據，并根據當前所處的計算階段將接收到的數據傳送給所述內部系統級聯接口或所述FPGA外圍接口，向所述DDR片外存儲器發送相關寫數據命令和相關中斷通知；除此之外，所述輸出數據分配控制模塊還實時響應所述FPGA外圍接口發送的命令；所述卷積計算順序序列化實現模塊結合調整參數將深度卷積神經網絡中相關卷積操作的結構化計算順序序列化，并為所述卷積計算模塊及時傳送序列化后的數據集；所述池化計算順序序列化實現模塊結合相關調整參數將深度卷積神經網絡中相關池化操作的結構化計算順序序列化，并為所述池化計算模塊及時傳送序列化后的數據集；所述卷積計算模塊完成深度卷積神經網絡中的相關卷積計算，并將計算結果及時傳送給所述卷積計算結果分配控制模塊；所述池化計算模塊主要負責完成深度卷積神經網絡中的相關池化操作，并將計算結果及時傳送給所述輸出數據分配控制模塊；所述卷積計算結果分配控制模塊接收所述卷積計算模塊傳來的計算結果數據，并根據當前所處的計算階段將接收到的數據有組織有規格地傳送給所述池化計算順序序列化實現模塊或所述輸出數據分配控制模塊。所述內部系統級聯接口主要負責為所述FPGA片上系統內部子系統之間的級聯或內部模塊之間的連接提供有效接口，用于連接所述輸出數據分配控制模塊和輸入數據分配控制模塊。2.如權利要求1所述的基于FPGA的深度卷積神經網絡的流水化加速系統，其特征在于，所述卷積計算順序序列化實現模塊由特征圖元組選擇功能子模塊和卷積核參數選擇功能子模塊組成。特征圖元組選擇功能子模塊實現特征圖元組選擇功能，卷積核參數選擇功能子模塊實現卷積核參數選擇功能。所述池化計算順序序列化實現模塊與所述卷積計算順序序列化實現模塊中的特征圖元組選擇功能子模塊的組成結構和實現的功能基本類似。3.如權利要求2所述的基于FPGA的深度卷積神經網絡的流水化加速系統，其特征在于，所述特征圖元組選擇功能子模塊主要由特征圖元組存儲器、新舊選擇器、標記參數存儲器、地址參數存儲器、計算窗口緩沖存儲器和特征圖元組計數器組成；所述特征圖元組存儲器采用雙端口RAM實現，用于存儲所述輸入數據分配控制模塊送入的特征圖元組；所述新舊選擇器維護兩個地址寄存器，分別為新值地址寄存器和舊值地址寄存器，用于從所述特征圖元組存儲器中選擇相應的特征圖元組并輸出給所述卷積計算模塊；所述標記參數存儲器用于存儲有效分析序號的新舊值選取標記和窗口計算提前結束標記，所述地址參數存儲器用于存儲有效分析序號的舊值選取地址，對于一個給定的深度卷積神經網絡模型，所述標記參數存儲器和所述地址參數存儲器一次寫入多次循環讀取；所述計算窗口緩沖存儲器采用雙端口RAM實現，用于緩存所述新舊選擇器輸出的特征圖元組并將其輸出給所述卷積計算模塊；所述特征值圖元組計數器用于統計所述新舊選擇器選擇輸出的特征圖元組個數；所述特征圖元組選擇功能子模塊每節拍從所述輸入數據分配控制模塊獲取一個特征圖元組的KFP個特征值，這KFP個特征值組成一個輸入特征值組；所述新舊選擇器每次選擇特征圖元組進行輸出時，查看當前新舊值選取標記值，若當前新舊值選取標記值為選新值標記，則從新值地址寄存器提供的起始地址處開始以特征值組為單位進行特征圖元組的輸出，每輸出一個特征組后，新值地址寄存器自動加一，當當前選取的特征圖元組輸出完畢后，從所述標記參數存儲器中順序獲取下一個新舊值選取標記作為當前新舊值選取標記；若當前新舊值選取標記值為選舊值標記，則將當前舊值選取地址送入舊值地址寄存器，并以此地址為起始地址以特征值組為單位進行特征圖元組的輸出，每輸出一個特征組后，舊值地址寄存器自動加一，當當前選取的特征圖元組輸出完畢后，從所述標記參數存儲器中順序獲取下一個新舊值選取標記作為當前新舊值選取標記，并從所述地址參數存儲器中順序獲取下一個舊值選取地址作為當前舊值選取地址；每當所述新舊選擇器輸出完一個特征圖元組后，所述特征圖元組計數器自動加一，若此時所述新舊選擇器選擇輸出的特征圖元組達到一個無填充元素的計算窗口大小，所述新舊選擇器將暫停輸出，直至位于所述計算窗口緩沖存儲器中的當前計算窗口的特征圖元組重復使用((DON-1)/KGP+1)次為止；若此時所述新舊選擇器選擇輸出的特征圖元組尚未達到一個無填充元素的計算窗...

【專利技術屬性】
技術研發人員：李開，鄒復好，章國良，黃浩，楊帆，孫浩，
申請(專利權)人：武漢魅瞳科技有限公司，
類型：發明
國別省市：湖北,42