基于雙模式積分點(diǎn)火神經(jīng)元的片上脈沖編碼器制造技術(shù)

本發(fā)明專利技術(shù)公開了一種基于雙模式積分點(diǎn)火神經(jīng)元的片上脈沖編碼器，包括輸入像素存儲器、全局調(diào)度器、脈沖仲裁器、編碼模塊陣列和參數(shù)寄存器；全局調(diào)度器分別與輸入像素存儲器、脈沖仲裁器和參數(shù)寄存器連接；編碼模塊陣列分別與輸入像素存儲器、脈沖仲裁器和參數(shù)寄存器連接；在全局調(diào)度器的控制下，脈沖編碼器根據(jù)參數(shù)寄存器配置所有編碼核心中神經(jīng)元的模式；在每次編碼運(yùn)算前，輸入像素存儲器取出N個(gè)像素并將這N個(gè)像素同時(shí)傳遞給N個(gè)編碼核心，N個(gè)編碼核心以時(shí)分復(fù)用方式并行編碼這N個(gè)像素；編碼生成的所有脈沖AER數(shù)據(jù)從脈沖仲裁器串行輸出。本發(fā)明專利技術(shù)具有片上實(shí)時(shí)編碼能力，能夠?qū)D像像素直接編碼為脈沖數(shù)據(jù)。像素直接編碼為脈沖數(shù)據(jù)。像素直接編碼為脈沖數(shù)據(jù)。

【技術(shù)實(shí)現(xiàn)步驟摘要】
基于雙模式積分點(diǎn)火神經(jīng)元的片上脈沖編碼器


[0001]本專利技術(shù)屬于FPGA
，具體涉及一種基于雙模式積分點(diǎn)火神經(jīng)元的片上脈沖編碼器。

技術(shù)介紹

[0002]目前，有在FPGA構(gòu)建了包含各種事件驅(qū)動型神經(jīng)網(wǎng)絡(luò)核心的神經(jīng)形態(tài)系統(tǒng)，但在驗(yàn)證神經(jīng)網(wǎng)絡(luò)核心的FPGA原型時(shí)均需要通過上位機(jī)編碼圖像像素并傳輸編碼得到的脈沖數(shù)據(jù)。上位機(jī)主要完成了兩項(xiàng)工作：
[0003]1)對原始圖像數(shù)據(jù)進(jìn)行處理，將圖像像素轉(zhuǎn)換成為脈沖數(shù)據(jù)；
[0004]2)將脈沖數(shù)據(jù)通過以太網(wǎng)鏈路發(fā)送給硬件FPGA供神經(jīng)網(wǎng)絡(luò)核心進(jìn)行學(xué)習(xí)和推理(如圖像分類識別)。
[0005]上位機(jī)通過以太網(wǎng)鏈路給神經(jīng)形態(tài)系統(tǒng)傳輸神經(jīng)網(wǎng)絡(luò)核心學(xué)習(xí)和推理所需要的脈沖數(shù)據(jù)之后，神經(jīng)網(wǎng)絡(luò)核心才能夠開始全方面學(xué)習(xí)事物整體和邊緣特征、訓(xùn)練優(yōu)化網(wǎng)絡(luò)各項(xiàng)超參數(shù)、合理分類識別未學(xué)習(xí)的新事物。
[0006]因此，有必要開發(fā)一種基于雙模式積分點(diǎn)火神經(jīng)元的片上脈沖編碼器。

技術(shù)實(shí)現(xiàn)思路

[0007]本專利技術(shù)的目的在于提供一種基于雙模式積分點(diǎn)火神經(jīng)元的片上脈沖編碼器，它具有片上實(shí)時(shí)編碼能力，能將圖像像素直接編碼為脈沖數(shù)據(jù)，將其提供給搭載事件驅(qū)動型神經(jīng)網(wǎng)絡(luò)核心的神經(jīng)形態(tài)系統(tǒng)使用。
[0008]本專利技術(shù)所述的一種基于雙模式積分點(diǎn)火神經(jīng)元的片上脈沖編碼器，該脈沖編碼器包括輸入像素存儲器、全局調(diào)度器、脈沖仲裁器、編碼模塊陣列和參數(shù)寄存器；
[0009]所述全局調(diào)度器分別與輸入像素存儲器、脈沖仲裁器和參數(shù)寄存器連接；
[0010]所述編碼模塊陣列分別與輸入像素存儲器、脈沖仲裁器和參數(shù)寄存器連接；
[0011]所述編碼模塊陣列包含有N個(gè)編碼核心；
[0012]在所述全局調(diào)度器的控制下，脈沖編碼器根據(jù)參數(shù)寄存器配置所有編碼核心中神經(jīng)元的模式；在每次編碼運(yùn)算前，所述輸入像素存儲器取出N個(gè)像素并同時(shí)將這N個(gè)像素傳遞給編碼模塊陣列的N個(gè)編碼核心，N個(gè)編碼核心以時(shí)分復(fù)用方式并行編碼這N個(gè)像素；編碼生成的所有脈沖AER(address
?
event representation，即地址事件表示)數(shù)據(jù)從脈沖仲裁器串行輸出；
[0013]其中，所述神經(jīng)元采用支持三種神經(jīng)編碼的雙模式積分點(diǎn)火神經(jīng)元，該神經(jīng)元支持確定模式和隨機(jī)模式；
[0014]所述參數(shù)寄存器內(nèi)存儲多個(gè)可配置的參數(shù)，分別為S，T，w，V
th
，Ca
+
，其中，S為編碼方式，T為編碼時(shí)間窗口，w為突觸權(quán)重，V
th
為預(yù)設(shè)膜電位閾值，Ca
+
為鈣濃度；通過配置參數(shù)S和Ca
+
使脈沖編碼器執(zhí)行三種編碼方案，其中，三種編碼方案分別為突發(fā)編碼、首個(gè)脈沖時(shí)間編碼和速率編碼。
[0015]可選地，在確定模式下，神經(jīng)元在每個(gè)時(shí)間步更新神經(jīng)元膜電位，當(dāng)某個(gè)時(shí)間步神經(jīng)元膜電位達(dá)到或超過預(yù)設(shè)膜電位閾值時(shí)，神經(jīng)元發(fā)射脈沖，同時(shí)將其膜電位重置為靜息值；當(dāng)配置的鈣濃度大于零時(shí)，對于一個(gè)輸入圖像像素，神經(jīng)元在整個(gè)編碼時(shí)間窗口內(nèi)只發(fā)射一次脈沖；
[0016]在隨機(jī)模式下，雙模式積分點(diǎn)火神經(jīng)元在每個(gè)時(shí)間步將像素轉(zhuǎn)化為發(fā)射概率，通過對比發(fā)射概率與隨機(jī)數(shù)變量的大小來決定神經(jīng)元是否在該時(shí)間步發(fā)射脈沖。
[0017]可選地，當(dāng)脈沖編碼器的編碼方式使用突發(fā)編碼時(shí)，配置S＝0，Ga
+
＝0，再根據(jù)需求配置參數(shù)T，w，V
th
的數(shù)值；
[0018]當(dāng)脈沖編碼器的編碼方式使用速率編碼時(shí)，配置S＝1，默認(rèn)Ga
+
＝0，再根據(jù)需求配置參數(shù)T，w，V
th
的數(shù)值；
[0019]當(dāng)脈沖編碼器的編碼方式使用首個(gè)脈沖時(shí)間編碼，配置S＝0，Ga
+
>0，再根據(jù)需求配置參數(shù)T，w，V
th
的數(shù)值。
[0020]可選地，所述編碼核心包括權(quán)重寄存器、運(yùn)算單元、膜電位存儲器、比較器單元、比較電位寄存器、線性反饋移位寄存器、發(fā)射標(biāo)志存儲器與脈沖數(shù)據(jù)寄存器；
[0021]所述運(yùn)算單元分別與膜電位存儲器、權(quán)重寄存器連接；
[0022]所述比較器單元分別與運(yùn)算單元、比較電位寄存器、線性反饋移位寄存器、發(fā)射標(biāo)志存儲器與脈沖數(shù)據(jù)寄存器連接。
[0023]可選地，所述權(quán)重寄存器采用5位
×
1的權(quán)重寄存器；
[0024]所述膜電位存儲器采用13位
×
98的膜電位存儲器；
[0025]所述比較電位寄存器采用21位
×
1的比較電位寄存器；
[0026]所述發(fā)射標(biāo)志存儲器采用1位
×
98的發(fā)射標(biāo)志存儲器；
[0027]所述脈沖數(shù)據(jù)寄存器采用16位
×
1的脈沖數(shù)據(jù)寄存器。
[0028]可選地，所述運(yùn)算單元用于實(shí)現(xiàn)神經(jīng)元膜電位的更新；
[0029]當(dāng)使用突發(fā)編碼或首個(gè)脈沖時(shí)間編碼時(shí)，像素r的神經(jīng)元膜電位V
m
(t)定義為：
[0030]V
m
(t)＝V
m
(t
?
1)+ΔV
m
(t)；
[0031]ΔV
m
(t)＝w
×
r；
[0032]當(dāng)使用速率編碼時(shí)，像素r的神經(jīng)元膜電位V
m
(t)定義為：
[0033]V
m
(t)＝ΔV
m
(t)＝w
×
r；
[0034]其中：r表示時(shí)間步t時(shí)刻的輸入像素；V
m
(t)表示像素r在時(shí)間步t時(shí)的神經(jīng)元膜電位，V
m
(t
?
1)表示像素r在時(shí)間步t
?
1時(shí)的神經(jīng)元膜電位；ΔV
m
(t)代表時(shí)間步t時(shí)的膜電位增量；w為突觸權(quán)重。
[0035]可選地，所述比較器單元用于將神經(jīng)元膜電位V
m
(t)與比較電位V
compare
進(jìn)行比較；
[0036]在時(shí)間步t，當(dāng)神經(jīng)元膜電位V
m
(t)≥V
compare
時(shí)；
[0037]若編碼方式為突發(fā)編碼或速率編碼時(shí)，神經(jīng)元發(fā)射脈沖；
[0038]若編碼方式為首個(gè)脈沖時(shí)間編碼，并且在時(shí)間步t之前神經(jīng)元已發(fā)射過脈沖，則神經(jīng)元不發(fā)射脈沖；
[0039]其中：當(dāng)選擇突發(fā)編碼或首個(gè)脈沖時(shí)間編碼時(shí)，比較電位V
compare
等于V
th
；當(dāng)采用速率編碼時(shí)，比較電位V
compare
等于V
th
×
rand。
[0040]可選地，當(dāng)編碼核心將編碼得到的AER脈沖數(shù)據(jù)傳輸?shù)矫}沖仲裁器后，全局調(diào)度器
先暫停編碼模塊陣列的編碼運(yùn)算和比較運(yùn)算，然后控制脈沖仲裁器串行將所有AER脈沖數(shù)據(jù)輸出；本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】

【技術(shù)特征摘要】
1.一種基于雙模式積分點(diǎn)火神經(jīng)元的片上脈沖編碼器，其特征在于：該脈沖編碼器包括輸入像素存儲器、全局調(diào)度器、脈沖仲裁器、編碼模塊陣列和參數(shù)寄存器；所述全局調(diào)度器分別與輸入像素存儲器、脈沖仲裁器和參數(shù)寄存器連接；所述編碼模塊陣列分別與輸入像素存儲器、脈沖仲裁器和參數(shù)寄存器連接；所述編碼模塊陣列包含有N個(gè)編碼核心；在所述全局調(diào)度器的控制下，脈沖編碼器根據(jù)參數(shù)寄存器配置所有編碼核心中神經(jīng)元的模式；在每次編碼運(yùn)算前，所述輸入像素存儲器取出N個(gè)像素并同時(shí)將這N個(gè)像素傳遞給編碼模塊陣列的N個(gè)編碼核心，N個(gè)編碼核心以時(shí)分復(fù)用方式并行編碼這N個(gè)像素；編碼生成的所有脈沖AER數(shù)據(jù)從脈沖仲裁器串行輸出；其中，所述神經(jīng)元采用支持三種神經(jīng)編碼的雙模式積分點(diǎn)火神經(jīng)元，該神經(jīng)元支持確定模式和隨機(jī)模式；所述參數(shù)寄存器內(nèi)存儲多個(gè)可配置的參數(shù)，分別為S，T，w，V
th
，Ca
+
，其中，S為編碼方式，T為編碼時(shí)間窗口，w為突觸權(quán)重，V
th
為預(yù)設(shè)膜電位閾值，Ca
+
為鈣濃度；通過配置參數(shù)S和Ca
+
使脈沖編碼器執(zhí)行三種編碼方案，其中，三種編碼方案分別為突發(fā)編碼、首個(gè)脈沖時(shí)間編碼和速率編碼。2.根據(jù)權(quán)利要求1所述的基于雙模式積分點(diǎn)火神經(jīng)元的片上脈沖編碼器，其特征在于：在確定模式下，神經(jīng)元在每個(gè)時(shí)間步更新神經(jīng)元膜電位，當(dāng)某個(gè)時(shí)間步神經(jīng)元膜電位達(dá)到或超過預(yù)設(shè)膜電位閾值時(shí)，神經(jīng)元發(fā)射脈沖，同時(shí)將其膜電位重置為靜息值；當(dāng)配置的鈣濃度大于零時(shí)，對于一個(gè)輸入圖像像素，神經(jīng)元在整個(gè)編碼時(shí)間窗口內(nèi)只發(fā)射一次脈沖；在隨機(jī)模式下，雙模式積分點(diǎn)火神經(jīng)元在每個(gè)時(shí)間步將像素轉(zhuǎn)化為發(fā)射概率，通過對比發(fā)射概率與隨機(jī)數(shù)變量的大小來決定神經(jīng)元是否在該時(shí)間步發(fā)射脈沖。3.根據(jù)權(quán)利要求2所述的基于雙模式積分點(diǎn)火神經(jīng)元的片上脈沖編碼器，其特征在于：當(dāng)脈沖編碼器的編碼方式使用突發(fā)編碼時(shí)，配置S＝0，Ga
+
＝0，再根據(jù)需求配置參數(shù)T，w，V
th
的數(shù)值；當(dāng)脈沖編碼器的編碼方式使用速率編碼時(shí)，配置S＝1，默認(rèn)Ga
+
＝0，再根據(jù)需求配置參數(shù)T，w，V
th
的數(shù)值；當(dāng)脈沖編碼器的編碼方式使用首個(gè)脈沖時(shí)間編碼，配置S＝0，Ga
+
>0，再根據(jù)需求配置參數(shù)T，w，V
th
的數(shù)值。4.根據(jù)權(quán)利要求3所述的基于雙模式積分點(diǎn)火神經(jīng)元的片上脈沖編碼器，其特征在于：所述編碼核心包括權(quán)重寄存器、運(yùn)算單元、膜電位存儲器、比較器單元、比較電位寄存器、線性反饋移位寄存器、發(fā)射標(biāo)志存儲器與脈沖數(shù)據(jù)寄存器；所述運(yùn)算單元分別與膜電位存儲器、權(quán)重寄存器連接；所述比較器單元分別與運(yùn)算單元、比較電位寄存器、線性反饋移位寄存器、發(fā)射標(biāo)志存儲器與脈沖數(shù)據(jù)寄存器連接。5.根據(jù)權(quán)利要求4所述的基于雙模式積分點(diǎn)火神經(jīng)元的片上脈沖編碼器，其特征在于：所述權(quán)重寄存器采用5位
×
1的權(quán)重寄存器；所述膜...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：石匆，庹云鵬，鐘正青，田敏，王海冰，王騰霄，何俊賢，陳樂毅，張靖雅，王麗，陳思豪，高灝然，
申請(專利權(quán))人：重慶大學(xué)，
類型：發(fā)明
國別省市：