【技術(shù)實(shí)現(xiàn)步驟摘要】
本專(zhuān)利技術(shù)涉及可編程視覺(jué)芯片、并行視覺(jué)圖像處理器、人工神經(jīng)網(wǎng)絡(luò)等視覺(jué)圖像處理
，尤其涉及一種用于高速視覺(jué)圖像特征提取和特征識(shí)別的、可動(dòng)態(tài)重構(gòu)為自組織映射神經(jīng)網(wǎng)絡(luò)的可動(dòng)態(tài)重構(gòu)的多級(jí)并行單指令多數(shù)據(jù)陣列處理系統(tǒng)。
技術(shù)介紹
傳統(tǒng)的視覺(jué)圖像處理系統(tǒng)包括分立的攝像頭和通用處理器(或數(shù)字信號(hào)處理器(DSP))，攝像頭使用圖像傳感器獲取圖像，并在通用處理器或DSP中利用軟件對(duì)圖像進(jìn)行處理。由于在通用處理器或DSP中利用軟件對(duì)圖像進(jìn)行處理往往是逐個(gè)像素串行進(jìn)行的，存在串行處理的瓶頸，因此傳統(tǒng)的視覺(jué)圖像系統(tǒng)一般只能達(dá)到30幀/秒的速度，遠(yuǎn)遠(yuǎn)無(wú)法滿(mǎn)足高速實(shí)時(shí)性需求，比如某些工業(yè)控制系統(tǒng)中經(jīng)常要求1000幀/秒的速度。而視覺(jué)芯片和并行視覺(jué)處理器的出現(xiàn)有效滿(mǎn)足了高速實(shí)時(shí)處理的需求，其中視覺(jué)芯片是在單一芯片上同時(shí)集成有圖像傳感器和圖像處理電路的新型片上視覺(jué)系統(tǒng)。在可編程視覺(jué)芯片和高速并行視覺(jué)處理器中，圖像處理電路經(jīng)常采用像素級(jí)并行圖像處理體系架構(gòu)，該架構(gòu)是由相同處理單元組成的二維處理單元陣列，并且工作在單指令多數(shù)據(jù)模式下，使得低中級(jí)圖像處理速度得到大幅提升，從而實(shí)現(xiàn)1000幀/秒以上的視覺(jué)圖像特征提取速度。但是，這種單一的像素級(jí)并行處理體系架構(gòu)存在嚴(yán)重不足，主要表現(xiàn)在I)該像素級(jí)并行圖像處理體系架構(gòu)中的像素級(jí)并行圖像處理單元排列成二維陣列，可實(shí)現(xiàn)全像素并行的局域處理，但無(wú)法實(shí)現(xiàn)快速靈活的廣域處理；2)該像素級(jí)并行圖像處理體系架構(gòu)支持低級(jí)圖像處理和部分中級(jí)圖像處理，因而能實(shí)現(xiàn)1000幀/秒的圖像特征提取，但缺乏高級(jí)圖像處理功能，尤其缺乏類(lèi)似人類(lèi)腦神經(jīng)的簡(jiǎn)單直觀的快速特征識(shí)別...
【技術(shù)保護(hù)點(diǎn)】
一種可動(dòng)態(tài)重構(gòu)的多級(jí)并行單指令多數(shù)據(jù)陣列處理系統(tǒng)，應(yīng)用于高速片上視覺(jué)系統(tǒng)中的高速視覺(jué)圖像特征提取和特征識(shí)別，其特征在于，包括：可配置圖像傳感器接口(1)，用于并行或串行接收來(lái)自圖像傳感器的像素?cái)?shù)據(jù)，再以行并行的方式將該像素?cái)?shù)據(jù)輸出到后續(xù)的可重構(gòu)并行圖像處理單元及自組織映射陣列(2)；可重構(gòu)并行圖像處理單元及自組織映射陣列(2)，用于在圖像處理的不同階段動(dòng)態(tài)被重構(gòu)為M×M像素級(jí)并行的處理單元PE陣列或(M/4)×(M/4)自組織映射SOM神經(jīng)網(wǎng)絡(luò)，完成圖像特征提取和圖像特征識(shí)別，其中M為自然數(shù)；行處理器RP陣列(5)，用于輔助可重構(gòu)并行圖像處理單元及自組織映射陣列(2)完成各階段圖像處理任務(wù)中適于以行并行完成的部分，能夠進(jìn)行快速非線(xiàn)性處理和廣域處理，并在系統(tǒng)外部控制下串行移入數(shù)據(jù)和輸出處理結(jié)果；以及陣列控制器(8)，用于在系統(tǒng)外部驅(qū)動(dòng)控制下，從系統(tǒng)內(nèi)部變長(zhǎng)?超長(zhǎng)單指令多數(shù)據(jù)VVS指令存儲(chǔ)器中取出控制所述可重構(gòu)并行圖像處理單元及自組織映射陣列(2)和所述RP陣列(5)的控制指令，并連同其自身某些特殊寄存器的值，一起譯碼后輸出到所述可重構(gòu)并行圖像處理單元及自組織映射陣列(2)和所述RP陣列(...
【技術(shù)特征摘要】
1.一種可動(dòng)態(tài)重構(gòu)的多級(jí)并行單指令多數(shù)據(jù)陣列處理系統(tǒng)，應(yīng)用于高速片上視覺(jué)系統(tǒng)中的高速視覺(jué)圖像特征提取和特征識(shí)別，其特征在于，包括可配置圖像傳感器接口(I)，用于并行或串行接收來(lái)自圖像傳感器的像素?cái)?shù)據(jù)，再以行并行的方式將該像素?cái)?shù)據(jù)輸出到后續(xù)的可重構(gòu)并行圖像處理單元及自組織映射陣列(2)；可重構(gòu)并行圖像處理單元及自組織映射陣列(2)，用于在圖像處理的不同階段動(dòng)態(tài)被重構(gòu)為MXM像素級(jí)并行的處理單元PE陣列或(M/4) X (M/4)自組織映射SOM神經(jīng)網(wǎng)絡(luò)，完成圖像特征提取和圖像特征識(shí)別，其中M為自然數(shù)；行處理器RP陣列(5)，用于輔助可重構(gòu)并行圖像處理單元及自組織映射陣列(2)完成各階段圖像處理任務(wù)中適于以行并行完成的部分，能夠進(jìn)行快速非線(xiàn)性處理和廣域處理， 并在系統(tǒng)外部控制下串行移入數(shù)據(jù)和輸出處理結(jié)果；以及陣列控制器(8)，用于在系統(tǒng)外部驅(qū)動(dòng)控制下，從系統(tǒng)內(nèi)部變長(zhǎng)-超長(zhǎng)單指令多數(shù)據(jù) WS指令存儲(chǔ)器中取出控制所述可重構(gòu)并行圖像處理單元及自組織映射陣列(2)和所述RP 陣列(5)的控制指令，并連同其自身某些特殊寄存器的值，一起譯碼后輸出到所述可重構(gòu)并行圖像處理單元及自組織映射陣列(2)和所述RP陣列(5)作為陣列控制信號(hào)。2.根據(jù)權(quán)利要求1所述的可動(dòng)態(tài)重構(gòu)的多級(jí)并行單指令多數(shù)據(jù)陣列處理系統(tǒng)，其特征在于，所述可重構(gòu)并行圖像處理單元及自組織映射陣列(2)包括MXM個(gè)細(xì)粒度并行圖像處理單元PE (3)，這些PE單元以像素級(jí)并行方式工作在單指令多數(shù)據(jù)SMD模式下。3.根據(jù)權(quán)利要求2所述的可動(dòng)態(tài)重構(gòu)的多級(jí)并行單指令多數(shù)據(jù)陣列處理系統(tǒng)，其特征在于，所述可重構(gòu)并行圖像處理單元及自組織映射陣列(2)中的每一塊4X4 二維PE子陣列(4)能被重構(gòu)為SOM神經(jīng)網(wǎng)絡(luò)的一個(gè)神經(jīng)元。4.根據(jù)權(quán)利要求3所述的可動(dòng)態(tài)重構(gòu)的多級(jí)并行單指令多數(shù)據(jù)陣列處理系統(tǒng)，其特征在于，所述4X4 二維PE子陣列(4)在被重構(gòu)前，其中的每一個(gè)PE單元(11)都與其最鄰近的4個(gè)PE單元連接并進(jìn)行數(shù)據(jù)通信，帶寬為I比特。5.根據(jù)權(quán)利要求4所述的可動(dòng)態(tài)重構(gòu)的多級(jí)并行單指令多數(shù)據(jù)陣列處理系統(tǒng)，其特征在于，所述4X4 二維PE子陣列⑷邊界上的PE單元與相鄰的4X4 二維PE子陣列的PE 單元連接并進(jìn)行數(shù)據(jù)通信。6.根據(jù)權(quán)利要求4或5所述的可動(dòng)態(tài)重構(gòu)的多級(jí)并行單指令多數(shù)據(jù)陣列處理系統(tǒng)， 其特征在于，所述每個(gè)PE單元包含一個(gè)I比特算術(shù)邏輯單元ALU(13)，一個(gè)進(jìn)位寄存器 Creg(12)和一個(gè)位寬I比特、深度W的本地存儲(chǔ)器(14)，其中W為自然數(shù)，算術(shù)邏輯單元 (13)的操作數(shù)來(lái)自自身所在PE單元或相鄰PE單元的存儲(chǔ)器，運(yùn)算過(guò)程中產(chǎn)生的進(jìn)位輸出存儲(chǔ)到所在PE單元的進(jìn)位寄存器中，作為下一次運(yùn)算的算術(shù)邏輯單元的進(jìn)位輸入，從而以 “位串”的方式實(shí)現(xiàn)多比特運(yùn)算。7.根據(jù)權(quán)利要求3所述的可動(dòng)態(tài)重構(gòu)的多級(jí)并行單指令多數(shù)據(jù)陣列處理系統(tǒng)，其特征在于，所述4X4 二維PE子陣列(4)在被重構(gòu)后成為SOM神經(jīng)網(wǎng)絡(luò)的一個(gè)神經(jīng)元(15)，在該神經(jīng)元(15)中各個(gè)PE單元之間的拓?fù)溥B接關(guān)系發(fā)生改變，每個(gè)PE單元代表所在重構(gòu)后的神經(jīng)元的一個(gè)“比特位切片(bit-slice)”，即每個(gè)PE單元都向所在神經(jīng)元的某個(gè)比特位貢獻(xiàn)相應(yīng)的運(yùn)算資源和存儲(chǔ)資源，因而可映射為神經(jīng)元的某一比特位，此時(shí)PE單元只能與映射為鄰近比特位的兩個(gè)PE單元連接并進(jìn)行數(shù)據(jù)交互，但帶寬升為2比特，包括Ibit存儲(chǔ)器數(shù)據(jù)交互和Ibit進(jìn)位數(shù)據(jù)交互。8.根據(jù)權(quán)利要求7所述的可動(dòng)態(tài)重構(gòu)的多級(jí)并行單指令多數(shù)據(jù)陣列處理系統(tǒng)，其特征在于，所述每個(gè)作為“比特位切片”的PE單元中的進(jìn)位輸出不再存儲(chǔ)到自身的進(jìn)位寄存器中，而是直接作為重構(gòu)后SOM神經(jīng)元中相鄰高位“比特位切片^PE單元中算術(shù)邏輯單元的進(jìn)位輸入，這樣所有16個(gè)PE單元的算術(shù)邏輯單元就連接在一起形成了一個(gè)16比特算術(shù)邏輯單元，該16比特算術(shù)邏輯單元的最終進(jìn)位輸出被保存到該神經(jīng)元的符號(hào)標(biāo)志寄存器(17)中，并作為后續(xù)操作的進(jìn)位輸入或條件操作標(biāo)志。9.根據(jù)權(quán)利要求8所述的可動(dòng)態(tài)重構(gòu)的多級(jí)并行單指令多數(shù)據(jù)陣列處理系統(tǒng)，其特征在于，該16比特算術(shù)邏輯單元的各比特操作數(shù)同時(shí)來(lái)自于所有PE單元的存儲(chǔ)器，因此該神經(jīng)元(15)相當(dāng)于擁有一個(gè)位寬16比特、深度W的本地存儲(chǔ)器(20)。10.根據(jù)權(quán)利要求9所述的可動(dòng)態(tài)重構(gòu)的多級(jí)并行單指令多數(shù)據(jù)陣列處理系統(tǒng)，其特征在于，所述由4X4 二維PE子陣列(4)重構(gòu)得到的該神經(jīng)元(15)能夠與左右兩側(cè)的神經(jīng)元進(jìn)行數(shù)據(jù)通信，通信帶寬為I比特，該神經(jīng)元(15)包含一個(gè)16比特ALU(IS)、一個(gè)移位控制單元(19)、一個(gè)位寬16比特深度W的第二本地存儲(chǔ)器(20)以及多個(gè)附加的標(biāo)志寄存器。11.根據(jù)權(quán)利要求1所述的可動(dòng)態(tài)重構(gòu)的多級(jí)并行單指令多數(shù)據(jù)陣列處理系統(tǒng)，其特征在于，所述PE單元的具體電路結(jié)構(gòu)包括一個(gè)I比特ALU單元(23),—個(gè)第一操作數(shù)選擇器(26)、一個(gè)第二操作數(shù)選擇器(25)、一個(gè)深度W位寬I比特的本地雙端口存儲(chǔ)器(28)、一個(gè)條件選擇器(29)、一個(gè)進(jìn)位寄存器(22)、一個(gè)臨時(shí)寄存器(24),以及多個(gè)與重構(gòu)有關(guān)的二輸入多路選擇器，這些與重構(gòu)有關(guān)的二輸入多路選擇器的兩個(gè)輸入端分別被標(biāo)記為PE和S0M，表示可實(shí)現(xiàn)與重構(gòu)相關(guān)的數(shù)據(jù)選擇功能。12.根據(jù)權(quán)利要求11所述的可動(dòng)態(tài)重構(gòu)的多級(jí)并行單指令多數(shù)據(jù)陣列處理系統(tǒng)，其特征在于，為了重構(gòu)實(shí)現(xiàn)自組織映射神經(jīng)網(wǎng)絡(luò)，每個(gè)4X4 二維PE子陣列(4)中的各PE單元還共享一個(gè)額外的標(biāo)志寄存器文件(31)，該標(biāo)志寄存器文件(31)由4個(gè)I比特標(biāo)志寄存器構(gòu)成，分別為重構(gòu)標(biāo)志寄存器Rflag(32)、獲勝標(biāo)志寄存器Wflag(33)、符號(hào)標(biāo)志寄存器Sflag(34)和溢出標(biāo)志寄存器0Vflag(35)，該標(biāo)志寄存器文件(31)的標(biāo)志輸出到PE單元作為某些選擇控制信號(hào)，而其本身的值能夠被某些PE單元的輸出和/或外部控制信號(hào)所更新。13.根據(jù)權(quán)利要求12所述的可動(dòng)態(tài)重構(gòu)的多級(jí)并行單指令多數(shù)據(jù)陣列處理系統(tǒng)，其特征在于，所述重構(gòu)標(biāo)志寄存器Rflag (32)通過(guò)控制重構(gòu)多路選擇器改變PE單元之間的拓?fù)溥B接關(guān)系來(lái)實(shí)現(xiàn)動(dòng)態(tài)重構(gòu)，當(dāng)Rflag為O時(shí)，各重構(gòu)多路選擇器選擇“PE”端的輸入數(shù)據(jù)，此時(shí)整個(gè)陣列工作在像素級(jí)并行處理器模式下，而當(dāng)Rflag為I時(shí)，各重構(gòu)多路選擇器選擇“S0M”端的輸入數(shù)據(jù)，此時(shí)整個(gè)陣列工作在二維SOM神經(jīng)網(wǎng)絡(luò)模式下。14.根據(jù)權(quán)利要求12所述的可動(dòng)態(tài)重構(gòu)的多級(jí)并行單指令多數(shù)據(jù)陣列處理系統(tǒng)，其特征在于，所述獲勝標(biāo)志寄存器Wflag (33)、符號(hào)標(biāo)志寄存器Sflag (34)和溢出標(biāo)志寄存器OVflag (35)只有在二維SOM神經(jīng)網(wǎng)絡(luò)模式下才能起作用。15.根據(jù)權(quán)利要求12、13或14所述的可動(dòng)態(tài)重構(gòu)的多級(jí)并行單指令多數(shù)據(jù)陣列處理系統(tǒng)，其特征在于，所述PE單元和標(biāo)志寄存器文件(31)的控制信號(hào)來(lái)自于陣列控制器中的指令存儲(chǔ)器和某些特殊寄存器的組合輸出譯碼。16.根據(jù)權(quán)利要求12、13或14所述的可動(dòng)態(tài)重構(gòu)的多級(jí)并行單指令多數(shù)據(jù)陣列處理系統(tǒng)，其特征...
【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：石匆，吳南健，龍希田，楊杰，秦琦，
申請(qǐng)(專(zhuān)利權(quán))人：中國(guó)科學(xué)院半導(dǎo)體研究所，
類(lèi)型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。