一種基于交通標志識別的交叉口車輛違章檢測系統(tǒng)技術(shù)方案

本專利公開了一種基于深度學(xué)習(xí)的交叉口車輛違章檢測與辨識方法，所述方法包括如下步驟：步驟一、采集交叉口視頻檢測圖像；步驟二、交通標志和車輛的識別；步驟三，車輛的跟蹤；步驟四、車輛違章檢測與辨識系統(tǒng)。本發(fā)明專利技術(shù)通過基于交叉口監(jiān)控視頻中的交通標志牌和車輛的自動識別與跟蹤，進而能夠自動辨識出交叉口處車輛的違章情況，該系統(tǒng)誤檢少、效率高。

Intersection vehicle violation detection system based on traffic sign recognition

The utility model discloses a deep learning based on the intersection of traffic violation detection and identification method, the method comprises the following steps: 1, the intersection of video image acquisition; step two, recognition of traffic signs and vehicles; vehicle tracking; step three, step four, vehicle detection and identification system. The invention can automatically identify the illegal condition of the vehicle at the intersection by automatically monitoring and tracking the traffic signs in the video and the automatic identification and tracking of the vehicle at the intersection, and the system has less error detection and high efficiency.

【技術(shù)實現(xiàn)步驟摘要】
一種基于交通標志識別的交叉口車輛違章檢測系統(tǒng)
本專利屬于智能交通
，具體而言涉及一種基于深度學(xué)習(xí)的交叉口車輛違章檢車與辨識系統(tǒng)。技術(shù)背景違章停車的處罰在現(xiàn)有技術(shù)中可以通過人工現(xiàn)場處罰，以及通過攝像頭非現(xiàn)場處罰的方式來進行。在現(xiàn)有技術(shù)中，通過設(shè)置在道路邊的攝像頭拍取道路上的圖像，通過智能識別的方式識別圖像中違章行駛的情況，并截取相應(yīng)的證據(jù)是一種常見的手段。但是，現(xiàn)有技術(shù)中對于道路交叉口的違章行駛，例如禁止掉頭處掉頭，不按規(guī)定的車道行駛等，在現(xiàn)場的執(zhí)法中容易發(fā)現(xiàn)，但是很難通過智能識別的方式實現(xiàn)。因為，不同的道路其設(shè)置的通行規(guī)則是不同的，而且同一個交叉口有時候通行規(guī)則是會根據(jù)各種因素的考慮改變的。而位于道路交叉口的攝像頭對于簡單的道路情況，例如闖紅燈等的識別是較為準確的；而對于復(fù)雜的道路情況，例如馬路交叉口的未按照規(guī)定車道行駛、違章停車、禁止掉頭處掉頭等的識別并不準確，或者識別程度不高，給行駛?cè)嘶蛘呤墙煌ü芾聿块T帶來困擾。
技術(shù)實現(xiàn)思路
本專利正是基于現(xiàn)有技術(shù)中的上述需求而提出的，本專利要解決的技術(shù)問題是提供一種基于深度學(xué)習(xí)的交叉口車輛違章檢測與辨識系統(tǒng)，以便于智能檢測在道路交叉口的車輛違章情況。為了解決上述問題，本專利提供的技術(shù)方案包括：一種基于深度學(xué)習(xí)的交叉口車輛違章檢測與辨識方法，所述方法包括如下步驟：步驟一、采集交叉口視頻檢測圖像利用在交叉路口的視頻采集設(shè)備采集視頻圖像；步驟二、交通標志和車輛的識別在本步驟中，對于交通標志和車輛的識別其過程包括：步驟S201對輸入圖像進行特征提取使用卷積神經(jīng)網(wǎng)絡(luò)利對輸入圖像進行特征自動提取；所述卷積神經(jīng)網(wǎng)絡(luò)包括特征提取和特征圖級聯(lián)兩部分；1)特征提取，所述卷積神經(jīng)網(wǎng)絡(luò)包括五層個卷積層，其中第一卷積層包括1_1卷積層；第二卷積層包括2_1卷積層、2_2卷積層和2_3卷積層；第三卷積層包括3_1卷積層、3_2卷積層、3_3卷積層和3_4卷積層；第四卷積層包括4_1卷積層、C4_2卷積層、4_3卷積層和4_4卷積層；第五卷積層包括5_1卷積層、5_2卷積層、5_3卷積層和5_4卷積層；其中第一卷積層的操作類型采用C.ReLU，感受野大小為7*7像素，輸出通道數(shù)為32。第二卷積層的操作類型采用C.ReLU，感受野大小為3*3像素，輸出通道數(shù)為64；第三卷積層的操作類型采用C.ReLU，感受野大小為3*3像素，輸出通道數(shù)為128；第四卷積層和第五卷積層的操作類型采用Inception；2)特征圖級聯(lián)，將不同卷積階段的不同尺度的卷積特征層級聯(lián)起來，利用了高層特征的語義信息的同時還考慮到低層特征的細節(jié)紋理信息，將第3_4卷積層進行使用最大池化，5_4卷積層使用雙線性插值算法進行上采樣，然后將兩者與4_4卷積層結(jié)合經(jīng)過1x1的卷積后生成512通道的多尺度輸出特征作為接下來候選區(qū)域網(wǎng)絡(luò)的輸入；S202交通標志和車輛的定位檢測從特征提取后的圖像中從定位包含交通標志和車輛的候選區(qū)域，之后將候選區(qū)域輸出到交通標志和車輛的分類識別模塊；其中包括：1)采用候選區(qū)域網(wǎng)絡(luò)提取候選區(qū)域，輸入圖像經(jīng)過特征提取網(wǎng)絡(luò)后，在最后一個卷積層輸出的卷積特征映射上滑動小網(wǎng)絡(luò)，所述滑動小網(wǎng)絡(luò)全連接到輸入卷積特征映射的n*n的空間窗口上，以生成候選區(qū)域框。2)候選區(qū)域網(wǎng)絡(luò)的損失函數(shù)為了訓(xùn)練候選區(qū)域網(wǎng)絡(luò)，在本步驟中給每個候選框分配一個二進制的標簽(分別對應(yīng)的情況為：是目標、不是目標)。給兩類候選框分配正標簽：(1)與某個真實區(qū)域包圍盒有最大IoU(兩個區(qū)域的交集面積與并集面積之比)值；(2)與任意真實區(qū)域包圍盒的IoU值大于0.7的候選框。為所有與真實區(qū)域IoU值低于0.3的候選框分配負標簽。候選區(qū)域網(wǎng)絡(luò)的損失函數(shù)定義為：其中，i是一次批量迭代中選取的候選框索引；pi為候選框為目標的概率，如果候選框是正標簽，其對應(yīng)的真實區(qū)域標簽pi*為1，否則，pi*為0；ti表示預(yù)測的包圍盒的4個參數(shù)化坐標向量，ti*是相對應(yīng)的真實區(qū)域包圍盒的坐標向量。分類損失Ccls是針對目標和非目標兩個類別的對數(shù)損失：對于回歸損失，用來計算，其中S(x)為：對于回歸，本步驟采用4個坐標的參數(shù)：tx＝(x-xa)/waty＝(y-ya)/hatw＝log(w/wa)th＝log(h/ha)其中，x,y,w,h指的是包圍盒中心的(x,y)坐標、寬、高，變量x,xa,x*分別為預(yù)測的包圍盒、候選框、真實區(qū)域包圍盒的x坐標,變量y,ya,y*分別為預(yù)測的包圍盒、候選框、真實區(qū)域包圍盒的y坐標；變量w,wa,w*分別為預(yù)測的包圍盒、候選框、真實區(qū)域包圍盒的w坐標；變量h,ha,h*分別為預(yù)測的包圍盒、候選框、真實區(qū)域包圍盒的h坐標；Ncls取256，Nreg取2400，λ取10；tx,ty,tw,th表示預(yù)測的包圍盒的4個參數(shù)化坐標向量，tx*,ty*,tw*,th*是相對應(yīng)的真實區(qū)域包圍盒的坐標向量。S203交通標志和車輛的分類識別交通標志和車輛的分類識別的主要任務(wù)是對于上一步最終定位到的交通標志和車輛的候選區(qū)域進行特征提取和分類識別，從而得到交通標志和車輛的的類型信息，其中包括：1)利用區(qū)域卷積網(wǎng)絡(luò)進行交通標志和車輛的識別，針對S202中得到的含有交通標志的候選區(qū)域，采用一種與候選區(qū)域網(wǎng)絡(luò)共享卷積的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)算法進行交通標志的識別；2)奇異值分解，利用奇異值分解來加快交通標志識別系統(tǒng)的識別速度；設(shè)W是一個大小為u×v的權(quán)重矩陣，可以利用奇異值分解得到，如公式：W≈U∑tVT式中：U：大小為u×t的一個向量；∑t：大小為t×t的對角矩陣；VT：大小為t×v的向量；由|WTW-λI|＝0求得WTW的特征值λ；設(shè)矩陣W的轉(zhuǎn)置為WT，由公式(WTW)vi＝λivi求得WTW的特征向量v；根據(jù)公式得到奇異值σ，而U則可根據(jù)公式得到：U，∑t，VT三個矩陣相乘接近于矩陣W；3)區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的損失函數(shù),區(qū)域卷積神經(jīng)網(wǎng)絡(luò)可以對輸入?yún)^(qū)域輸出K+1類目標,包含背景,的概率以及回歸后的包圍盒坐標。對于每一個訓(xùn)練候選區(qū)域定義損失函數(shù)為：L(p,u,tu,t*)＝Lcls(p,u)+[u≥1]Lloc(tu,t*)其中，Lcls(p,u)＝-lgpu是對候選區(qū)域?qū)?yīng)的真實目標類別u的對數(shù)損失；對于k+1類目標有p＝(p0,p1,....,pk)；[u≥1]為示性函數(shù)，當候選區(qū)域為背景時，u＝0；Lloc(tu,t*)為包圍盒坐標的回歸損失，式中的函數(shù)S為：其中對于k類目標中的每一個都有t*為候選區(qū)域?qū)?yīng)的真實目標包圍盒的參數(shù)坐標向量；為k類目標中的預(yù)測包圍盒的x坐標；為k類目標中的預(yù)測包圍盒的y坐標；為k類目標中的預(yù)測包圍盒的w坐標；為k類目標中的預(yù)測包圍盒的h坐標；步驟三，車輛的跟蹤在對圖像中的交通標志和車輛的識別后，通過對識別到的車輛使用跟蹤算法來繪制出車輛的行使軌跡；利用誤差最小平方和濾波器使其在目標上的響應(yīng)最大，其中g(shù)表示響應(yīng)輸出，f表示輸入圖像，h表示濾波模板，表示卷積操作；對上式進行快速傅里葉變換將卷積操作變成了點乘操作，即變成：簡寫成：G＝F·H*因此，跟蹤的任務(wù)就是找到H*，H*為H的共軛，即：在跟蹤的過程中，使用模型公式為：其中，⊙表示Hadamard乘積，得到其中w和v是H中每個元素的索引；對其求偏導(dǎo)，并使偏導(dǎo)為0，即：得到最本文檔來自技高網(wǎng)...

【技術(shù)保護點】
一種基于深度學(xué)習(xí)的交叉口車輛違章檢測與辨識方法，其特征在于，所述方法包括如下步驟：步驟一、采集交叉口視頻檢測圖像利用在交叉路口的視頻采集設(shè)備采集視頻圖像；步驟二、交通標志和車輛的識別在本步驟中，對于交通標志和車輛的識別其過程包括：步驟S201對輸入圖像進行特征提取使用卷積神經(jīng)網(wǎng)絡(luò)利對輸入圖像進行特征自動提取；所述卷積神經(jīng)網(wǎng)絡(luò)包括特征提取和特征圖級聯(lián)兩部分；1)特征提取，所述卷積神經(jīng)網(wǎng)絡(luò)包括五層個卷積層，其中第一卷積層包括1_1卷積層；第二卷積層包括2_1卷積層、2_2卷積層和2_3卷積層；第三卷積層包括3_1卷積層、3_2卷積層、3_3卷積層和3_4卷積層；第四卷積層包括4_1卷積層、C4_2卷積層、4_3卷積層和4_4卷積層；第五卷積層包括5_1卷積層、5_2卷積層、5_3卷積層和5_4卷積層；其中第一卷積層的操作類型采用C.ReLU，感受野大小為7*7像素，輸出通道數(shù)為32。第二卷積層的操作類型采用C.ReLU，感受野大小為3*3像素，輸出通道數(shù)為64；第三卷積層的操作類型采用C.ReLU，感受野大小為3*3像素，輸出通道數(shù)為128；第四卷積層和第五卷積層的操作類型采用Inception；2)特征圖級聯(lián)，將不同卷積階段的不同尺度的卷積特征層級聯(lián)起來，利用了高層特征的語義信息的同時還考慮到低層特征的細節(jié)紋理信息，將第3_4卷積層進行使用最大池化，5_4卷積層使用雙線性插值算法進行上采樣，然后將兩者與4_4卷積層結(jié)合經(jīng)過1x1的卷積后生成512通道的多尺度輸出特征作為接下來候選區(qū)域網(wǎng)絡(luò)的輸入；S202交通標志和車輛的定位檢測從特征提取后的圖像中從定位包含交通標志和車輛的候選區(qū)域，之后將候選區(qū)域輸出到交通標志和車輛的分類識別模塊；其中包括：1)采用候選區(qū)域網(wǎng)絡(luò)提取候選區(qū)域，輸入圖像經(jīng)過特征提取網(wǎng)絡(luò)后，在最后一個卷積層輸出的卷積特征映射上滑動小網(wǎng)絡(luò)，所述滑動小網(wǎng)絡(luò)全連接到輸入卷積特征映射的n*n的空間窗口上，以生成候選區(qū)域框。2)候選區(qū)域網(wǎng)絡(luò)的損失函數(shù)為了訓(xùn)練候選區(qū)域網(wǎng)絡(luò)，在本步驟中給每個候選框分配一個二進制的標簽(分別對應(yīng)的情況為：是目標、不是目標)。給兩類候選框分配正標簽：(1)與某個真實區(qū)域包圍盒有最大IoU(兩個區(qū)域的交集面積與并集面積之比)值；(2)與任意真實區(qū)域包圍盒的IoU值大于0.7的候選框。為所有與真實區(qū)域IoU值低于0.3的候選框分配負標簽。候選區(qū)域網(wǎng)絡(luò)的損失函數(shù)定義為：...

【技術(shù)特征摘要】
1.一種基于深度學(xué)習(xí)的交叉口車輛違章檢測與辨識方法，其特征在于，所述方法包括如下步驟：步驟一、采集交叉口視頻檢測圖像利用在交叉路口的視頻采集設(shè)備采集視頻圖像；步驟二、交通標志和車輛的識別在本步驟中，對于交通標志和車輛的識別其過程包括：步驟S201對輸入圖像進行特征提取使用卷積神經(jīng)網(wǎng)絡(luò)利對輸入圖像進行特征自動提取；所述卷積神經(jīng)網(wǎng)絡(luò)包括特征提取和特征圖級聯(lián)兩部分；1)特征提取，所述卷積神經(jīng)網(wǎng)絡(luò)包括五層個卷積層，其中第一卷積層包括1_1卷積層；第二卷積層包括2_1卷積層、2_2卷積層和2_3卷積層；第三卷積層包括3_1卷積層、3_2卷積層、3_3卷積層和3_4卷積層；第四卷積層包括4_1卷積層、C4_2卷積層、4_3卷積層和4_4卷積層；第五卷積層包括5_1卷積層、5_2卷積層、5_3卷積層和5_4卷積層；其中第一卷積層的操作類型采用C.ReLU，感受野大小為7*7像素，輸出通道數(shù)為32。第二卷積層的操作類型采用C.ReLU，感受野大小為3*3像素，輸出通道數(shù)為64；第三卷積層的操作類型采用C.ReLU，感受野大小為3*3像素，輸出通道數(shù)為128；第四卷積層和第五卷積層的操作類型采用Inception；2)特征圖級聯(lián)，將不同卷積階段的不同尺度的卷積特征層級聯(lián)起來，利用了高層特征的語義信息的同時還考慮到低層特征的細節(jié)紋理信息，將第3_4卷積層進行使用最大池化，5_4卷積層使用雙線性插值算法進行上采樣，然后將兩者與4_4卷積層結(jié)合經(jīng)過1x1的卷積后生成512通道的多尺度輸出特征作為接下來候選區(qū)域網(wǎng)絡(luò)的輸入；S202交通標志和車輛的定位檢測從特征提取后的圖像中從定位包含交通標志和車輛的候選區(qū)域，之后將候選區(qū)域輸出到交通標志和車輛的分類識別模塊；其中包括：1)采用候選區(qū)域網(wǎng)絡(luò)提取候選區(qū)域，輸入圖像經(jīng)過特征提取網(wǎng)絡(luò)后，在最后一個卷積層輸出的卷積特征映射上滑動小網(wǎng)絡(luò)，所述滑動小網(wǎng)絡(luò)全連接到輸入卷積特征映射的n*n的空間窗口上，以生成候選區(qū)域框。2)候選區(qū)域網(wǎng)絡(luò)的損失函數(shù)為了訓(xùn)練候選區(qū)域網(wǎng)絡(luò)，在本步驟中給每個候選框分配一個二進制的標簽(分別對應(yīng)的情況為：是目標、不是目標)。給兩類候選框分配正標簽：(1)與某個真實區(qū)域包圍盒有最大IoU(兩個區(qū)域的交集面積與并集面積之比)值；(2)與任意真實區(qū)域包圍盒的IoU值大于0.7的候選框。為所有與真實區(qū)域IoU值低于0.3的候選框分配負標簽。候選區(qū)域網(wǎng)絡(luò)的損失函數(shù)定義為：其中，i是一次批量迭代中選取的候選框索引；pi為候選框為目標的概率，如果候選框是正標簽，其對應(yīng)的真實區(qū)域標簽pi*為1，否則，pi*為0；ti表示預(yù)測的包圍盒的4個參數(shù)化坐標向量，ti*是相對應(yīng)的真實區(qū)域包圍盒的坐標向量；分類損失Ccls是針對目標和非目標兩個類別的對數(shù)損失：其中，i是一次批量迭代中選取的候選框索引；pi為候選框為目標的概率，如果候選框是正標簽，其對應(yīng)的真實區(qū)域標簽pi*為1，否則，pi*為0；對于回歸損失，用來計算，其中S(x)為：對于回歸，本步驟采用4個坐標的參數(shù)：tx＝(x-xa)/waty＝(y-ya)/hatw＝log(w/wa)th＝log(h/ha)其中，x,y,w,h指的是包圍盒中心的(x,y)坐標、寬、高，變量x,xa,x*分別為預(yù)測的包圍盒、候選框、真實區(qū)域包圍盒的x坐標,變量y,ya,y*分別為預(yù)測的包圍盒、候選框、真實區(qū)域包圍盒的y坐標；變量w,wa,w*分別為預(yù)測的包圍盒、候選框、真實區(qū)域包圍盒的w坐標；變量h,ha,h*分別為預(yù)測的包圍盒、候選框、真實區(qū)域包圍盒的h坐標；Ncls取256，Nreg取2400，λ取10；tx,ty,tw,th表示預(yù)測的包圍盒的4個參數(shù)化坐標向量，tx*,ty*,tw*,th*是相對應(yīng)的真實區(qū)域包圍盒的坐標向量；S203交通標志和車輛的分類識別交通標志和車輛的分類識別的主要任務(wù)是對于上一步最終...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：余貴珍，鐘曉明，秦洪懋，張釗，李欣旭，
申請(專利權(quán))人：北京航空航天大學(xué)，
類型：發(fā)明
國別省市：北京,11