一種監控場景下車牌字符分割與識別方法技術

本發明專利技術涉及一種監控場景下車牌字符分割與識別方法，包括以下步驟：步驟S1：對車牌字符圖像進行分類，為顯式特征分類器和隱式特征分類器的訓練做好準備；步驟S2：輸入車牌圖像；步驟S3：對車牌圖像采用投影分割法和連通域法相結合的字符分割方法進行字符分割；步驟S4：采用顯式特征分類器和隱式特征分類器相融合的方法對車牌字符進行識別。本發明專利技術采用投影分割法和連通域法相結合的方法來改善車牌字符分割的效果，針對車牌字符識別特征考慮單一的問題，提出了基于顯式特征分類器與隱式特征分類器融合的方法，能夠結合兩者在特征提取上的優勢，從而改善字符識別的效果。

A method of license plate character segmentation and recognition in surveillance scene

The invention relates to a method for monitoring scene of license plate character segmentation and recognition method, which comprises the following steps: step S1: classification of license plate image, ready for the explicit feature classifier and implicit feature classifier training; step S2: enter the license plate image; step S3: the license plate image segmentation method using projection and connected domain combining the character segmentation method for character segmentation; step S4: using the method of explicit and implicit feature classifier feature classifier fusion for the license plate character recognition. The invention adopts the method of combining projection segmentation method and connected domain method to improve the character segmentation effect, according to the license plate character recognition into a single problem, put forward the explicit method and implicit feature classifier based on classifier fusion, can combine the two in feature extraction on the edge, so as to improve the result of character recognition.

【技術實現步驟摘要】
一種監控場景下車牌字符分割與識別方法
本專利技術涉及模式識別與計算機視覺領域，特別是一種監控場景下車牌字符分割與識別方法。
技術介紹
隨著平安中國建設步伐的加快，監控攝像頭分布越來越廣，攝像頭的分辨率越來越高，直接使用這些遍布大街小巷的監控環境與使用標準卡口的車輛圖像采集裝置相比，帶來了一些新的挑戰。傳統的車牌識別系統在公路收費、停車場等方面運用廣泛，但大多數的運用場景都需要一些特殊硬件設備的支持，如地感線圈，一次只能對一輛車進行識別，識別速度慢，且圖像傳輸大多采用模擬信號，圖像層次感不強，對比度較差，為了保證分辨率往往不能采集到車輛全景，從而導致不能滿足刑偵、治安的相關業務要求。監控環境場景下基于動態視頻流的車牌檢測與識別系統無需安裝其它硬件設備，能夠同時對圖像中的多個車牌進行檢測，不受硬件和環境的制約，效率高，能夠對多幀視頻圖像分別進行識別，選擇置信度最高的作為最終結果，從而降低單幀圖像對識別結果的影響，識別準確率較高。但基于監控環境場景下的車牌檢測系統也面臨著許多挑戰，例如車牌角度變化大，長期使用的攝像頭表面附著的塵埃會使采集到的圖像模糊，噪點增多。這些都給車牌字符識別帶來了巨大挑戰。近年來，隨著計算機圖像處理、人工智能、模式識別、視頻傳輸等技術的不斷發展，基于動態視頻流的車牌算法在犯罪偵查、交通事故快速處理等社會生活中獲得越來越廣泛的應用。雖然國內外學者也紛紛對此展開了研究，提出了一些高水平和使用性強的車牌字符分割與識別算法，但是仍然存在字符分割效果不理想，車牌字符識別特征考慮單一的問題。垂直投影分割法算法簡單，速度快，但對噪聲較為敏感，對車牌字符不連通的情況效果較差；連通域法對字符形變、光照、天氣環境不敏感，但是對字符不連通的情況效果比較不理想。因此我們采用投影分割法和連通域法相結合的方法來改善車牌字符分割的效果。針對字符識別特征考慮單一，識別準確率不高的情況，我們采用顯式特征分類器與隱式特征分類器相融合的方法。基于先驗知識的人工提取到的顯式特征具有較強的針對性，但提取到的特征一般為淺層的特征，且特征提取太過依賴人的經驗和主觀意識，提取到的特征的不同對分類性能影響很大，甚至提取的特征的順序也會影響最后的分類性能，而基于卷積神經網絡(CNN)等機器自學習的特征能夠自動學習圖像深層次的特征，避免了人工對顯式特征進行選擇，自動從訓練數據中學習特征。隱式特征提取能夠降低特征選擇對分類器的影響，但特征提取的可解釋性較差，特征選擇完全依賴于模型的選擇。本文的方法能夠結合兩者在特征提取上的優勢，從而改善字符識別的效果。
技術實現思路
有鑒于此，本專利技術的目的是提供一種監控場景下車牌字符分割與識別方法，以克服現有技術中存在的缺陷。本專利技術采用以下方案實現：一種監控場景下車牌字符分割與識別方法，包括以下步驟：步驟S1：對車牌字符圖像進行分類，為顯式特征分類器和隱式特征分類器的訓練做好準備；步驟S2：輸入車牌圖像；步驟S3：對車牌圖像采用投影分割法和連通域法相結合的字符分割方法進行字符分割；步驟S4：采用顯式特征分類器和隱式特征分類器相融合的方法對車牌字符進行識別。進一步地，在所述步驟S3中，通過如下步驟對車牌字符進行分割：步驟S31：投影分割法和連通域法相結合的字符分割方法先采用式：f(i,j)＝αR(i,j)+βG(i,j)+χB(i,j))，其中令α＝0.30,β＝0.59,χ＝0.11，將車牌圖像進行灰度化處理；步驟S32：將一幅車牌圖像進行網格分割，對每個格子計算圖像的直方圖，并歸一化，計算累積均值mu，以及全局灰度均值，再計算被分到類A的概率qA，和被分到類B的概率qB；采用公式：sigma＝qA*qB*(muA-muB)*(muA-muB)計算類間方差，循環尋找類間方差最大值，并記下此時的閾值，即為最佳閾值，最后利用這個最佳閾值對格子進行閾值化，重復這個過程直到整個車牌圖像都二值化完畢；步驟S33：提取字符輪廓；步驟S34：做外接矩形操作；步驟S35：如果符合尺寸的外接矩形的數目小于7，則說明可能存在字符粘連或者車牌中漢字字符丟失的情況；對于字符粘連的情況對粘連的部分進行投影分割，分割的位置為較為接近圖像中點的波谷；步驟S36：對于漢字字符丟失的情況采用通過特殊字符反推中文字符的方法；令字符塊中心在車牌1/7～2/7區間內的字符塊為特殊字符，特殊字符的左邊即為中文字符；步驟S37：如果投影字符塊數大于7，則說明車牌分割后有些字符可能被分割成多個字符塊，因此進一步對投影字符塊進行合并處理。進一步地，在所述步驟S4中，通過如下步驟對車牌字符進行識別：步驟S41：輸入訓練圖像到隱式特征提取的卷積神經網絡；步驟S42：輸入訓練圖像到顯式特征分類網絡；步驟S43：訓練隱式特征提取的卷積神經網絡，卷積神經網絡的訓練主要包括兩個階段：第一個階段為前向傳播階段：前向傳播階段主要過程為從訓練樣本中取出一個樣本X(xp,yp)將訓練樣本X作為網絡的輸入，通過式Ox＝fn(...(f2(f1(XpW(1))W(2))...)W(n))計算訓練樣本X的實際輸出；第二個階段為反向傳播階段：反向傳播階段將計算訓練樣本X的實際輸出Ox與理想輸出Yp的差，根據極小化誤差的方法對模型參數的參數進行調整；步驟S44：訓練一個顯式特征分類網絡；訓練顯式特征分類網絡包括三個階段：第一個階段為提取字符特征階段：該階段先采用Gamma矯正法對車牌字符進行矯正，調節圖像對比度，再計算每個像素的梯度，獲取輪廓信息，然后將字符圖像劃分成n×n的小單元，其中n＝6；然后計算每個小單元的梯度直方圖，得到小單元的特征描述子，然后再將小單元按照3×3的方式劃分成m×n組，將每組的特征描述子串聯起來能到組的特征描述子，將mn個組的特征描述子串聯起來得到字符特征Fexture1；將字符的n×n中心矩陣標記為非字符像素，其中n＝8，并將其變成低分辨率圖像，作為字符特征Fexture2，將Fexture1和Fexture2串聯起來得到字符特征；第二個階段為訓練數據準備階段：對訓練數據的每張圖像提取字符特征，并打上類別標簽，將所有訓練圖像整理成一個矩陣；第三個階段為訓練階段：將訓練矩陣輸入到支持向量機中，采用RBF核函數對顯式特征分類器進行訓練；步驟S45：將待分類的圖像分別輸入到顯式特征分類網絡和隱式特征分類網絡中，得到分類結果；步驟S46：對于每一幅測試圖像I，都將得到隱式特征提取網絡的置信度向量E＝{e1,e2,...,eN}和隱式特征網絡的置信度向量E′＝{e′1,e′2,...,e′N}，其中N為車牌字符的類別數目；步驟S47：求出步驟S45中兩個向量對應的||E||∞和||E′||∞，圖像I對應的類別為：其中i為||E||∞對應的類別，j為||E′||∞對應的類別。相較于現有技術，本專利技術具有以下有益效果：本專利技術構建的投影分割法和連通域法相結合的字符分割方法能夠提高字符分割的準確率。本文提出的基于顯式特征分類器與隱式特征分類器融合的方法既能夠充分發揮基于先驗知識的人工提取到的顯式特征具有較強的針對性的特點和基于卷積神經網絡(CNN)，稀疏自動編碼器(AutoEncoder)等機器自學習的特征能夠自動學習圖像深層次的特征，避免了人工對顯式特征進行選擇，自本文檔來自技高網...

【技術保護點】
一種監控場景下車牌字符分割與識別方法，其特征在于：包括以下步驟：步驟S1：對車牌字符圖像進行分類，為顯式特征分類器和隱式特征分類器的訓練做好準備；步驟S2：輸入車牌圖像；步驟S3：對車牌圖像采用投影分割法和連通域法相結合的字符分割方法進行字符分割；步驟S4：采用顯式特征分類器和隱式特征分類器相融合的方法對車牌字符進行識別。

【技術特征摘要】
1.一種監控場景下車牌字符分割與識別方法，其特征在于：包括以下步驟：步驟S1：對車牌字符圖像進行分類，為顯式特征分類器和隱式特征分類器的訓練做好準備；步驟S2：輸入車牌圖像；步驟S3：對車牌圖像采用投影分割法和連通域法相結合的字符分割方法進行字符分割；步驟S4：采用顯式特征分類器和隱式特征分類器相融合的方法對車牌字符進行識別。2.根據權利要求1所述的一種監控場景下車牌字符分割與識別方法，其特征在于：在所述步驟S3中，通過如下步驟對車牌字符進行分割：步驟S31：投影分割法和連通域法相結合的字符分割方法先采用式：f(i,j)＝αR(i,j)+βG(i,j)+χB(i,j))，其中令α＝0.30,β＝0.59,χ＝0.11，將車牌圖像進行灰度化處理；步驟S32：將一幅車牌圖像進行網格分割，對每個格子計算圖像的直方圖，并歸一化，計算累積均值mu，以及全局灰度均值，再計算被分到類A的概率qA，和被分到類B的概率qB；采用公式：sigma＝qA*qB*(muA-muB)*(muA-muB)計算類間方差，循環尋找類間方差最大值，并記下此時的閾值，即為最佳閾值，最后利用這個最佳閾值對格子進行閾值化，重復這個過程直到整個車牌圖像都二值化完畢；步驟S33：提取字符輪廓；步驟S34：做外接矩形操作；步驟S35：如果符合尺寸的外接矩形的數目小于7，則說明可能存在字符粘連或者車牌中漢字字符丟失的情況；對于字符粘連的情況對粘連的部分進行投影分割，分割的位置為較為接近圖像中點的波谷；步驟S36：對于漢字字符丟失的情況采用通過特殊字符反推中文字符的方法；令字符塊中心在車牌1/7～2/7區間內的字符塊為特殊字符，特殊字符的左邊即為中文字符；步驟S37：如果投影字符塊數大于7，則說明車牌分割后有些字符可能被分割成多個字符塊，因此進一步對投影字符塊進行合并處理。3.根據權利要求1所述的一種監控場景下車牌字符分割與識別方法，其特征在于：在所述步驟S4中，通過如下步驟對車牌字符進行識別：步驟S41：輸入訓練圖像到隱式特征提取的卷積神經網絡；步驟S4...

【專利技術屬性】
技術研發人員：柯逍，張毓峰，郭文忠，
申請(專利權)人：福州大學，
類型：發明
國別省市：福建,35