一種基于三級卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測方法及系統(tǒng)技術(shù)方案

本發(fā)明專利技術(shù)公開了一種基于三級卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測方法及系統(tǒng)，方法具有以下有益效果：在訓(xùn)練過程中，通過增加前n級的訓(xùn)練結(jié)果作為后一級的輸入，彌補了訓(xùn)練數(shù)據(jù)的缺失問題，從而提高了人臉檢測的準確度和召回率，并且提升了整體網(wǎng)絡(luò)的性能。在訓(xùn)練樣本中加入人臉特征點，通過人臉特征點使人臉的分類以及人臉矩形框的定位精度得到提高，從而接近于達到網(wǎng)絡(luò)上線，并且進一步提升了人臉檢測的召回率和準確度；僅通過計算得到的第一(第二)偏移量中的分類偏移量進行圖片分類的回歸校正，如此保證了分類正確的部分不再進行回歸校正，從而使人臉檢測的速度得到提高，并達到進一步挖掘網(wǎng)絡(luò)性能的目的。系統(tǒng)具有檢測方法相同的有益效果。

Face detection method and system based on three stage convolutional neural network

The invention discloses a face detection method and system of three levels based on convolutional neural network, the method has the following advantages: in the training process, by increasing the N level after training as a result of the level of input, makes up the insufficiency of training data, so as to improve the accuracy and recall rate of face detection and, to enhance the overall performance of the network. Join the facial feature points in the training samples, the facial feature points to face classification and location of the face of the rectangle frame precision can be improved and thus close to reach the network line, and further improve the face detection recall and accuracy; only by calculating the first (second) regression classification offset in image classification correction, thus ensuring that the correct classification is no longer part of the regression correction, so that the detection speed is improved, and the performance of the network to further tap. The system has the same beneficial effect as the detection method.

【技術(shù)實現(xiàn)步驟摘要】
一種基于三級卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測方法及系統(tǒng)
本專利技術(shù)涉及人臉檢測
，具體涉及一種基于三級卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測方法及系統(tǒng)。
技術(shù)介紹
進入二十一世紀以來，計算機技術(shù)蓬勃發(fā)展，被廣泛的運用于各大領(lǐng)域；隨著計算機技術(shù)的發(fā)展，人臉檢測技術(shù)應(yīng)運而生并且在不斷的迭代、更新中。人臉檢測是指對于任意圖像集合，采用一定的策略對其進行搜索以確定其中具有人臉的圖像。人臉檢測是自動人臉識別系統(tǒng)中的一個關(guān)鍵環(huán)節(jié)。早期的人臉識別研究主要針對具有較強約束條件的人臉圖象(如無背景的圖象)，往往假設(shè)人臉位置一直或者容易獲得，因此人臉檢測問題并未受到重視。隨著電子商務(wù)等應(yīng)用的發(fā)展，人臉識別成為最有潛力的生物身份驗證手段，這種應(yīng)用背景要求自動人臉識別系統(tǒng)能夠?qū)σ话銏D象具有一定的識別能力，由此所面臨的一系列問題使得人臉檢測開始作為一個獨立的課題受到研究者的重視。今天，人臉檢測的應(yīng)用背景已經(jīng)遠遠超出了人臉識別系統(tǒng)的范疇，在基于內(nèi)容的檢索、數(shù)字視頻處理、視頻檢測、人臉建模以及人臉跟蹤等方面有著重要的應(yīng)用價值。人臉檢測技術(shù)一般采用的搜索策略為決策樹、邏輯回歸、樸素貝葉斯以及三級卷積神經(jīng)網(wǎng)絡(luò)等算法等，其中基于三級卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測方法/系統(tǒng)憑借檢測速度快，識別準確率高而迅速迭代、更新。現(xiàn)有技術(shù)中的基于三級卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測方法：1)通過多級性能逐級增強的網(wǎng)絡(luò)進行逐級訓(xùn)練，將前一級判斷為人臉的候選框傳遞給下一級作為訓(xùn)練樣本進行學習；2)每一級中通過人臉的分類和人臉框的回歸網(wǎng)絡(luò)進行判決；3)如果分類正確直接將修正過的數(shù)據(jù)全部后饋。現(xiàn)有技術(shù)的不足之處在于，由于前一級網(wǎng)絡(luò)性能較差，存在部分人臉無法正確判定，導(dǎo)致傳入下一級人臉候選框有損失，整體性能差；僅僅通過人臉分類和人臉框的回歸無法達到網(wǎng)絡(luò)的性能上線，仍有提升空間；數(shù)據(jù)全部后饋，網(wǎng)絡(luò)學習的深度不夠，不能挖掘網(wǎng)絡(luò)性能。
技術(shù)實現(xiàn)思路
本專利技術(shù)的目的是提供一種基于三級卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測方法及系統(tǒng)，以解決整體性能差；僅通過人臉分類和人臉框進行校正，無法達到網(wǎng)絡(luò)的性能上線；正確分類的部分仍然進行回歸校正的問題。為了實現(xiàn)上述目的，本專利技術(shù)提供如下技術(shù)方案：一種基于三級卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測方法，包括以下步驟：獲取訓(xùn)練樣本和檢測圖片；所述訓(xùn)練樣本至少包括標注有人臉框和人臉特征點的人臉圖片；將所述訓(xùn)練樣本輸入三級卷積神經(jīng)網(wǎng)絡(luò)進行逐級訓(xùn)練，所述訓(xùn)練的過程為：根據(jù)所述訓(xùn)練樣本和前n級的訓(xùn)練結(jié)果進行預(yù)測后降維，得到對應(yīng)的二維特征向量，并據(jù)其計算獲得第一偏移量；通過所述第一偏移量對所述二維特征向量進行回歸校正，得到對應(yīng)的訓(xùn)練結(jié)果；將所述檢測圖片輸入訓(xùn)練后的三級卷積神經(jīng)網(wǎng)絡(luò)進行逐級人臉檢測，得到人臉矩形框。上述基于三級卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測方法，所述訓(xùn)練樣本中的人臉圖片還含有圖片分類標簽和唯一確定的人臉框。上述基于三級卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測方法，所述二維特征向量的獲得包括以下步驟：根據(jù)所述訓(xùn)練樣本和前n級的訓(xùn)練結(jié)果獲得m維特征向量；通過全卷積層/全連接層對所述m維特征向量進行降維處理，獲得所述二維特征向量。上述基于三級卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測方法，所述三級網(wǎng)絡(luò)包括第一支路、第二支路和第三支路，所述二級網(wǎng)絡(luò)包括所述第一支路和所述第二支路，所述第一支路與所述一級網(wǎng)絡(luò)相同。上述基于三級卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測方法，在三級網(wǎng)絡(luò)中，m維特征向量的獲得包括以下步驟：將所述訓(xùn)練樣本和上一級的訓(xùn)練結(jié)果輸入所述第一支路獲取第一特征向量，將其輸入所述第二支路獲取第二特征向量，將其輸入所述第三支路獲取第三維特征向量；將所述第一特征向量、第二特征向量以及第三特征向量進行拼接，得到m維特征向量。上述基于三級卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測方法，所述第一偏移量的獲取包括以下步驟：將所述二維特征向量輸入SoftmaxWithLoss層，計算獲得分類偏移量；將所述二維特征向量輸入EuclideanLoss層，計算獲得人臉框偏移量以及所述人臉特征點偏移量。上述基于三級卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測方法，所述分類偏移量的計算包括以下步驟：對所述二維特征向量進行定義；定義為Z＝{z1,z2}，其中通過softmax函數(shù)進行分類；分為二類，特殊化為：通過損失函數(shù)計算預(yù)測到的所述二維特征向量與所述訓(xùn)練樣本間的差異；損失函數(shù)為：其中計算修正其中α為系數(shù)。上述基于三級卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測方法，所述人臉矩形框的獲得包括以下步驟：將所述檢測圖片輸入一級網(wǎng)絡(luò)對其進行篩選、回歸校正并合并，得到第一人臉候選框；將所述第一人臉候選框輸入二級網(wǎng)絡(luò)對其進行篩選、回歸校正并合并，得到第二人臉候選框；將所述第二人臉候選框輸入三級網(wǎng)絡(luò)對其進行篩選、回歸校正并合并，得到人臉矩形框。上述基于三級卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測方法，進行篩選、回歸校正并合并包括以下步驟：根據(jù)檢測圖片/第一人臉候選框/第二人臉候選框以及相應(yīng)的人臉概率，篩選出大于設(shè)定概率閾值的人臉候選框；根據(jù)篩選后得到的人臉候選框計算獲得第二偏移量，通過所述第二偏移量對其進行回歸校正；通過非極大值抑制算法對校正后得到的人臉候選框進行合并，得到第一人臉候選框/第二人臉候選框/人臉矩形框。本專利技術(shù)提供的基于三級卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測方法，具有以下有益效果：1)在訓(xùn)練過程中，通過增加前n級的訓(xùn)練結(jié)果作為后一級的輸入，彌補了訓(xùn)練數(shù)據(jù)的缺失問題，從而提高了人臉檢測的準確度和召回率，并且提升了整體網(wǎng)絡(luò)的性能；2)在訓(xùn)練樣本中加入人臉特征點，通過人臉特征點使人臉的分類以及人臉矩形框的定位精度得到提高，從而接近于達到網(wǎng)絡(luò)上線，并且進一步提升了人臉檢測的召回率和準確度；3)僅通過計算得到的第一(第二)偏移量中的分類偏移量進行圖片分類的回歸校正，如此保證了分類正確的部分不再進行回歸校正，從而使人臉檢測的速度得到提高，并達到進一步挖掘網(wǎng)絡(luò)性能的目的。一種基于三級卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測系統(tǒng)，包括三級卷積神經(jīng)網(wǎng)絡(luò)，所述三級卷積神經(jīng)網(wǎng)絡(luò)包括：獲取單元，用以獲取訓(xùn)練樣本和檢測圖片；所述訓(xùn)練樣本至少包括標注有人臉特征點的人臉圖片；網(wǎng)絡(luò)訓(xùn)練單元，用以將所述訓(xùn)練樣本輸入三級卷積神經(jīng)網(wǎng)絡(luò)進行逐級訓(xùn)練；其包括：特征向量模塊和回歸校正模塊，所述特征向量模塊，用以根據(jù)所述訓(xùn)練樣本和前n級的的訓(xùn)練結(jié)果進行預(yù)測后降維，得到對應(yīng)的二維特征向量，并據(jù)其計算獲得第一偏移量；所述回歸校正模塊，用以通過所述第一偏移量對所述二維特征向量進行回歸校正，得到對應(yīng)的訓(xùn)練結(jié)果；人臉檢測單元，用以將所述檢測圖片輸入訓(xùn)練后的三級卷積神經(jīng)網(wǎng)絡(luò)進行逐級人臉檢測，得到人臉矩形框。本專利技術(shù)提供的基于三級卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測系統(tǒng)，具有以下有益效果：1)通過網(wǎng)絡(luò)訓(xùn)練單元2(或人臉檢測單元3)中的二級網(wǎng)絡(luò)和三級網(wǎng)絡(luò)彌補再一級網(wǎng)絡(luò)性能差的缺陷，使圖片分類的精確性得到提高，從而提升了人臉檢測的召回率和準確度，并且提升了整體網(wǎng)絡(luò)的性能；2)在獲取單元1的訓(xùn)練樣本中的人臉圖片上加入人臉特征點，通過人臉特征點使人臉的分類以及人臉矩形框的定位精度得到提高，從而接近于達到網(wǎng)絡(luò)上線，并且進一步提升了人臉檢測的召回率和準確度；3)僅通過特征向量模塊21和回歸校正模塊22的配合得到的分類偏移量進行圖片分類的回歸校正，如此保證了分類正確的部分不需進行校正，從而使人臉檢測的速度得到提高，并達到進一步挖掘網(wǎng)絡(luò)性能的目的。附圖說明為了更清楚地說明本申請實本文檔來自技高網(wǎng)...

【技術(shù)保護點】
一種基于三級卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測方法，其特征在于，包括以下步驟：獲取訓(xùn)練樣本和檢測圖片；所述訓(xùn)練樣本至少包括標注有人臉框和人臉特征點的人臉圖片；將所述訓(xùn)練樣本輸入三級卷積神經(jīng)網(wǎng)絡(luò)進行逐級訓(xùn)練，所述訓(xùn)練的過程為：根據(jù)所述訓(xùn)練樣本和前n級的訓(xùn)練結(jié)果進行預(yù)測后降維，得到對應(yīng)的二維特征向量，并據(jù)其計算獲得第一偏移量；通過所述第一偏移量對所述二維特征向量進行回歸校正，得到對應(yīng)的訓(xùn)練結(jié)果；將所述檢測圖片輸入訓(xùn)練后的三級卷積神經(jīng)網(wǎng)絡(luò)進行逐級人臉檢測，得到人臉矩形框。

【技術(shù)特征摘要】
1.一種基于三級卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測方法，其特征在于，包括以下步驟：獲取訓(xùn)練樣本和檢測圖片；所述訓(xùn)練樣本至少包括標注有人臉框和人臉特征點的人臉圖片；將所述訓(xùn)練樣本輸入三級卷積神經(jīng)網(wǎng)絡(luò)進行逐級訓(xùn)練，所述訓(xùn)練的過程為：根據(jù)所述訓(xùn)練樣本和前n級的訓(xùn)練結(jié)果進行預(yù)測后降維，得到對應(yīng)的二維特征向量，并據(jù)其計算獲得第一偏移量；通過所述第一偏移量對所述二維特征向量進行回歸校正，得到對應(yīng)的訓(xùn)練結(jié)果；將所述檢測圖片輸入訓(xùn)練后的三級卷積神經(jīng)網(wǎng)絡(luò)進行逐級人臉檢測，得到人臉矩形框。2.根據(jù)權(quán)利要求1所述的人臉檢測方法，其特征在于，所述訓(xùn)練樣本中的人臉圖片還含有圖片分類標簽。3.根據(jù)權(quán)利要求1所述的人臉檢測方法，其特征在于，所述二維特征向量的獲得包括以下步驟：根據(jù)所述訓(xùn)練樣本和前n級的訓(xùn)練結(jié)果獲得m維特征向量；通過全卷積層/全連接層對所述m維特征向量進行降維處理，獲得所述二維特征向量。4.根據(jù)權(quán)利要求1所述的人臉檢測方法，其特征在于，三級卷積神經(jīng)網(wǎng)絡(luò)包括一級網(wǎng)絡(luò)、二級網(wǎng)絡(luò)以及三級網(wǎng)絡(luò)，所述三級網(wǎng)絡(luò)包括第一支路、第二支路和第三支路，所述二級網(wǎng)絡(luò)包括所述第一支路和所述第二支路，所述第一支路與所述一級網(wǎng)絡(luò)相同。5.根據(jù)權(quán)利要求3或4所述的人臉檢測方法，其特征在于，在三級網(wǎng)絡(luò)中，m維特征向量的獲得包括以下步驟：將所述訓(xùn)練樣本和上一級的訓(xùn)練結(jié)果輸入所述第一支路獲取第一特征向量，將其輸入所述第二支路獲取第二特征向量，將其輸入所述第三支路獲取第三特征向量；將所述第一特征向量、第二特征向量以及第三特征向量進行拼接，得到m維特征向量。6.根據(jù)權(quán)利要求1所述的人臉檢測方法，其特征在于，所述第一偏移量的獲取包括以下步驟：將所述二維特征向量輸入SoftmaxWithLoss層，計算獲得分類偏移量；將所述二維特征向量輸入EuclideanLoss層，計算獲得人臉框偏移量以及所述人臉特征點偏移量。7.根據(jù)權(quán)利要求6所述的人臉檢測方法，其特征在于，所述分類偏移量的計算包括以下步驟：對所述...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：王魯許，白洪亮，董遠，
申請(專利權(quán))人：北京飛搜科技有限公司，
類型：發(fā)明
國別省市：北京,11