一種基于RGB-D相機和人臉識別的視障人士輔助方法技術

本發明專利技術公開了一種基于RGB?D相機和人臉識別的視障人士輔助方法。該方法包括：利用RGB?D采集到的彩色圖像和深度圖像進行人臉的跟蹤，并自動為這些人臉賦予標簽；所述標簽由使用者通過麥克風輸入，包括但不限于人臉的姓名、個人信息、電話號碼等；人臉圖像被正面化矯正，可以適應不同姿態下的識別；所述矯正后的人臉圖像被用于在神經網絡中訓練人臉識別模型；待識別的人臉圖像被輸入到所述訓練好的人臉識別模型，模型輸出的識別結果通過3D立體聲的方式傳遞給使用者；所述3D立體聲可以提示的信息包括：在深度圖像中人臉的方位和人臉距離使用者的遠近。

An auxiliary RGB D camera and face recognition method based on the visually impaired

The invention discloses an auxiliary RGB D camera and face recognition method based on the visually impaired. The method includes: using face color image and the depth image acquired by D RGB tracking, and automatically give these face labels; the labels from the user input through a microphone, including but not limited to face the name, phone number and other personal information, people are positive; face image correction, can adapt to the identification different postures; the face image after correction were used for training the neural network model in face recognition; facial image to be identified is input into the trained model of face recognition, recognition of the output of the model through the 3D stereo transferred to the user; the 3D stereo can prompt information includes: the azimuth and distance of face in face users in depth image distance.

【技術實現步驟摘要】
一種基于RGB-D相機和人臉識別的視障人士輔助方法
本專利技術涉及模式分類，機器學習，人臉識別，視覺障礙人群輔助
，尤其涉及一種基于RGB-D相機和人臉識別的視障人士輔助方法。
技術介紹
根據世界衛生組織(WHO)的數據，全球有2.85億視障人士，其中有3900萬是盲人。視障人士的日常生活中，識別周圍人的身份是突出的需求。在沒有其他設備的輔助下，視障人士只能通過辨別聲音來判斷，這在很大程度上受限于視障人士與其周圍人的熟悉程度，距離，環境嘈雜度等因素。傳統的人臉識別方法，一般采用彩色相機拍攝人臉圖像，并且需要保證正面的人臉和均勻的光照，這就要求采集人臉樣本的過程中，人臉盡量靠近相機并且正面面向相機。因此，設計一種專門面向視障人士的人臉識別系統，并使用簡單自然的交互方式，將在很大程度上為視障人士提供方便。
技術實現思路
本專利技術的目的是利用RGB-D相機和人臉識別技術，解決視障人士的認人和識人方面存在的不便利性，旨在為視障人士提供一種簡單易用，交互方式人性化的輔助方法。本專利技術通過以下技術方案來實現：一種基于RGB-D相機和人臉識別的視障人士輔助方法，具體步驟如下：(1)人臉的錄入和人臉數據庫的建立；(2)人臉圖像的矯正；(3)神經網絡訓練；(4)識別人臉；(5)3D立體聲用于識別結果的交互。所述步驟(1)具體為：針對每一個識別對象，分別采集多幀連續的彩色圖像和深度圖像，進一步通過RGB-D中的彩色圖像通道檢出人臉圖像，以第一幀中檢出的人臉圖像作為人臉跟蹤的初始化起點。若在第n幀中出現人臉漏檢或檢測錯誤，則可以啟動人臉跟蹤模式，檢出人臉的區域。錄入所有識別對象的人臉圖像數據和對應的姓名，建立人臉數據庫。所述人臉跟蹤模式包括以下步驟：第一，在第n-1幀的人臉檢出情況下，分別計算彩色圖和深度圖中的人臉區域的直方圖。彩色直方圖的橫坐標為色度值，縱坐標為每個色度值對應的像素的個數；深度直方圖的橫坐標為深度值，縱坐標為每個深度值對應的像素的個數。第二，在第n幀中，計算彩色圖和深度圖的返向投影圖。彩色圖對應的返向投影圖是將彩色圖中的每個像素點的色度值替換為彩色直方圖中對應的縱坐標而獲得；深度圖對應的返向投影圖是將深度圖中的每個像素點的深度值替換為深度直方圖中對應的縱坐標而獲得。將兩個返向投影圖融合后，得到更符合實際情況的人臉區域預測。第三，在融合后的返向投影圖中，應用均值漂移算法(MeanShift)，，計算出第n幀人臉的區域。所述步驟(2)具體為：第一，調整人臉圖像的格式為統一大小，即100像素*100像素。第二，檢出人臉區域的特征點，所述特征點包括臉頰輪廓、眼睛、眉毛、鼻子、嘴巴。所述特征點的檢出是基于彩色圖像的。第三，以具有上述特征點的三維人臉模型為基準坐標系，根據彩色圖像中的特征點位置，對RGB-D進行坐標標定，得到相機坐標系。第四，三維模型中的所有點被投影到所述相機坐標系中。第五，將彩色圖像投影到相機坐標系下的三維模型中，賦予每個點的RGB信息；第六，對賦值后的三維模型進行正面投影，得到矯正后的人臉圖像。第七，轉彩色人臉圖像為灰度圖，并做直方圖均衡化處理。所述步驟(3)具體為：矯正得到的人臉圖像，大小統一為100像素*100像素，可以視作一個10000維的向量。然后通過主成分分析(PCA)進行降維處理。每一個人臉對應一個由0和1組成的數據標簽，第m個人臉的數據標簽為[a1,a2,…am,…ak]，其中，am＝1，其余為0，k為人臉總數；以降維后的數據作為輸入，數據標簽作為輸出，用反向傳播算法(BP)訓練神經網絡模型。進一步地，通過以下方法進行識別：采集待識別的人臉圖像，經過所述矯正、降維處理，再輸入訓練好的神經網絡，在輸出向量的各個元素中，若只有一個是大于所述閾值(0.5)的，則判定輸入數據所屬的類別為此向量元素對應的類；若有多于一個元素的值大于閾值或所有元素的值都小于閾值，則判定輸入數據不屬于訓練時的數據集，在人臉識別中即為陌生人。進一步地，通過以下方法交互：根據步驟(4)識別的人臉，獲得其姓名，進一步根據深度圖可以獲知其方位和距離；以3D聲音播放姓名給使用者，3D聲音的角度用于指示人臉的方位，3D聲音的大小用于指示人臉的距離。本專利技術的有益效果在于：1.本專利技術為視障人士提供了一種識別其周圍人身份信息的方法。2.本專利技術提出的人臉跟蹤方法能提高人臉檢出率，并且能自動標記圖像的標簽。3.本專利技術提出的人臉圖像矯正方法能去除頭部姿態變化和不均勻的光照對人臉識別的影響。4.本專利技術提出的用神經網絡訓練和人臉識別系統，能達到實時人臉識別的效果。5.本專利技術提出的3D立體聲音用于識別結果的交互，有效提高人臉識別系統使用過程的體驗度。附圖說明圖1是系統結構示意圖；圖2是人臉檢出結果圖；圖3是灰度化處理后的彩色直方圖或深度直方圖；圖4是融合后的反向投影圖；圖5是矯正前和矯正后人臉圖像的對比圖。具體實施方式一種基于RGB-D相機和人臉識別的視障人士輔助方法，具體步驟如下：(1)人臉的錄入和人臉數據庫的建立；針對每一個待識別對象，分別采集多幀連續的彩色圖像和深度圖像，進一步通過RGB-D相機中的彩色圖像通道檢出人臉圖像，以第一幀中檢出的人臉圖像作為人臉跟蹤的初始化起點。若在第n幀中出現人臉漏檢或檢測錯誤，則可以啟動人臉跟蹤模式，檢出人臉的區域。錄入所有待識別對象的人臉圖像數據和對應的姓名，建立人臉數據庫。所述人臉跟蹤模式包括以下步驟：第一，在第n-1幀的人臉檢出情況下，如圖2所示(人臉區域被框出)，分別計算彩色圖和深度圖中的人臉區域的直方圖，如圖3所示。彩色直方圖的橫坐標為色度值，縱坐標為每個色度值對應的像素的個數；深度直方圖的橫坐標為深度值，縱坐標為每個深度值對應的像素的個數。第二，在第n幀中，計算彩色圖和深度圖的返向投影圖，如圖4所示。彩色圖對應的返向投影圖是將彩色圖中的每個像素點的色度值替換為彩色直方圖中對應的縱坐標而獲得；深度圖對應的返向投影圖是將深度圖中的每個像素點的深度值替換為深度直方圖中對應的縱坐標而獲得。返向投影圖為灰度圖像，在所述彩色圖和深度圖分別對應的返向投影圖中，灰度值越大的區域有更大的可能性是人臉區域；將兩個返向投影圖融合后，得到更符合實際情況的人臉區域預測。第三，在融合后的返向投影圖中，應用均值漂移算法(MeanShift)，計算出第n幀人臉的區域。(2)人臉圖像的矯正人臉的矯正是用于去除頭部姿態變化和不均勻的光照對人臉識別的影響。人臉識別相當于一個分類問題，在分類器的訓練過程中，樣本的類間差異應該較大而每一類的類內差異應該較小，所述頭部姿態變化和不均勻的光照會增大類內差異，甚至達到和類間差異相當的程度，對于這樣的樣本，在分類器訓練過程中，分類器難以找到不同類之間的差異，結果就是分類器不具備正確分類的能力。同樣地，未經矯正的人臉圖像在識別過程中更容易出錯。人臉圖像的矯正分為以下步驟：第一，調整人臉圖像的格式為統一大小，即100像素*100像素。第二，檢出人臉區域的特征點，所述特征點包括臉頰輪廓、眼睛、眉毛、鼻子、嘴巴。所述特征點的檢出是基于彩色圖像的。第三，在一個通用的三維人臉模型中找到對應特征點的三維坐標，所述三維坐標在世界坐標系中。根據特征點在彩色圖像中的二維坐標和相機參數，以及所述三維模型中的本文檔來自技高網...

【技術保護點】
一種基于RGB?D相機和人臉識別的視障人士輔助方法，其特征在于，具體步驟如下：(1)人臉的錄入和人臉數據庫的建立；(2)人臉圖像的矯正；(3)神經網絡訓練；(4)識別人臉；(5)3D立體聲用于識別結果的交互。

【技術特征摘要】
1.一種基于RGB-D相機和人臉識別的視障人士輔助方法，其特征在于，具體步驟如下：(1)人臉的錄入和人臉數據庫的建立；(2)人臉圖像的矯正；(3)神經網絡訓練；(4)識別人臉；(5)3D立體聲用于識別結果的交互。2.根據權利要求1所述的方法，其特征在于，所述步驟(1)具體為：針對每一個識別對象，分別采集多幀連續的彩色圖像和深度圖像，進一步通過RGB-D中的彩色圖像通道檢出人臉圖像，以第一幀中檢出的人臉圖像作為人臉跟蹤的初始化起點。若在第n幀中出現人臉漏檢或檢測錯誤，則可以啟動人臉跟蹤模式，檢出人臉的區域。錄入所有識別對象的人臉圖像數據和對應的姓名，建立人臉數據庫。所述人臉跟蹤模式包括以下步驟：第一，在第n-1幀的人臉檢出情況下，分別計算彩色圖和深度圖中的人臉區域的直方圖。彩色直方圖的橫坐標為色度值，縱坐標為每個色度值對應的像素的個數；深度直方圖的橫坐標為深度值，縱坐標為每個深度值對應的像素的個數。第二，在第n幀中，計算彩色圖和深度圖的返向投影圖。彩色圖對應的返向投影圖是將彩色圖中的每個像素點的色度值替換為彩色直方圖中對應的縱坐標而獲得；深度圖對應的返向投影圖是將深度圖中的每個像素點的深度值替換為深度直方圖中對應的縱坐標而獲得。將兩個返向投影圖融合后，得到更符合實際情況的人臉區域預測。第三，在融合后的返向投影圖中，應用均值漂移算法(MeanShift)，計算出第n幀人臉的區域。3.根據權利要求1所述的方法，其特征在于，所述步驟(2)具體為：第一，調整人臉圖像的格式為統一大小，即100像素*100像素。第二，檢出人臉區域的特征點，所述特征點包括臉頰輪廓、眼睛、眉毛、鼻子、...

【專利技術屬性】
技術研發人員：于紅雷，趙向東，楊愷倫，胡偉健，汪凱巍，
申請(專利權)人：杭州視氪科技有限公司，
類型：發明
國別省市：浙江,33