人臉關鍵點跟蹤方法和裝置制造方法及圖紙

本發明專利技術涉及一種人臉關鍵點跟蹤方法和裝置。所述方法包括：讀取視頻文件中一幀圖像；檢測所述一幀圖像中人臉位置，獲取人臉坐標框位置，并配置人臉關鍵點的初始位置；根據所述人臉關鍵點的初始位置獲取人臉關鍵點坐標位置；讀取視頻文件中相鄰下一幀圖像；將上一幀圖像的人臉關鍵點坐標位置作為下一幀圖像的人臉關鍵點的初始位置；根據所述下一幀圖像的人臉關鍵點的初始位置獲取所述下一幀圖像的人臉關鍵點坐標位置。上述人臉關鍵點跟蹤方法和裝置，將上一幀圖像的人臉關鍵點坐標位置作為下一幀圖像的人臉關鍵點的初始位置，得到下一幀圖像的人臉關鍵點坐標位置，以此跳過人臉檢測器檢測，可提高人臉關鍵點跟蹤的效率。

Method and device for tracking key points of human face

The invention relates to a method and a device for tracking a human face key point. The method includes: a frame image read the video file; detecting the image position of the face, face to get the coordinate frame position, and the initial position of the key points of the face configuration; according to the original position of the face of key points to obtain the face position coordinates of key points; the next image adjacent to read video files; the face position coordinates of key points on a frame image as the initial position of facial feature points the next frame image; according to the initial position of facial feature points the next frame image to obtain the location of the next face key frame image coordinates. The key point of face tracking method and device, will face critical point coordinate position on a frame image as the initial position of facial feature points the next frame image, get the face key points coordinate position of the next frame image, then skip face detector can improve face detection, key point tracking efficiency.

【技術實現步驟摘要】
人臉關鍵點跟蹤方法和裝置
本專利技術涉及圖像處理領域，特別是涉及一種人臉關鍵點跟蹤方法和裝置。
技術介紹
人臉跟蹤是指在視頻文件或視頻流或圖像序列中確定某個人臉的運動軌跡及大小變化的過程。人臉跟蹤在圖像分析和識別圖像領域具有重大意義。人臉跟蹤算法的魯棒性和實時性是兩個難以同時滿足的指標，因為隨著魯棒性的提升，算法的復雜程度會大幅度增加，受限于有限的計算機處理能力，人臉跟蹤的實時性必會降低。在視頻文件或視頻流中為了實現人臉跟蹤效果，需對每一幀做人臉檢測和人臉關鍵點定位，如此人臉檢測算法需要耗費大量時間，跟蹤效率低。
技術實現思路
基于此，有必要針對傳統的人臉關鍵點跟蹤需要耗費大量時間，跟蹤效率低的問題，提供一種人臉關鍵點跟蹤方法，能節省時間，提高人臉跟蹤效率。此外，還有必要提供一種人臉關鍵點跟蹤裝置，能節省時間，提高人臉跟蹤效率。一種人臉關鍵點跟蹤方法，包括：讀取視頻文件中一幀圖像；檢測所述一幀圖像中人臉位置，獲取人臉坐標框位置；根據所述人臉坐標框位置配置人臉關鍵點的初始位置；根據所述人臉關鍵點的初始位置獲取人臉關鍵點坐標位置；重復執行如下步驟：讀取視頻文件中相鄰下一幀圖像；將上一幀圖像的人臉關鍵點坐標位置作為下一幀圖像的人臉關鍵點的初始位置；根據所述下一幀圖像的人臉關鍵點的初始位置獲取所述下一幀圖像的人臉關鍵點坐標位置。一種人臉關鍵點跟蹤裝置，包括：讀取模塊，用于讀取應用或視頻文件中一幀圖像；檢測模塊，用于檢測所述一幀圖像中人臉位置，獲取人臉坐標框位置；配置模塊，用于根據所述人臉坐標框位置配置人臉關鍵點的初始位置；獲取模塊，用于根據所述人臉關鍵點的初始位置獲取人臉關鍵點坐標位置；重復執行如下過程：所述讀取模塊還用于讀取視頻文件中相鄰下一幀圖像；所述配置模塊還用于將上一幀圖像的人臉關鍵點坐標位置作為下一幀圖像的人臉關鍵點的初始位置；所述獲取模塊還用于根據所述下一幀圖像的人臉關鍵點的初始位置獲取所述下一幀圖像的人臉關鍵點坐標位置。上述人臉關鍵點跟蹤方法和裝置，通過人臉坐標框位置配置人臉關鍵點的初始位置，再根據人臉關鍵點的初始位置獲取人臉關鍵點坐標位置，讀取下一幀圖像，將上一幀圖像的人臉關鍵點坐標位置作為下一幀圖像的人臉關鍵點的初始位置，得到下一幀圖像的人臉關鍵點坐標位置，以此跳過人臉檢測器檢測，可提高人臉關鍵點跟蹤的效率。附圖說明圖1為一個實施例中終端的內部結構示意圖；圖2為一個實施例中人臉關鍵點跟蹤方法的流程圖；圖3為一個實施例中根據該人臉坐標框位置配置人臉關鍵點的初始位置的具體步驟流程圖；圖4為一個實施例中將人臉關鍵點與人臉坐標框位置中心對齊的示意圖；圖5為一個實施例中縮放人臉關鍵點的示意圖；圖6為獲取五官點坐標位置的示意圖；圖7為一個實施例中人臉關鍵點跟蹤裝置的結構框圖；圖8為另一個實施例中人臉關鍵點跟蹤裝置的結構框圖。具體實施方式為了使本專利技術的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本專利技術進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本專利技術，并不用于限定本專利技術。圖1為一個實施例中終端的內部結構示意圖。如圖1所示，該終端包括通過系統總線連接的處理器、存儲介質、內存和網絡接口、圖像采集裝置、顯示屏、揚聲器和輸入裝置。其中，終端的存儲介質存儲有操作系統，還包括一種人臉關鍵點跟蹤裝置，該人臉關鍵點跟蹤裝置用于實現一種人臉關鍵點跟蹤方法。該處理器用于提供計算和控制能力，支撐整個終端的運行。終端中的內存為存儲介質中的人臉關鍵點跟蹤裝置的運行提供環境，網絡接口用于與服務器進行網絡通信，如發送視頻文件請求至服務器，接收服務器返回的視頻文件等。終端的圖像采集裝置可采集外部圖像，例如攝像頭拍攝圖像等。顯示屏可以是液晶顯示屏或者電子墨水顯示屏等，輸入裝置可以是顯示屏上覆蓋的觸摸層，也可以是終端外殼上設置的按鍵、軌跡球或觸控板，也可以是外接的鍵盤、觸控板或鼠標等。該終端可以是手機、平板電腦或者個人數字助理。本領域技術人員可以理解，圖1中示出的結構，僅僅是與本申請方案相關的部分結構的框圖，并不構成對本申請方案所應用于其上的終端的限定，具體的終端可以包括比圖中所示更多或更少的部件，或者組合某些部件，或者具有不同的部件布置。圖2為一個實施例中人臉關鍵點跟蹤方法的流程圖。如圖2所示，一種人臉關鍵點跟蹤方法，可運行于圖1中的終端上，包括：步驟202，讀取視頻文件中一幀圖像。具體地，視頻文件可為在線視頻文件或下載在終端上的視頻文件。在線視頻文件可以一邊播放，一邊讀取。下載在終端上的視頻文件也可以一邊播放，一邊讀取。視頻文件在播放時視頻圖像是一幀一幀的進行播放，可以抓取每一幀圖像進行處理。首先，讀取視頻文件中的其中某一幀圖像進行處理。該某一幀圖像可為視頻文件的第一幀圖像，也可為其他幀圖像。步驟204，檢測該一幀圖像中人臉位置，獲取人臉坐標框位置。本實施例中，檢測該一幀圖像中人臉位置，獲取人臉坐標框位置的步驟包括：利用人臉檢測技術檢測一幀圖像中人臉位置，獲取人臉坐標框位置。具體地，人臉檢測技術是輸入包含人臉圖的圖像，可以檢測出人臉的矩形坐標框位置。人臉檢測技術主要采用RobustReal-TimeFaceDetection(魯棒實時人臉檢測)。可通過Haar-Like特征與Adaboost算法實現人臉檢測，在該方法中，采用Haar-Like特征表示人臉，對各Haar-Like特征進行訓練得到弱分類器，通過Adaboost算法選擇多個最能代表人臉的弱分類器構成強分類器，將若干個強分類器串聯組成一個級聯結構的層疊分類器，即人臉檢測器。其中，每個Haar-Like特征考慮基準框與一個領域框的人臉圖像信息。也可采用多尺度塊狀局部二值模式(Multi-saleBlockbasedLocalBinaryPatterns，MBLBP)特征與Adaboost算法實現人臉檢測。該方法中采用可表示基準框與8個領域框的人臉圖像信息的MBLBP特征表示人臉，通過比較基準框的平均灰度與8個領域框各自的平均灰度計算MBLBP特征。也可采用多尺度的結構化定序測量特征(Multi-scaleStructuredOrdinalFeatures，MSOF)與Adaboost算法實現人臉檢測。該方法中采用可表示基準框與8個領域框的人臉圖像信息的MSOF特征表示人臉，8個領域框相對于基準框的距離可調，且基準框與8個領域框可以不相連。也可采用采集人臉和非人臉圖像作為訓練樣本集，提取人臉和非人臉圖像的彈性的塊狀局部二值模式(FlexibleBlockBasedLocalBinaryPatterns，FBLBP)特征構成FBLBP特征集。利用FBLBP特征和GentleBoost算法進行訓練，得到第一分類器，第一層分類器包括若干個最優第二分類器，每個最優第二分類器通過GentleBoost算法訓練所得。第一分類器為強分類器，第二分類器為弱分類器。將弱分類器累加得到強分類器。將多層第一分類器級聯成人臉檢測器。采用人臉檢測器檢測第一幀圖像或其他幀圖像中的人臉位置，獲取人臉坐標框位置。人臉坐標框的坐標是以終端屏幕顯示時左上角作為坐標原點，以橫向為X軸和縱向為Y軸建立的坐標系，不限于此，也可采用其他自定義方式建立坐標系。步驟206，本文檔來自技高網...

【技術保護點】
一種人臉關鍵點跟蹤方法，包括：讀取視頻文件中一幀圖像；檢測所述一幀圖像中人臉位置，獲取人臉坐標框位置；根據所述人臉坐標框位置配置人臉關鍵點的初始位置；根據所述人臉關鍵點的初始位置獲取人臉關鍵點坐標位置；重復執行如下步驟：讀取視頻文件中相鄰下一幀圖像；將上一幀圖像的人臉關鍵點坐標位置作為下一幀圖像的人臉關鍵點的初始位置；根據所述下一幀圖像的人臉關鍵點的初始位置獲取所述下一幀圖像的人臉關鍵點坐標位置。

【技術特征摘要】
1.一種人臉關鍵點跟蹤方法，包括：讀取視頻文件中一幀圖像；檢測所述一幀圖像中人臉位置，獲取人臉坐標框位置；根據所述人臉坐標框位置配置人臉關鍵點的初始位置；根據所述人臉關鍵點的初始位置獲取人臉關鍵點坐標位置；重復執行如下步驟：讀取視頻文件中相鄰下一幀圖像；將上一幀圖像的人臉關鍵點坐標位置作為下一幀圖像的人臉關鍵點的初始位置；根據所述下一幀圖像的人臉關鍵點的初始位置獲取所述下一幀圖像的人臉關鍵點坐標位置。2.根據權利要求1所述的方法，其特征在于，所述檢測所述一幀圖像中人臉位置，獲取人臉坐標框位置的步驟包括：利用人臉檢測技術檢測所述一幀圖像中人臉位置，獲取人臉坐標框位置。3.根據權利要求1所述的方法，其特征在于，所述根據所述人臉坐標框位置配置人臉關鍵點的初始位置的步驟包括：通過平移預存的人臉關鍵點，使所述預存的人臉關鍵點和所述人臉坐標框位置中心對齊；縮放所述預存的人臉關鍵點，使所述預存的人臉關鍵點尺寸與所述人臉坐標框尺寸一致。4.根據權利要求1所述的方法，其特征在于，所述根據所述人臉關鍵點的初始位置獲取人臉關鍵點坐標位置的步驟包括：利用人臉關鍵點定位技術根據所述人臉關鍵點的初始位置獲取人臉關鍵點坐標位置；根據所述下一幀圖像的人臉關鍵點的初始位置獲取所述下一幀圖像的人臉關鍵點坐標位置的步驟包括：利用人臉關鍵點定位技術根據所述下一幀圖像的人臉關鍵點的初始位置獲取所述下一幀圖像的人臉關鍵點坐標位置。5.根據權利要求...

【專利技術屬性】
技術研發人員：汪鋮杰，
申請(專利權)人：騰訊科技深圳有限公司，
類型：發明
國別省市：廣東,44