一種基于TOF深度相機的面部表情捕捉方法技術

本發明專利技術提供了一種基于TOF深度相機的面部表情捕捉方法，其包括：第一步，使用TOF深度相機對真實人物進行面部表情捕捉；第二步，處理捕捉的面部表情數據，并生成面部表情捕捉文件；第三步，構建三維虛擬人物幾何模型，導入面部表情捕捉文件，驅動模型。該方法無需手動標記Marker，直接使用圖像識別的方法識別并記錄面部關鍵點的運動數據。其捕獲的數據是人臉的真實運動數據，動作連貫逼真，表情細膩豐富，而且此方法獲取到的面部表情捕捉文件可以重復使用，節約了成本。

A facial expression capture method based on TOF depth camera

The invention provides a method of TOF depth camera based facial expression capture includes: the first step, the real people of capturing facial expressions using TOF depth camera; the second step, facial expression data capture, and generate the facial capture file; the third step to construct 3D virtual characters into geometric model, facial expression capture file, driver model. The method does not need to manually mark Marker, and uses the method of image recognition to recognize and record the movement data of facial key points directly. The captured data is the real motion data of the human face, the action is coherent and realistic, the expression is delicate and rich, and the facial expression capture file obtained by the method can be reused, and the cost is saved.

【技術實現步驟摘要】
一種基于TOF深度相機的面部表情捕捉方法
本專利技術涉及計算機視覺及計算機圖形學
，尤其涉及一種利用單個TOF深度相機捕捉人臉面部的表情動作并存儲為特定的數據格式用于動漫模型等的面部表情捕捉方法。
技術介紹
近年來，隨著計算機圖形學的發展，計算機動畫技術合成人的面部表情動畫是當前動畫學科研究的一個重點之一，它使得動畫制作者能夠以演員的表情直接驅動畫形象模型，受到了動畫制作者們更多的關注。面部表情捕捉能夠實時地檢測、記錄表演者的表情，轉化為數字化的“抽象表情”，以便動畫軟件將它“賦予”模型，使模型具有和表演者一樣的表情，并生成最終的表情動畫序列。目前，人臉表情動畫總體上可分為基于幾何、基于圖像、基于運動跟蹤的研究方法。其中基于幾何的研究方法主要包括關鍵幀插值法、參數化方法、肌肉模型法等；基于圖像的方法主要包括：圖像變形、動態紋理映射、面色變化的表情等。在基于幾何的研究方法中，關鍵幀插值法首先在兩個不同的時刻建立幾何模型，然后在這兩個模型之間進行插值得到中間時刻的模型，從而獲得人臉表情動畫，這是一種最傳統的、最原始的人臉動畫方法，同時也是一種標準的人臉動畫方法，但它的不足之處是需要很大的工作量。參數化方法是由Parke首次應用于人臉動畫(ParkeFI.AParametericModelforHumanFaces[D].SaltLakeCity：UniversityofUtah，1974)，嘴唇說話時的動作就適合用這種方法，這種方法的不足是產生的人臉表情不夠自然，并且在設置參數值時需要大量的手工調整。肌肉模型法是通過一組構成肌肉模型的彈性肌肉的收縮來控制人臉表面網格變化進而模擬人臉表情的。在基于圖像的方法中，圖像變形一種是在兩個圖像之間手工操作對應特征線段來實現2D變形；另一種是通過變形的3D模型映射到2D的參數空間來實現3D模型變形以及通過將幾何模型的3D變換和2D變形相結合，利用3D幾何插值，并在對應紋理圖像間進行圖像的變形操作來獲得真實的人臉表情動畫。除此之外，還有基于Bezier特征曲線和基于徑向基神經網絡的圖像變形等算法。動態紋理映射依賴視點的紋理映射，它每次允許使用不同的紋理圖，通過模型的反復繪制來對當前視點的調和權值進行動態的調整，不足是需要的計算和內存量大，而多紋理融合如果獨立于視點的話，由于記錄和采樣存在誤差常常使紋理變得模糊。目前，應用最廣的是基于運動跟蹤方法，運動跟蹤方法主要是利用運動捕捉系統來進行表情捕捉，它主要是利用已有的捕獲數據將源模型的人臉表情遷移到目標模型上，從而實現人臉的面部表情捕獲，獲得逼真的面部表情?，F有的運動捕捉技術根據捕捉設備和原理不同主要分為四大類：機械式、聲學式、電學式以及光學式運動捕捉，其中，光學運動捕捉方式具有獲取數據便捷、采樣精度高、頻率高、使用范圍廣等優點，它采集的數據是以幀為單位的序列標識點(Marker)點集數據，在表演者的臉部關鍵點貼上Marker，視覺系統將識別和處理這些Maker，就可以實現表情捕捉。本專利技術采用的是基于運動跟蹤的方法，不同于傳統的光學式的捕捉方法。本專利技術在表情捕捉過程中無需手動標記Marker，直接使用圖像識別的方法識別并記錄面部關鍵點的運動數據。它主要是利用已有的捕獲數據將源模型的人臉表情遷移到目標模型上，從而實現人臉的面部表情捕獲，獲得逼真的面部表情。
技術實現思路
針對目前動漫、電影等產業對面部表情捕獲的需求，本申請提供一種基于TOF深度相機的面部表情捕捉方法，無需手動標記Marker，直接使用圖像識別的方法識別并記錄面部關鍵點的運動數據。其捕獲的數據是人臉的真實運動數據，動作連貫逼真，表情細膩豐富，而且此方法獲取到的面部表情捕捉文件可以重復使用，節約了成本。為解決上述技術問題，本專利技術提供了一種基于TOF深度相機的面部表情捕捉方法，其包括：第一步，利用TOF深度相機采集深度圖像和彩色圖像，采用AAM(ActiveAppearancesModels)算法定位面部特征點，并計算獲取面部表情數據；第二步，處理捕捉面部表情數據，生成面部表情捕捉文件；第三步，構建三維虛擬人物幾何模型，導入面部表情捕捉文件，驅動模型。其中，在第一步中采用AAM算法標定真實人物的面部特征點，在頭部姿態各異的情況下，我們也能夠對面部特征點進行精確的定位，從而對真實人物進行面部表情捕捉。其中，所述第一步進一步具體包括：a、利用TOF深度相機獲取人臉彩色圖像和深度圖像；b、建立用于頭部姿態判斷的隨機回歸森林模型；c、訓練并建立AAM算法的視角模型；d、利用AAM算法定位面部特征點；e、獲取面部特征點的三維坐標。其中，第a步具體為連接TOF深度相機，接通電源，TOF深度相機的數據控制處理單元發出開啟指令，其體感相機開啟，將彩色數據流和深度數據流傳送到數據控制與處理單元，數據控制與處理單元將彩色數據流轉換成彩色圖像，將深度數據流轉換成深度圖像。其中，第b步具體為利用TOF深度相機獲取不同的頭部姿態相對應的深度圖像，然后按照頭部姿態的位置將獲取到的深度圖像分為多個不同的分類訓練集，使用臉部近似平面的法向來表示不同的頭部姿態，從而建立頭部姿態判斷的隨機回歸森林模型。本專利技術在原有的AAM算法的基礎上進行擴展，針對在對面部特征點進行定位時不同的頭部姿態，分別建立相對應的AAM視角模型，每個AAM視角模型又分為形狀模型和紋理模型兩部分。其中，所述第d步進一步具體為輸入新的圖像，使用步驟b建立的頭部姿態判斷的隨機回歸森林模型，對給出的新的深度圖像判斷其中的頭部位置和臉部朝向，根據得到的頭部姿態信息從c步建立的AAM視角模型中選擇與之最接近的AAM視角模型。利用選中的AAM模型對當前的輸入圖像進行面部特征點的定位。其中，所述第e步進一步具體為確定面部特征點的位置后，計算并獲取人臉面部特征點的坐標信息，TOF深度相機的坐標系是以其自身為坐標原點，正前方為Z軸方向，向左為X軸的正方向，向上為Y軸的正方向。本專利技術的有益效果：本申請提供一種基于TOF深度相機的面部表情捕捉方法，該方法捕獲的數據是現實世界人臉的真實的運動數據，動作連貫真實，表情細膩豐富，而且此方法獲取到的面部表情捕捉文件可以重復使用，節約了成本。附圖說明圖1為TOF深度相機獲取到的彩色圖像；圖2為TOF深度相機獲取到的深度圖像；圖3為手動標記的訓練樣本；圖4為臉部的特征點分布及名稱；圖5為表情捕捉文件導入人臉模型的效果圖；圖6為建立頭部姿態判斷模型所用的深度圖像塊。具體實施方式本專利技術提供了一種基于TOF深度相機的面部表情捕捉方法，其包括：第一步，利用TOF深度相機采集深度圖像和彩色圖像，采用AAM(ActiveAppearancesModels)算法定位面部特征點，并計算獲取面部表情數據；第二步，處理捕捉面部表情數據，生成面部表情捕捉文件；第三步，構建三維虛擬人物幾何模型，導入面部表情捕捉文件，驅動模型。利用TOF深度相機捕獲到的數據驅動三維虛擬人物幾何模型做出與表演者一致的表情，需要確定面部特征點的位置信息，這也是實現人臉面部表情捕捉的關鍵。如何確定和提取特征點信息對捕捉到的人臉面部表情的真實度起到了決定性的作用。面部特征信息很容易受到光照和姿態的影響，TOF深度相機可以同時提供深度圖像、RGB彩色圖像本文檔來自技高網...

【技術保護點】
一種基于TOF深度相機的面部表情捕捉方法，其特征在于，包括：第一步，使用TOF深度相機對真實人物進行面部表情捕捉；第二步，處理捕捉的面部表情數據，并生成面部表情捕捉文件；第三步，構建三維虛擬人物幾何模型，導入面部表情捕捉文件，驅動模型。

【技術特征摘要】
1.一種基于TOF深度相機的面部表情捕捉方法，其特征在于，包括：第一步，使用TOF深度相機對真實人物進行面部表情捕捉；第二步，處理捕捉的面部表情數據，并生成面部表情捕捉文件；第三步，構建三維虛擬人物幾何模型，導入面部表情捕捉文件，驅動模型。2.如權利要求1所述的基于TOF深度相機的面部表情捕捉方法，其特征在于：在第一步中采用AAM算法標定真實人物的面部特征點，使頭部姿態各異的情況下我們也能夠對面部特征點進行精確的定位，從而對真實人物進行面部表情捕捉。3.如權利要求1或2所述的基于TOF深度相機的面部表情捕捉方法，其特征在于：所述第一步進一步具體包括，a、利用TOF深度相機獲取人臉彩色圖像和深度圖像；b、建立頭部姿態判斷模型；c、訓練并建立AAM算法的模型；d、利用AAM算法定位面部特征點；e、獲取面部特征點的三維坐標。4.如權利要求1至3所述的基于TOF深度相機的面部表情捕捉方法，其特征在于：第a步具體為利用TOF深度相機獲取三維人臉的彩色數據流與深度數據流，并將彩色數據流轉換成彩色圖像，將深度數據流轉換成深度圖像。5.如權利要求1至4所述的基于TOF深度相機的面部表情捕捉方法，其特征在于：第b步具體為利用TOF深度相機獲取不同的頭部姿態相對應的深度圖像，然后按照頭部姿態的位置將獲取到的深度圖像分為多個不同的分類訓練集，使用臉部近視平面的法向量來表示不同的頭部姿態...

【專利技術屬性】
技術研發人員：張維忠，袁翠梅，黃松，周紹致，王青林，
申請(專利權)人：張維忠，
類型：發明
國別省市：山東,37