一種表情合成方法及裝置制造方法及圖紙

本申請實施例公開了一種表情合成方法及裝置，實現了提高根據合成的具有目標表情的目標臉的真實性的目的。其中，所述方法包括：獲取目標臉的待處理表情的表情數據；獲取標準臉的第一表情的表情數據和所述標準臉的第二表情的表情數據；根據所述標準臉的第一表情的表情數據和所述標準臉的第二表情的表情數據得到滿足預設條件的表情數據；利用所述預設條件的表情數據得到所述目標臉具有目標表情時的第一表情數據；按照預設規則構建目標函數，并以所述第一表情數據為約束條件，得到當所述目標函數的值滿足預設條件時，所述目標臉具有目標表情時的第二表情數據；根據所述目標臉的所述第一表情數據和所述第二表情數據合成具有所述目標表情的目標臉。

【技術實現步驟摘要】
一種表情合成方法及裝置
本申請涉及動畫
，尤其涉及一種表情合成方法及裝置。
技術介紹
在社會交往中，人臉表情能夠傳達重要、豐富的信息。隨著計算機技術的快速發展，表情合成技術在圖形圖像處理、計算機輔助設計等領域受到越來越多研究人員的關注。它在游戲娛樂、媒體制作、虛擬現實設計、遠程虛擬通訊、遠程醫療服務、虛擬視頻會議、虛擬角色交互應用等方面有著重要的用途。基于三維空間模型的人臉表情合成是目前的研究熱點。人臉表情的合成實質上是人臉表情數據的合成。通過將人臉在三維空間中建模，可以得到人臉上每個頂點在三維空間中的位置坐標。對于不同的表情，人臉的各頂點的位置坐標是不相同的。例如，一般情況下，人在微笑的時候嘴、眼睛、鼻子等部位都會有相應變化，嘴角會上揚、眼瞼會收縮、鼻孔會張大。所以，當人在微笑時，這些部位對應的頂點的位置坐標和人在其他表情(例如沒有表情、憤怒、傷心等表情)下對應的位置坐標是不相同的。目前通常采用融合變形(BlendShape)的方式對人臉的表情數據進行合成。融合變形的原理為：首先獲取標準人臉的第一表情的表情數據與標準人臉的第二表情的表情數據之間的差值，然后將該差值與目標人臉的當前表情的表情數據相加或相減，得到目標人臉的目標表情的表情數據，所述第二表情和所述當前表情是相匹配的，第一表情和目標表情是相匹配的。其中，標準人臉是標準人的臉，是作為基準的人臉，它可以通過對某個實際人臉模擬得到，也可以是抽象出來的人臉；目標人臉為用戶的臉。舉個例子，假設標準人臉的第一表情為微笑，第二表情為沒有表情；目標人臉的當前表情也為沒有表情，目標表情為微笑。那么目標人臉微笑對應的表情數據是根據標準人臉微笑對應的表情數據和標準人臉沒有表情對應的表情數據之間的差值，與目標人臉沒有表情對應的表情數據進行相加得到。因為在第一表情和第二表情在被選定的情況下，標準人臉的第一表情的表情數據與標準人臉的第二表情的表情數據之間的差值是固定的，所以不管目標人臉是什么特點，其表情數據計算的基準是相同的。而不同用戶的人臉形狀與標準人的人臉形狀通常均有差別，比如眼睛大小不一、眉毛高低不一、人臉輪廓不一等，所以根據現有技術的融合變形方法得到目標人臉的目標表情的表情數據可能會與目標人臉真實在做目標表情時得到的表情數據差距較大，甚至會出現不符合生理現象的可能。
技術實現思路
為了解決現有技術中存在的技術問題，本申請提供了表情合成方法及裝置，實現了提高根據合成的具有目標表情的目標臉的真實性的目的。本申請提供了一種表情合成方法，所述方法包括：獲取目標臉的待處理表情的表情數據，所述待處理表情的表情數據為所述目標臉具有所述待處理表情時各頂點的位置坐標；獲取標準臉的第一表情的表情數據和所述標準臉的第二表情的表情數據，所述第一表情的表情數據為所述標準臉具有所述第一表情時各頂點的位置坐標，所述第二表情的表情數據為所述標準臉具有所述第二表情時各頂點的位置坐標，所述目標臉的各頂點和所述標準臉的各頂點一一對應，且所述標準臉的第一表情與所述目標臉的待處理表情相同；根據所述標準臉的第一表情的表情數據和所述標準臉的第二表情的表情數據得到滿足預設條件的表情數據，所述滿足預設條件的表情數據為運動幅度小于或等于閾值的頂點的位置坐標；利用所述預設條件的表情數據得到所述目標臉具有目標表情時的第一表情數據，所述目標表情與所述第二表情相同，所述第一表情數據的頂點和所述預設條件的表情數據的頂點相匹配；按照預設規則構建目標函數，并以所述第一表情數據為約束條件，得到當所述目標函數的值滿足預設條件時，所述目標臉具有目標表情時的第二表情數據，所述第二表情數據為所述目標臉的除所述第一表情數據的頂點以外的其他頂點的位置坐標；根據所述目標臉的所述第一表情數據和所述第二表情數據合成具有所述目標表情的目標臉。可選的，所述預設規則至少包括以下其中一個：第一規則：所述目標臉從所述待處理表情變化到目標表情時面部整體變形程度，與所述標準臉從所述第一表情變化到所述第二表情的面部整體變形程度趨近一致；第二規則：根據所述目標臉的第一表情數據和第二表情數據形成的目標臉是平滑的；第三規則：所述目標臉在具有目標表情時的肌肉線條形狀和所述標準臉在具有第二表情時的肌肉線條形狀趨近一致；第四規則：所述目標臉在具有目標表情時非肌肉線條之間的位置關系，和所述標準臉在具有第二表情時非肌肉線條之間的位置關系趨近一致。可選的，若所述預設規則包括第一規則，則所述目標函數根據所述目標臉從所述待處理表情變化到所述目標表情時三角面的運動幅度，和所述標準臉從第一表情變化到第二表情時對應三角面的運動幅度之差得到，所述三角面是由三個頂點構成的面，所述目標臉的三角面用于拼成所述目標臉，所述標準臉的三角面用于拼成所述標準臉。可選的，若所述預設規則包括第二規則，則所述目標函數根據所述目標臉從所述待處理表情變化到所述目標表情時，所述目標臉的第一三角面的變形程度和第二三角面的變形程度之差得到，所述第一三角面和所述第二三角面為由各自的三個頂點構成的面，所述第一三角面和所述第二三角面用于拼成目標臉，所述第一三角面和所述第二三角面為相鄰的三角面。可選的，若所述預設規則包括第三規則，則所述目標函數根據所述目標臉在具有目標表情時肌肉線條對應的頂點序列形成的第一向量，和所述標準臉在具有第二表情時所述肌肉線條對應的頂點序列形成的第二向量之方向差得到。可選的，若所述預設規則包括第四規則，則所述目標函數根據所述目標臉的第一位置坐標差和所述標準臉在具有第二表情時的第二位置坐標差得到；所述第一位置坐標差為所述目標臉在具有目標表情時的第一非肌肉線條對應的頂點序列和第二非肌肉線條對應的頂點序列之間對應頂點的位置坐標差；所述第二位置坐標差為與所述標準臉在具有第二表情時所述第一非肌肉線條對應的頂點序列和所述第二非肌肉線條對應的頂點序列之間對應頂點的位置坐標差；所述第一非肌肉線條對應的頂點序列中各頂點和所述第二非肌肉線條對應的頂點序列中各頂點一一對應。本申請還提供了一種表情合成裝置，所述裝置包括：待處理表情數據獲取單元、標準臉表情數據獲取單元、預設條件表情數據獲取單元、第一表情數據獲取單元、第二表情數據獲取單元和表情合成單元；其中，所述待處理表情數據獲取單元，用于獲取目標臉的待處理表情的表情數據，所述待處理表情的表情數據為所述目標臉具有所述待處理表情時各頂點的位置坐標；所述標準臉表情數據獲取單元，用于獲取標準臉的第一表情的表情數據和所述標準臉的第二表情的表情數據，所述第一表情的表情數據為所述標準臉具有所述第一表情時各頂點的位置坐標，所述第二表情的表情數據為所述標準臉具有所述第二表情時各頂點的位置坐標，所述目標臉的各頂點和所述標準臉的各頂點一一對應，且所述標準臉的第一表情與所述目標臉的待處理表情相同；所述預設條件表情數據獲取單元，用于根據所述標準臉的第一表情的表情數據和所述標準臉的第二表情的表情數據得到滿足預設條件的表情數據，所述滿足預設條件的表情數據為運動幅度小于或等于閾值的頂點的位置坐標；所述第一表情數據獲取單元，用于利用所述預設條件的表情數據得到所述目標臉具有目標表情時的第一表情數據，所述目標表情與所述第二表情相同，所述第一表情數據的頂點和所述預設條件的表情數據的頂點相匹配；所述第二表本文檔來自技高網...

【技術保護點】
一種表情合成方法，其特征在于，所述方法包括：獲取目標臉的待處理表情的表情數據，所述待處理表情的表情數據為所述目標臉具有所述待處理表情時各頂點的位置坐標；獲取標準臉的第一表情的表情數據和所述標準臉的第二表情的表情數據，所述第一表情的表情數據為所述標準臉具有所述第一表情時各頂點的位置坐標，所述第二表情的表情數據為所述標準臉具有所述第二表情時各頂點的位置坐標，所述目標臉的各頂點和所述標準臉的各頂點一一對應，且所述標準臉的第一表情與所述目標臉的待處理表情相同；根據所述標準臉的第一表情的表情數據和所述標準臉的第二表情的表情數據得到滿足預設條件的表情數據，所述滿足預設條件的表情數據為運動幅度小于或等于閾值的頂點的位置坐標；利用所述預設條件的表情數據得到所述目標臉具有目標表情時的第一表情數據，所述目標表情與所述第二表情相同，所述第一表情數據的頂點和所述預設條件的表情數據的頂點相匹配；按照預設規則構建目標函數，并以所述第一表情數據為約束條件，得到當所述目標函數的值滿足預設條件時，所述目標臉具有目標表情時的第二表情數據，所述第二表情數據為所述目標臉的除所述第一表情數據的頂點以外的其他頂點的位置坐標；根據所述目標臉的所述第一表情數據和所述第二表情數據合成具有所述目標表情的目標臉。...

【技術特征摘要】
1.一種表情合成方法，其特征在于，所述方法包括：獲取目標臉的待處理表情的表情數據，所述待處理表情的表情數據為所述目標臉具有所述待處理表情時各頂點的位置坐標；獲取標準臉的第一表情的表情數據和所述標準臉的第二表情的表情數據，所述第一表情的表情數據為所述標準臉具有所述第一表情時各頂點的位置坐標，所述第二表情的表情數據為所述標準臉具有所述第二表情時各頂點的位置坐標，所述目標臉的各頂點和所述標準臉的各頂點一一對應，且所述標準臉的第一表情與所述目標臉的待處理表情相同；根據所述標準臉的第一表情的表情數據和所述標準臉的第二表情的表情數據得到滿足預設條件的表情數據，所述滿足預設條件的表情數據為運動幅度小于或等于閾值的頂點的位置坐標；利用所述預設條件的表情數據得到所述目標臉具有目標表情時的第一表情數據，所述目標表情與所述第二表情相同，所述第一表情數據的頂點和所述預設條件的表情數據的頂點相匹配；按照預設規則構建目標函數，并以所述第一表情數據為約束條件，得到當所述目標函數的值滿足預設條件時，所述目標臉具有目標表情時的第二表情數據，所述第二表情數據為所述目標臉的除所述第一表情數據的頂點以外的其他頂點的位置坐標；根據所述目標臉的所述第一表情數據和所述第二表情數據合成具有所述目標表情的目標臉。2.根據權利要求1所述的方法，其特征在于，所述預設規則至少包括以下其中一個：第一規則：所述目標臉從所述待處理表情變化到目標表情時面部整體變形程度，與所述標準臉從所述第一表情變化到所述第二表情的面部整體變形程度趨近一致；第二規則：根據所述目標臉的第一表情數據和第二表情數據形成的目標臉是平滑的；第三規則：所述目標臉在具有目標表情時的肌肉線條形狀和所述標準臉在具有第二表情時的肌肉線條形狀趨近一致；第四規則：所述目標臉在具有目標表情時非肌肉線條之間的位置關系，和所述標準臉在具有第二表情時非肌肉線條之間的位置關系趨近一致。3.根據權利要求2所述的方法，其特征在于，若所述預設規則包括第一規則，則所述目標函數根據所述目標臉從所述待處理表情變化到所述目標表情時三角面的運動幅度，和所述標準臉從第一表情變化到第二表情時對應三角面的運動幅度之差得到，所述三角面是由三個頂點構成的面，所述目標臉的三角面用于拼成所述目標臉，所述標準臉的三角面用于拼成所述標準臉。4.根據權利要求2所述的方法，其特征在于，若所述預設規則包括第二規則，則所述目標函數根據所述目標臉從所述待處理表情變化到所述目標表情時，所述目標臉的第一三角面的變形程度和第二三角面的變形程度之差得到，所述第一三角面和所述第二三角面為由各自的三個頂點構成的面，所述第一三角面和所述第二三角面用于拼成目標臉，所述第一三角面和所述第二三角面為相鄰的三角面。5.根據權利要求2所述的方法，其特征在于，若所述預設規則包括第三規則，則所述目標函數根據所述目標臉在具有目標表情時肌肉線條對應的頂點序列形成的第一向量，和所述標準臉在具有第二表情時所述肌肉線條對應的頂點序列形成的第二向量之方向差得到。6.根據權利要求2所述的方法，其特征在于，若所述預設規則包括第四規則，則所述目標函數根據所述目標臉的第一位置坐標差和所述標準臉在具有第二表情時的第二位置坐標差得到；所述第一位置坐標差為所述目標臉在具有目標表情時的第一非肌肉線條對應的頂點序列和第二非肌肉線條對應的頂點序列之間對應頂點的位置坐標差；所述第二位置坐標差為與所述標準臉在具有第二表情時所述第一非肌肉線條對應的頂點序列和所述第二非肌肉線條對應的頂點序列之間對應頂點的位置坐標差；所述第一非肌肉線條對應的頂點序列中各頂點和所述第二非肌肉線條對應的頂點序列中各頂點一一對應。7.一種表情合成裝置，其特征在于，所述裝置包括：待處理表情數據獲取單元、標準臉表情數據獲取單元、預設條件表情數據獲取單元、第一表情數據獲取單元、第二表情數據獲取單...

【專利技術屬性】
技術研發人員：吳松城，陳軍宏，
申請(專利權)人：廈門幻世網絡科技有限公司，
類型：發明
國別省市：福建,35