全自動人像蒙版摳圖方法及系統技術方案

本發明專利技術提出了一種全自動人像蒙版摳圖方法，其中該方法包括：構建三階段神經網絡模型并進行訓練，其中，所述三階段神經網絡模型包括Trimap網絡、Matting網絡和融合模塊；將原始圖像輸入到訓練好的三階段神經網絡模型，以通過所述Trimap網絡進行前向傳播，輸出Trimap圖像；將所述原始圖像和所述Trimap圖像聯合輸入到所述Matting網絡進行前向傳播，以輸出待處理蒙版圖像；將所述Trimap圖像和所述待處理蒙版圖像聯合輸入到所述融合模塊進行融合，以輸出最終蒙版圖像；對所述原始圖像和所述最終蒙版圖像進行融合，以輸出摳圖結果。由此，無需任何交互，通過構建三階段神經網絡模型即可實現全自動的發絲級人像蒙版摳取，使得用戶無需掌握豐富的摳圖知識即可完成精確摳圖。

Automatic matting method and system of human image mask

【技術實現步驟摘要】
全自動人像蒙版摳圖方法及系統
本專利技術涉及圖像處理
，特別涉及一種全自動人像蒙版摳圖方法、一種全自動人像蒙版摳圖系統、以及一種計算機可讀存儲介質和計算機設備。
技術介紹
相關技術中，對于人像圖片的摳圖方法通常有兩種，一種是傳統的人像摳圖算法，需要用戶手動反復涂抹，特別是在人體邊緣和頭發的處理上需要耗費大量時間和精力才能保障摳圖質量，導致交互過程費時費力；另一種是基于深度神經網絡的人像摳圖算法，該算法需要完整且準確的trimap圖作為輸入，而在實際處理的過程中，用戶輸入的圖片一般都不是完整且準確的trimap圖，因此，這個嚴格的trimap圖輸入要求導致了該類算法對交互準確率要求極高。
技術實現思路
本專利技術旨在至少在一定程度上解決上述技術中的技術問題之一。為此，本專利技術的一個目的在于提出一種全自動人像蒙版摳圖方法，無需任何交互，通過構建三階段神經網絡模型即可實現全自動的發絲級人像蒙版摳取，使得用戶無需掌握豐富的摳圖知識即可完成精確摳圖。本專利技術的第二個目的在于提出一種計算機可讀存儲介質。本專利技術的第三個目的在于提出一種計算機設備。為達到上述目的，本專利技術第一方面實施例提出了一種全自動人像蒙版摳圖方法，包括以下步驟：構建三階段神經網絡模型并進行訓練，其中，所述三階段神經網絡模型包括Trimap網絡、Matting網絡和融合模塊；將原始圖像輸入到訓練好的三階段神經網絡模型，以通過所述Trimap網絡進行前向傳播，輸出Trimap圖像；將所述原始圖像和所述Trimap圖像聯合輸入到所述Matting網絡進行前向傳播，以輸出待處理蒙版圖像；將所述Trimap圖像和所述待處理蒙版圖像聯合輸入到所述融合模塊進行融合，以輸出最終蒙版圖像；對所述原始圖像和所述最終蒙版圖像進行融合，以輸出摳圖結果。根據本專利技術實施例的全自動人像蒙版摳圖方法，首先構建三階段神經網絡模型并進行訓練，其中，三階段神經網絡模型包括Trimap網絡、Matting網絡和融合模塊；接著將原始圖像輸入到訓練好的三階段神經網絡模型，以通過Trimap網絡進行前向傳播，輸出Trimap圖像；然后將原始圖像和Trimap圖像聯合輸入到Matting網絡進行前向傳播，以輸出待處理蒙版圖像；接著將Trimap圖像和待處理蒙版圖像聯合輸入到融合模塊進行融合，以輸出最終蒙版圖像；最后對原始圖像和最終蒙版圖像進行融合，以輸出摳圖結果；從而無需任何交互，通過構建三階段神經網絡模型即可實現全自動的發絲級人像蒙版摳取，使得用戶無需掌握豐富的摳圖知識即可完成精確摳圖。另外，根據本專利技術上述實施例提出的全自動人像蒙版摳圖方法還可以具有如下附加的技術特征：可選地，構建三階段神經網絡模型并進行訓練，包括：獲取多張不同場景下的人像圖像，并對每張所述人像圖像進行蒙版摳取以獲取多張人像蒙版，以及根據所述人像圖像和所述人像圖像所對應的人像蒙版構建訓練數據集；建立Trimap網絡，并根據所述訓練數據集對所述Trimap網絡進行訓練，以通過訓練好的Trimap網絡獲得Trimap圖像；建立Matting網絡，并根據所述訓練數據集和所述Trimap圖像對所述Matting網絡進行訓練，以通過訓練好的Matting網絡獲得待處理蒙版圖像；建立融合模塊，并根據所述Trimap圖像和所述待處理蒙版圖像對所述融合模塊進行訓練，以獲得訓練好的三階段神經網絡模型。可選地，所述Trimap網絡采用全卷積層的神經網絡結構，由編碼器網絡和解碼器網絡構成，用于區分前景區域、背景區域和人像邊緣區域。可選地，所述Trimap網絡訓練時采用的初始學習率為0.1，損失函數為交叉熵，并通過隨機梯度下降算法在GPU上進行訓練，且訓練200個周期；所述Matting網絡訓練時采用的初始學習率為0.001，損失函數為均方誤差，并通過隨機梯度下降算法在GPU上進行訓練，且訓練200個周期；所述融合模塊訓練時采用的初始學習率為0.00001，損失函數為均方誤差，并通過隨機梯度下降算法在GPU上進行訓練，且訓練100個周期。為達到上述目的，本專利技術第二方面實施例提出了一種計算機可讀存儲介質，其上存儲有全自動人像蒙版摳圖程序，該全自動人像蒙版摳圖程序被處理器執行時實現如上述的全自動人像蒙版摳圖方法。根據本專利技術實施例的計算機可讀存儲介質，通過全自動人像蒙版摳圖程序，這樣全自動人像蒙版摳圖程序被處理器執行時實現如上述的全自動人像蒙版摳圖方法，從而無需任何交互，通過構建三階段神經網絡模型即可實現全自動的發絲級人像蒙版摳取，使得用戶無需掌握豐富的摳圖知識即可完成精確摳圖。為達到上述目的，本專利技術第三方面實施例提出了一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時，實現如上述的全自動人像蒙版摳圖方法。根據本專利技術實施例的計算機設備，通過存儲器存儲全自動人像蒙版摳圖程序，這樣全自動人像蒙版摳圖程序被處理器執行時實現如上述的全自動人像蒙版摳圖方法，從而無需任何交互，通過構建三階段神經網絡模型即可實現全自動的發絲級人像蒙版摳取，使得用戶無需掌握豐富的摳圖知識即可完成精確摳圖。為達到上述目的，本專利技術第四方面實施例提出了一種全自動人像蒙版摳圖系統，包括：模型構建及訓練模塊，用于構建三階段神經網絡模型并進行訓練，其中，所述三階段神經網絡模型包括Trimap網絡、Matting網絡和融合模塊；圖像處理模塊，用于將原始圖像輸入到訓練好的三階段神經網絡模型，以通過所述Trimap網絡進行前向傳播，輸出Trimap圖像，并將所述原始圖像和所述Trimap圖像聯合輸入到所述Matting網絡進行前向傳播，以輸出待處理蒙版圖像，以及將所述Trimap圖像和所述待處理蒙版圖像聯合輸入到所述融合模塊進行融合，以輸出最終蒙版圖像，并對所述原始圖像和所述最終蒙版圖像進行融合，以輸出摳圖結果。根據本專利技術實施例提供的全自動人像蒙版摳圖系統，通過模型構建及訓練模塊構建三階段神經網絡模型并進行訓練，其中，所述三階段神經網絡模型包括Trimap網絡、Matting網絡和融合模塊；再通過圖像處理模塊將原始圖像輸入到訓練好的三階段神經網絡模型，以通過所述Trimap網絡進行前向傳播，輸出Trimap圖像，并將所述原始圖像和所述Trimap圖像聯合輸入到所述Matting網絡進行前向傳播，以輸出待處理蒙版圖像，以及將所述Trimap圖像和所述待處理蒙版圖像聯合輸入到所述融合模塊進行融合，以輸出最終蒙版圖像，并對所述原始圖像和所述最終蒙版圖像進行融合，以輸出摳圖結果；從而無需任何交互，通過構建三階段神經網絡模型即可實現全自動的發絲級人像蒙版摳取，使得用戶無需掌握豐富的摳圖知識即可完成精確摳圖。另外，根據本專利技術上述實施例提出的全自動人像蒙版摳圖系統還可以具有如下附加的技術特征：可選地，所述模型構建及訓練模塊還用于，獲取多張不同場景下的人像圖像，并對每張所述人像圖像進行蒙版摳取以獲取多張人像蒙版，以及根據所述人像圖像和所述人像圖像所對應的人像蒙版構建本文檔來自技高網...

【技術保護點】
1.一種全自動人像蒙版摳圖方法，其特征在于，包括以下步驟：/n構建三階段神經網絡模型并進行訓練，其中，所述三階段神經網絡模型包括Trimap網絡、Matting網絡和融合模塊；/n將原始圖像輸入到訓練好的三階段神經網絡模型，以通過所述Trimap網絡進行前向傳播，輸出Trimap圖像；/n將所述原始圖像和所述Trimap圖像聯合輸入到所述Matting網絡進行前向傳播，以輸出待處理蒙版圖像；/n將所述Trimap圖像和所述待處理蒙版圖像聯合輸入到所述融合模塊進行融合，以輸出最終蒙版圖像；/n對所述原始圖像和所述最終蒙版圖像進行融合，以輸出摳圖結果。/n

【技術特征摘要】
1.一種全自動人像蒙版摳圖方法，其特征在于，包括以下步驟：
構建三階段神經網絡模型并進行訓練，其中，所述三階段神經網絡模型包括Trimap網絡、Matting網絡和融合模塊；
將原始圖像輸入到訓練好的三階段神經網絡模型，以通過所述Trimap網絡進行前向傳播，輸出Trimap圖像；
將所述原始圖像和所述Trimap圖像聯合輸入到所述Matting網絡進行前向傳播，以輸出待處理蒙版圖像；
將所述Trimap圖像和所述待處理蒙版圖像聯合輸入到所述融合模塊進行融合，以輸出最終蒙版圖像；
對所述原始圖像和所述最終蒙版圖像進行融合，以輸出摳圖結果。


2.如權利要求1所述的全自動人像蒙版摳圖方法，其特征在于，構建三階段神經網絡模型并進行訓練，包括：
獲取多張不同場景下的人像圖像，并對每張所述人像圖像進行蒙版摳取以獲取多張人像蒙版，以及根據所述人像圖像和所述人像圖像所對應的人像蒙版構建訓練數據集；
建立Trimap網絡，并根據所述訓練數據集對所述Trimap網絡進行訓練，以通過訓練好的Trimap網絡獲得Trimap圖像；
建立Matting網絡，并根據所述訓練數據集和所述Trimap圖像對所述Matting網絡進行訓練，以通過訓練好的Matting網絡獲得待處理蒙版圖像；
建立融合模塊，并根據所述Trimap圖像和所述待處理蒙版圖像對所述融合模塊進行訓練，以獲得訓練好的三階段神經網絡模型。


3.如權利要求2所述的全自動人像蒙版摳圖方法，其特征在于，所述Trimap網絡采用全卷積層的神經網絡結構，由編碼器網絡和解碼器網絡構成，用于區分前景區域、背景區域和人像邊緣區域。


4.如權利要求1-3中任一項所述的全自動人像蒙版摳圖方法，其特征在于，
所述Trimap網絡訓練時采用的初始學習率為0.1，損失函數為交叉熵，并通過隨機梯度下降算法在GPU上進行訓練，且訓練200個周期；
所述Matting網絡訓練時采用的初始學習率為0.001，損失函數為均方誤差，并通過隨機梯度下降算法在GPU上進行訓練，且訓練200個周期；
所述融合模塊訓練時采用的初始學習率為0.00001，損失函數為均方誤差，并通過隨機梯度下降算法在GPU上進行訓練，且訓練100個周期。


5.一種計算機可讀存儲介質，其特征在于，其上存儲有全自動人像蒙版摳圖程序，該全自動人像蒙版摳圖程序被處理器執行時實現如權利要求1-4中任一項所述的全自動人像蒙版摳圖方法。


...

【專利技術屬性】
技術研發人員：張麗民，林杰興，
申請(專利權)人：稿定廈門科技有限公司，
類型：發明
國別省市：福建;35