一種實現交互式圖像分割的方法、裝置及終端制造方法及圖紙

本文公開了一種實現交互式圖像分割的方法、裝置及終端。所述方法包括：將原始圖像上的涂抹軌跡或勾勒軌跡的鄰接區域確定為標記區，生成圖像分割算法的輸入掩模圖：將標記區中的像素作為掩模圖中的前景點，將標記區外的像素作為掩模圖中的背景點；根據彩色圖和掩模圖確定各個像素的第一分割參數，根據深度圖和掩模圖確定各個像素的第二分割參數，對兩種分割參數進行融合；將每一個像素的融合后的分割參數映射到無向圖中，根據最小割?最大流算法對所述無向圖進行處理獲得精細分割后的掩模圖，從彩色圖中分割出所述精細分割后的掩模圖中前景點對應的圖像。本文能縮短算法的運行時間，結合圖像的深度信息改善圖像分割的效果。

Method, device and terminal for implementing interactive image segmentation

The invention discloses a method, a device and a terminal for realizing interactive image segmentation. The method includes: the original image is on track or adjacent regions to determine the outline track marking area, generating the image segmentation algorithm of input mask graph: the markup in the pixel area as the foreground mask in the figure, the pixel label outside the region as a back spots in mask image; according to the color map and mask pattern to determine the first segmentation parameters of each pixel, according to the depth map and the mask pattern to determine each pixel second segmentation parameters, two kinds of segmentation parameter fusion; segmentation parameter mapping fusion of each pixel of the undirected graph, according to the minimum cut maximum flow algorithm processed mask image after segmentation to obtain a fine figure of the color image segmentation, from the fine segmentation mask patterns corresponding to the foreground image. This paper can shorten the running time of the algorithm, and combine the depth information of the image to improve the effect of image segmentation.

【技術實現步驟摘要】
一種實現交互式圖像分割的方法、裝置及終端
本專利技術涉及圖像處理
，尤其涉及一種實現交互式圖像分割的方法、裝置及終端。
技術介紹
圖像分割，是指將平面圖像依照顏色、紋理、形狀等特征將其劃分為互不相連的若干區域，這是圖像處理領域的一項實用的基礎技術?，F有的圖像分割技術有基于閾值的分割方法、基于邊緣的分割方法、基于區域的分割方法、基于能量泛函的分割方法、基于圖論的分割方法等。其中在圖論方法里比較知名的有GraphCut算法及其改進版本GrabCut算法。GraphCut算法及其改進版本GrabCut算法，是基于區域標注的交互式圖像分割方法。GraphCut算法是基于馬爾可夫隨機場(MarkovRandomField,MRF)能量最小化框架的一種算法，優點在于可以結合多種理論知識進行全局最優求解。GrabCut算法是對GraphCut算法的改進，GrabCut算法通過在原始圖像上標注出前景點(要提取的目標對象上的點)和背景點生成掩模圖，利用原圖和掩模圖對前景、背景顏色空間建立高斯混合模型(GaussianMixtureModel，GMM)，利用GMM參數學習、估計過程中可進化的迭代算法完成能量最小化，判決出圖像中的前景點和背景點，從原圖中提取出由前景點像素組成的目標圖像。在手機上使用GrabCut算法進行圖像分割時，為了降低交互的復雜性，通常對用戶如何標記不做嚴格要求，因此，在用戶標記的前景點較少的情況下迭代次數可能很多，算法運行時間較長，影響了用戶的體驗。另一方面，相關技術中的GrabCut算法是基于彩色圖像進行圖像分割的，當要提取的目標對象的顏色特征并不明顯時，利用彩色圖進行分割的分割效果并不理想。
技術實現思路
本專利技術所要解決的技術問題是提供一種實現交互式圖像分割的方法、裝置及終端，能夠縮短算法的運行時間，結合圖像的深度信息改善圖像分割的效果。本專利技術實施例提供了一種實現交互式圖像分割的方法，包括：檢測到原始圖像上的涂抹軌跡或勾勒軌跡后，將所述涂抹軌跡或勾勒軌跡的鄰接區域確定為標記區，生成圖像分割算法的輸入掩模圖：將所述標記區中所有的像素作為所述掩模圖中的前景點，將所述原始圖像上標記區外的像素作為所述掩模圖中的背景點；獲取包含目標對象顏色信息的彩色圖和包含目標對象深度信息的深度圖，根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數，根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數，所述第一分割參數和第二分割參數用于表示像素判決為前景點或背景點的概率以及所述像素與相鄰像素的數值差異；將所述第一分割參數與所述第二分割參數進行融合；構建無向圖，將所述掩模圖中的每一個像素的融合后的分割參數映射到所述無向圖中，根據最小割-最大流算法對所述無向圖進行處理，獲得精細分割后的掩模圖；從所述彩色圖中分割出所述精細分割后的掩模圖中前景點對應的圖像?？蛇x地，根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數，包括：根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一區域項分割參數：按EM方法進行高斯混合模型GMM計算，所述EM方法包括E步驟和M步驟；迭代運行E步驟和M步驟，在所述迭代運行達到收斂條件后停止所述迭代過程；將最后一次執行M步驟獲得的所述像素的分類確定為所述像素的分類，將最后一次執行M步驟獲得的所述像素歸屬于某個簇的最大概率值Pmax確定為所述像素的第一區域項分割參數，所述第一區域項分割參數是所述像素基于所述彩色圖判決為前景點或背景點的概率；其中，所述E步驟和M步驟分別包括以下處理：E步驟：根據所述掩模圖上各個像素的顏色值以及像素之間的位置關系通過聚簇將同種類型的像素聚成一個或多個簇，確定各個簇的GMM模型；其中，像素的分類包括前景點或背景點；簇的分類包括前景點簇或背景點簇；M步驟：根據各個簇的GMM模型確定每一個像素歸屬于各個簇的概率，對任意一個像素，根據所述像素的最大概率值Pmax對應的簇確定所述像素的分類?？蛇x地，根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數，還包括：根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二區域項分割參數：按EM方法進行高斯混合模型GMM計算，所述EM方法包括E步驟和M步驟；迭代運行E步驟和M步驟，在所述迭代運行達到收斂條件后停止所述迭代過程；將最后一次執行M步驟獲得的所述像素的分類確定為所述像素的分類，將最后一次執行M步驟獲得的所述像素歸屬于某個簇的最大概率值Pmax確定為所述像素的第二區域項分割參數，所述第二區域項分割參數是所述像素基于所述深度圖判決為前景點或背景點的概率；其中，所述E步驟和M步驟分別包括以下處理：E步驟：根據所述掩模圖上各個像素的深度值以及像素之間的位置關系通過聚簇將同種類型的像素聚成一個或多個簇，確定各個簇的GMM模型；其中，像素的分類包括前景點或背景點；簇的分類包括前景點簇或背景點簇；M步驟：根據各個簇的GMM模型確定每一個像素歸屬于各個簇的概率，對任意一個像素，根據所述像素的最大概率值Pmax對應的簇確定所述像素的分類?？蛇x地，根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數，還包括：根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一邊界項分割參數：根據所述像素與相鄰像素的顏色差異確定所述像素的第一邊界項分割參數；其中，對任意一個像素，將RGB三個顏色通道上所述像素與鄰近的各個像素之間的數值差值絕對值進行累加，再對累加和進行歸一化處理，得到歸一化后的累加和作為所述像素的第一邊界項分割參數。可選地，根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數，還包括：根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二邊界項分割參數：根據所述像素與相鄰像素的深度值差異確定所述像素的第二邊界項分割參數；其中，對任意一個像素，將所述像素與鄰近的各個像素之間的深度值差值絕對值進行累加，再對累加和進行歸一化處理，得到歸一化后的累加和作為所述像素的第二邊界項分割參數。可選地，將所述第一分割參數與所述第二分割參數進行融合，包括：將所述第一區域項分割參數與所述第二區域項分割參數進行融合：對任意一個像素，將所述第一區域項分割參數乘以權重(1-a)得到調整后的第一區域項分割參數，將所述第二區域項分割參數乘以權重a得到調整后的第二區域項分割參數；如果所述第一區域項分割參數指示的像素分類與所述第二區域項分割參數指示的像素分類相同，則將所述調整后的第一區域項分割參數與所述調整后的第二區域項分割參數相加的和作為融合后的區域項分割參數；如果所述第一區域項分割參數指示的像素分類與所述第二區域項分割參數指示的像素分類不相同，則將所述調整后的第一區域項分割參數與所述調整后的第二區域項分割參數中數值較大者指示的像素分類作為所述像素的最終分類，將所述調整后的第一區域項分割參數與所述調整后的第二區域項分割參數的差值的絕對值作為融合后的區域項分割參數?？蛇x地，將所述第一分割參數與所述第二分割參數進行融合，還包括：將所述第一邊界項分割參數與所述第二邊界項分割參數進行融合：將所述第一邊界項分割參數乘以權重(1-a)得到調整后的第一邊界項分割參數，將所述第二邊界項分割參數乘以權重a得到調整后的第二邊界項分割參數，然后將所述調整后的本文檔來自技高網...

【技術保護點】
一種實現交互式圖像分割的方法，包括：檢測到原始圖像上的涂抹軌跡或勾勒軌跡后，將所述涂抹軌跡或勾勒軌跡的鄰接區域確定為標記區，生成圖像分割算法的輸入掩模圖：將所述標記區中所有的像素作為所述掩模圖中的前景點，將所述原始圖像上標記區外的像素作為所述掩模圖中的背景點；獲取包含目標對象顏色信息的彩色圖和包含目標對象深度信息的深度圖，根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數，根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數，所述第一分割參數和第二分割參數用于表示像素判決為前景點或背景點的概率以及所述像素與相鄰像素的數值差異；將所述第一分割參數與所述第二分割參數進行融合；構建無向圖，將所述掩模圖中的每一個像素的融合后的分割參數映射到所述無向圖中，根據最小割?最大流算法對所述無向圖進行處理，獲得精細分割后的掩模圖；從所述彩色圖中分割出所述精細分割后的掩模圖中前景點對應的圖像。

【技術特征摘要】
1.一種實現交互式圖像分割的方法，包括：檢測到原始圖像上的涂抹軌跡或勾勒軌跡后，將所述涂抹軌跡或勾勒軌跡的鄰接區域確定為標記區，生成圖像分割算法的輸入掩模圖：將所述標記區中所有的像素作為所述掩模圖中的前景點，將所述原始圖像上標記區外的像素作為所述掩模圖中的背景點；獲取包含目標對象顏色信息的彩色圖和包含目標對象深度信息的深度圖，根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數，根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數，所述第一分割參數和第二分割參數用于表示像素判決為前景點或背景點的概率以及所述像素與相鄰像素的數值差異；將所述第一分割參數與所述第二分割參數進行融合；構建無向圖，將所述掩模圖中的每一個像素的融合后的分割參數映射到所述無向圖中，根據最小割-最大流算法對所述無向圖進行處理，獲得精細分割后的掩模圖；從所述彩色圖中分割出所述精細分割后的掩模圖中前景點對應的圖像。2.根據權利要求1所述的方法，其特征在于：根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數，包括：根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一區域項分割參數：按EM方法進行高斯混合模型GMM計算，所述EM方法包括E步驟和M步驟；迭代運行E步驟和M步驟，在所述迭代運行達到收斂條件后停止所述迭代過程；將最后一次執行M步驟獲得的所述像素的分類確定為所述像素的分類，將最后一次執行M步驟獲得的所述像素歸屬于某個簇的最大概率值Pmax確定為所述像素的第一區域項分割參數，所述第一區域項分割參數是所述像素基于所述彩色圖判決為前景點或背景點的概率；其中，所述E步驟和M步驟分別包括以下處理：E步驟：根據所述掩模圖上各個像素的顏色值以及像素之間的位置關系通過聚簇將同種類型的像素聚成一個或多個簇，確定各個簇的GMM模型；其中，像素的分類包括前景點或背景點；簇的分類包括前景點簇或背景點簇；M步驟：根據各個簇的GMM模型確定每一個像素歸屬于各個簇的概率，對任意一個像素，根據所述像素的最大概率值Pmax對應的簇確定所述像素的分類。3.根據權利要求2所述的方法，其特征在于：根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數，還包括：根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二區域項分割參數：按EM方法進行高斯混合模型GMM計算，所述EM方法包括E步驟和M步驟；迭代運行E步驟和M步驟，在所述迭代運行達到收斂條件后停止所述迭代過程；將最后一次執行M步驟獲得的所述像素的分類確定為所述像素的分類，將最后一次執行M步驟獲得的所述像素歸屬于某個簇的最大概率值Pmax確定為所述像素的第二區域項分割參數，所述第二區域項分割參數是所述像素基于所述深度圖判決為前景點或背景點的概率；其中，所述E步驟和M步驟分別包括以下處理：E步驟：根據所述掩模圖上各個像素的深度值以及像素之間的位置關系通過聚簇將同種類型的像素聚成一個或多個簇，確定各個簇的GMM模型；其中，像素的分類包括前景點或背景點；簇的分類包括前景點簇或背景點簇；M步驟：根據各個簇的GMM模型確定每一個像素歸屬于各個簇的概率，對任意一個像素，根據所述像素的最大概率值Pmax對應的簇確定所述像素的分類。4.根據權利要求3所述的方法，其特征在于：根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數，還包括：根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一邊界項分割參數：根據所述像素與相鄰像素的顏色差異確定所述像素的第一邊界項分割參數；其中，對任意一個像素，將RGB三個顏色通道上所述像素與鄰近的各個像素之間的數值差值絕對值進行累加，再對累加和進行歸一化處理，得到歸一化后的累加和作為所述像素的第一邊界項分割參數。5.根據權利要求4所述的方法，其特征在于：根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數，還包括：根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二邊界項分割參數：根據所述像素與相鄰像素的深度值差異確定所述像素的第二邊界項分割參數；其中，對任意一個像素，將所述像素與鄰近的各個像素之間的深度值差值絕對值進行累加，再對累加和進行歸一化處理，得到歸一化后的累加和作為所述像素的第二邊界項分割參數。6.根據權利要求5所述的方法，其特征在于：將所述第一分割參數與所述第二分割參數進行融合，包括：將所述第一區域項分割參數與所述第二區域項分割參數進行融合：對任意一個像素，將所述第一區域項分割參數乘以權重(1-a)得到調整后的第一區域項分割參數，將所述第二區域項分割參數乘以權重a得到調整后的第二區域項分割參數；如果所述第一區域項分割參數指示的像素分類與所述第二區域項分割參數...

【專利技術屬性】
技術研發人員：梁舟，
申請(專利權)人：努比亞技術有限公司，
類型：發明
國別省市：廣東,44