一種實現交互式圖像分割的方法、裝置及終端制造方法及圖紙

本文公開了一種實現交互式圖像分割的方法、裝置及終端。所述方法包括：構造包含所述原始圖像上涂抹軌跡的幾何圖形，對所述幾何圖形進行擴展形成標記區，生成圖像分割算法的輸入掩模圖：將所述標記區中所有的像素作為所述掩模圖中的前景點，將所述原始圖像上標記區外的像素作為所述掩模圖中的背景點；根據深度圖和掩模圖確定各個像素的分割參數，構建無向圖并將掩模圖中的每一個像素的分割參數映射到無向圖中，根據無向圖運行最小割?最大流算法，獲得精細分割后的掩模圖，從原始圖像中分割出所述精細分割后的掩模圖中前景點對應的圖像。本文能縮短算法的運行時間，利用圖像的深度信息改善圖像分割的效果。

Method, device and terminal for implementing interactive image segmentation

The invention discloses a method, a device and a terminal for realizing interactive image segmentation. The method includes: a structure containing the original image with the track geometry, the geometry of extended form marking area, generating the image segmentation algorithm of input mask pattern: all pixels of the marking area as the foreground mask image in the pixel region, mark the original image on the outside as a mask in the background; according to the depth map and the mask pattern to determine the segmentation parameters of each pixel, construct the segmentation parameter mapping each pixel of the undirected graph and the mask map to an undirected graph, undirected graph based on minimum cut operation maximum flow algorithm, to obtain a fine mask image is segmented from the original image, segmentation of the fine segmentation mask patterns corresponding to the foreground image. This paper can shorten the running time of the algorithm, and use the depth information of the image to improve the effect of image segmentation.

【技術實現步驟摘要】
一種實現交互式圖像分割的方法、裝置及終端
本專利技術涉及圖像處理
，尤其涉及一種實現交互式圖像分割的方法、裝置及終端。
技術介紹
圖像分割，是指將平面圖像依照顏色、紋理、形狀等特征將其劃分為互不相連的若干區域，這是圖像處理領域的一項實用的基礎技術。現有的圖像分割技術有基于閾值的分割方法、基于邊緣的分割方法、基于區域的分割方法、基于能量泛函的分割方法、基于圖論的分割方法等。其中在圖論方法里比較知名的有GraphCut算法及其改進版本GrabCut算法。GraphCut算法及其改進版本GrabCut算法，是基于區域標注的交互式圖像分割方法。GraphCut算法是基于馬爾可夫隨機場(MarkovRandomField,MRF)能量最小化框架的一種算法，優點在于可以結合多種理論知識進行全局最優求解。GrabCut算法是對GraphCut算法的改進，GrabCut算法通過在原始圖像上標注出前景點(要提取的目標對象上的點)和背景點生成掩模圖，利用原圖和掩模圖對前景、背景顏色空間建立高斯混合模型(GaussianMixtureModel，GMM)，利用GMM參數學習、估計過程中可進化的迭代算法完成能量最小化，判決出圖像中的前景點和背景點，從原圖中提取出由前景點像素組成的目標圖像。在手機上使用GrabCut算法進行圖像分割時，為了降低交互的復雜性，通常對用戶如何標記不做嚴格要求，因此，在用戶標記的前景點較少的情況下迭代次數可能很多，算法運行時間較長，影響了用戶的體驗。另一方面，相關技術中的GrabCut算法是基于彩色圖像進行圖像分割的，當要提取的目標對象的顏色特征并不明顯時，利用彩色圖進行分割的分割效果并不理想。
技術實現思路
本專利技術所要解決的技術問題是提供一種實現交互式圖像分割的方法、裝置及終端，能夠縮短算法的運行時間，利用圖像的深度信息改善圖像分割的效果。本專利技術實施例提供了一種實現交互式圖像分割的方法，包括：檢測到原始圖像上的涂抹軌跡后，構造包含所述涂抹軌跡的幾何圖形并對所述幾何圖形進行擴展形成標記區，生成圖像分割算法的輸入掩模圖：將所述標記區中所有的像素作為所述掩模圖中的前景點，將所述原始圖像上標記區外的像素作為所述掩模圖中的背景點；獲取包含目標對象深度信息的深度圖，根據所述深度圖和掩模圖確定所述掩模圖上各個像素的分割參數，所述分割參數用于表示像素判決為前景點或背景點的概率以及所述像素與相鄰像素的深度值差異；構建無向圖，將所述掩模圖中的每一個像素的分割參數映射到所述無向圖中，根據最小割-最大流算法對所述無向圖進行處理，獲得精細分割后的掩模圖；從拍攝所述目標對象所獲得的原始圖像中分割出所述精細分割后的掩模圖中前景點對應的圖像。可選地，根據所述深度圖和掩模圖確定所述掩模圖上各個像素的分割參數，包括：按EM方法進行高斯混合模型GMM計算，所述EM方法包括E步驟和M步驟；迭代運行E步驟和M步驟，在所述迭代運行達到收斂條件后停止所述迭代過程；將最后一次執行M步驟獲得的所述像素的分類確定為所述像素的分類，將最后一次執行M步驟獲得的所述像素歸屬于某個簇的最大概率值Pmax確定為所述像素的區域項分割參數，所述區域項分割參數是所述像素判決為前景點或背景點的概率；其中，所述E步驟和M步驟分別包括以下處理：E步驟：根據所述掩模圖上各個像素的深度值以及像素之間的位置關系通過聚簇將同種類型的像素聚成一個或多個簇，確定各個簇的GMM模型；其中，像素的分類包括前景點或背景點；簇的分類包括前景點簇或背景點簇；M步驟：根據各個簇的GMM模型確定每一個像素歸屬于各個簇的概率，對任意一個像素，根據所述像素的最大概率值Pmax對應的簇確定所述像素的分類。可選地，根據所述深度圖和掩模圖確定所述掩模圖上各個像素的分割參數，還包括：根據所述像素與相鄰像素的深度值差異確定所述像素的邊界項分割參數；其中，對任意一個像素，將所述像素與鄰近的各個像素之間的深度值差值絕對值進行累加，再對累加和進行歸一化處理，得到歸一化后的累加和作為所述像素的邊界項分割參數。可選地，構建無向圖，將所述掩模圖中的每一個像素的分割參數映射到所述無向圖中，包括：構建一個無向圖，在所述無向圖的平面外設置兩個懸空點Q0和Q1，所述懸空點Q0為虛擬前景點，所述懸空點Q1為虛擬背景點；在所述無向圖的平面上建立所述掩模圖上各個像素的映射點，在前景點的映射點與所述懸空點Q0之間建立連線，在背景點的映射點與所述懸空點Q1之間建立連線；對掩模圖中的任意一個像素Pi，將所述像素Pi的區域項分割參數作為所述無向圖中映射點Pi'的權值，將所述像素Pi的邊界項分割參數作為所述無向圖中映射點Pi'與懸空點Q0或Q1之間連線的權值。可選地，所述根據最小割-最大流算法對所述無向圖進行處理，獲得精細分割后的掩模圖，包括：迭代執行以下C步驟和D步驟，在迭代運行達到收斂條件后停止迭代過程，將所述前景點集合Q中的各個像素作為精細分割后的掩模圖中的前景點；其中，C步驟和D步驟分別包括以下處理：C步驟：將無向圖中的一部分像素劃分為與懸空點Q0同類的前景點，由劃分為前景點的像素構成前景點集合Q；D步驟：計算所述前景點集合Q的權值總和，所述權值總和是所述前景點集合Q中所有前景點的權值和，再加上所述前景點集合Q中所有前景點與懸空點Q0之間連線的權值和；其中，所述收斂條件是前景點集合Q的權值總和小于閾值且變化趨于穩定。可選地，拍攝所述目標對象所獲得的原始圖像是彩色圖、黑白圖、或紅外圖。可選地，所述構造包含所述涂抹軌跡的幾何圖形并對所述幾何圖形進行擴展形成標記區，包括：構造所述涂抹軌跡的最小外接矩形，根據所述涂抹軌跡的長度L對所述最小外接矩形進行擴展形成標記區。可選地，所述構造所述涂抹軌跡的最小外接矩形，根據所述涂抹軌跡的長度L對所述最小外接矩形進行擴展形成標記區，包括：根據所述涂抹軌跡上所有像素的橫縱坐標值確定出最大橫坐標值x_max、最小橫坐標值x_min、最大縱坐標值y_max和最小縱坐標值y_min；構造所述涂抹軌跡的最小外接矩形，所述最小外接矩形的四個頂點的坐標依次是：(x_min,y_max)，(x_min,y_min)，(x_max,y_max)，(x_max,y_min)；根據所述涂抹軌跡的長度L對所述最小外接矩形進行擴展形成標記區，所述標記區的四個頂點坐標依次是：(x_min-a,y_max+a)，(x_min-a,y_min-a)，(x_max+a,y_max+a)，(x_max+a,y_min-a)；其中，a是可調系數，a＝L*b，b是常數。可選地，所述圖像分割算法是GrabCut算法。本專利技術實施例提供了一種實現交互式圖像分割的裝置，包括：預處理模塊，用于檢測到原始圖像上的涂抹軌跡后，構造包含所述涂抹軌跡的幾何圖形并對所述幾何圖形進行擴展形成標記區，生成圖像分割算法的輸入掩模圖：將所述標記區中所有的像素作為所述掩模圖中的前景點，將所述原始圖像上標記區外的像素作為所述掩模圖中的背景點；分割參數計算模塊，用于獲取包含目標對象深度信息的深度圖，根據所述深度圖和掩模圖確定所述掩模圖上各個像素的分割參數，所述分割參數用于表示像素判決為前景點或背景點的概率以及所述像素與相鄰像素的深度值差異；掩模圖調整模塊，用于構建無向本文檔來自技高網...

【技術保護點】
一種實現交互式圖像分割的方法，包括：檢測到原始圖像上的涂抹軌跡后，構造包含所述涂抹軌跡的幾何圖形并對所述幾何圖形進行擴展形成標記區，生成圖像分割算法的輸入掩模圖：將所述標記區中所有的像素作為所述掩模圖中的前景點，將所述原始圖像上標記區外的像素作為所述掩模圖中的背景點；獲取包含目標對象深度信息的深度圖，根據所述深度圖和掩模圖確定所述掩模圖上各個像素的分割參數，所述分割參數用于表示像素判決為前景點或背景點的概率以及所述像素與相鄰像素的深度值差異；構建無向圖，將所述掩模圖中的每一個像素的分割參數映射到所述無向圖中，根據最小割?最大流算法對所述無向圖進行處理，獲得精細分割后的掩模圖；從拍攝所述目標對象所獲得的原始圖像中分割出所述精細分割后的掩模圖中前景點對應的圖像。

【技術特征摘要】
1.一種實現交互式圖像分割的方法，包括：檢測到原始圖像上的涂抹軌跡后，構造包含所述涂抹軌跡的幾何圖形并對所述幾何圖形進行擴展形成標記區，生成圖像分割算法的輸入掩模圖：將所述標記區中所有的像素作為所述掩模圖中的前景點，將所述原始圖像上標記區外的像素作為所述掩模圖中的背景點；獲取包含目標對象深度信息的深度圖，根據所述深度圖和掩模圖確定所述掩模圖上各個像素的分割參數，所述分割參數用于表示像素判決為前景點或背景點的概率以及所述像素與相鄰像素的深度值差異；構建無向圖，將所述掩模圖中的每一個像素的分割參數映射到所述無向圖中，根據最小割-最大流算法對所述無向圖進行處理，獲得精細分割后的掩模圖；從拍攝所述目標對象所獲得的原始圖像中分割出所述精細分割后的掩模圖中前景點對應的圖像。2.根據權利要求1所述的方法，其特征在于：根據所述深度圖和掩模圖確定所述掩模圖上各個像素的分割參數，包括：按EM方法進行高斯混合模型GMM計算，所述EM方法包括E步驟和M步驟；迭代運行E步驟和M步驟，在所述迭代運行達到收斂條件后停止所述迭代過程；將最后一次執行M步驟獲得的所述像素的分類確定為所述像素的分類，將最后一次執行M步驟獲得的所述像素歸屬于某個簇的最大概率值Pmax確定為所述像素的區域項分割參數，所述區域項分割參數是所述像素判決為前景點或背景點的概率；其中，所述E步驟和M步驟分別包括以下處理：E步驟：根據所述掩模圖上各個像素的深度值以及像素之間的位置關系通過聚簇將同種類型的像素聚成一個或多個簇，確定各個簇的GMM模型；其中，像素的分類包括前景點或背景點；簇的分類包括前景點簇或背景點簇；M步驟：根據各個簇的GMM模型確定每一個像素歸屬于各個簇的概率，對任意一個像素，根據所述像素的最大概率值Pmax對應的簇確定所述像素的分類。3.根據權利要求2所述的方法，其特征在于：根據所述深度圖和掩模圖確定所述掩模圖上各個像素的分割參數，還包括：根據所述像素與相鄰像素的深度值差異確定所述像素的邊界項分割參數；其中，對任意一個像素，將所述像素與鄰近的各個像素之間的深度值差值絕對值進行累加，再對累加和進行歸一化處理，得到歸一化后的累加和作為所述像素的邊界項分割參數。4.根據權利要求3所述的方法，其特征在于：構建無向圖，將所述掩模圖中的每一個像素的分割參數映射到所述無向圖中，包括：構建一個無向圖，在所述無向圖的平面外設置兩個懸空點Q0和Q1，所述懸空點Q0為虛擬前景點，所述懸空點Q1為虛擬背景點；在所述無向圖的平面上建立所述掩模圖上各個像素的映射點，在前景點的映射點與所述懸空點Q0之間建立連線，在背景點的映射點與所述懸空點Q1之間建立連線；對掩模圖中的任意一個像素Pi，將所述像素Pi的區域項分割參數作為所述無向圖中映射點Pi'的權值，將所述像素Pi的邊界項分割參數作為所述無向圖中映射點Pi'與懸空點Q0或Q1之間連線的權值。5.根據權利要求4所述的方法，其特征在于：所述根據最小割-最大流算法對所述無向圖進行處理，獲得精細分割后的掩...

【專利技術屬性】
技術研發人員：梁舟，
申請(專利權)人：努比亞技術有限公司，
類型：發明
國別省市：廣東,44