The invention discloses a method, a device and a terminal for realizing interactive image segmentation. The method comprises the following steps: applying trajectory as the skeleton growth marking area, determine the area contains labeled regions of interest, image segmentation algorithm input mask pattern: mark region in the foreground pixels as mask image, pixel region of interest will mark outside the region as the background point in mask image according to the color map; and mask map to determine the first segmentation parameters of each pixel, according to the depth map and the mask pattern to determine each pixel second segmentation parameters, two kinds of segmentation parameter fusion; segmentation parameter mapping fusion of each pixel of the undirected graph, according to the minimum cut maximum flow algorithm no treatment mask image after segmentation to obtain a fine figure of the color image segmentation, from the fine segmentation mask patterns corresponding to the foreground image. This paper can shorten the running time of the algorithm, and combine the depth information of the image to improve the effect of image segmentation.
【技術(shù)實(shí)現(xiàn)步驟摘要】
一種實(shí)現(xiàn)交互式圖像分割的方法、裝置及終端
本專利技術(shù)涉及圖像處理
,尤其涉及一種實(shí)現(xiàn)交互式圖像分割的方法、裝置及終端。
技術(shù)介紹
圖像分割,是指將平面圖像依照顏色、紋理、形狀等特征將其劃分為互不相連的若干區(qū)域,這是圖像處理領(lǐng)域的一項(xiàng)實(shí)用的基礎(chǔ)技術(shù)。現(xiàn)有的圖像分割技術(shù)有基于閾值的分割方法、基于邊緣的分割方法、基于區(qū)域的分割方法、基于能量泛函的分割方法、基于圖論的分割方法等。其中在圖論方法里比較知名的有GraphCut算法及其改進(jìn)版本GrabCut算法。GraphCut算法及其改進(jìn)版本GrabCut算法,是基于區(qū)域標(biāo)注的交互式圖像分割方法。GraphCut算法是基于馬爾可夫隨機(jī)場(chǎng)(MarkovRandomField,MRF)能量最小化框架的一種算法,優(yōu)點(diǎn)在于可以結(jié)合多種理論知識(shí)進(jìn)行全局最優(yōu)求解。GrabCut算法是對(duì)GraphCut算法的改進(jìn),GrabCut算法通過(guò)在原始圖像上標(biāo)注出前景點(diǎn)(要提取的目標(biāo)對(duì)象上的點(diǎn))和背景點(diǎn)生成掩模圖,利用原圖和掩模圖對(duì)前景、背景顏色空間建立高斯混合模型(GaussianMixtureModel,GMM),利用GMM參數(shù)學(xué)習(xí)、估計(jì)過(guò)程中可進(jìn)化的迭代算法完成能量最小化,判決出圖像中的前景點(diǎn)和背景點(diǎn),從原圖中提取出由前景點(diǎn)像素組成的目標(biāo)圖像。在手機(jī)上使用GrabCut算法進(jìn)行圖像分割時(shí),為了降低交互的復(fù)雜性,通常對(duì)用戶如何標(biāo)記不做嚴(yán)格要求,因此,在用戶標(biāo)記的前景點(diǎn)較少的情況下迭代次數(shù)可能很多,算法運(yùn)行時(shí)間較長(zhǎng),影響了用戶的體驗(yàn)。另一方面,相關(guān)技術(shù)中的GrabCut算法是基于彩色圖像進(jìn)行圖像分割的,當(dāng)要提取的目標(biāo)對(duì)象的顏色特征并 ...
【技術(shù)保護(hù)點(diǎn)】
一種實(shí)現(xiàn)交互式圖像分割的方法,包括:檢測(cè)到原始圖像上的涂抹軌跡后,將所述涂抹軌跡作為骨架生長(zhǎng)成標(biāo)記區(qū),確定包含所述涂抹軌跡的一塊區(qū)域作為感興趣區(qū)域,所述感興趣區(qū)域包含所述標(biāo)記區(qū),生成圖像分割算法的輸入掩模圖:將所述標(biāo)記區(qū)中所有的像素作為所述掩模圖中的前景點(diǎn),將所述感興趣區(qū)域中標(biāo)記區(qū)外的像素作為所述掩模圖中的背景點(diǎn);獲取包含目標(biāo)對(duì)象顏色信息的彩色圖和包含目標(biāo)對(duì)象深度信息的深度圖,根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個(gè)像素的第一分割參數(shù),根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個(gè)像素的第二分割參數(shù),所述第一分割參數(shù)和第二分割參數(shù)用于表示像素判決為前景點(diǎn)或背景點(diǎn)的概率以及所述像素與相鄰像素的數(shù)值差異;將所述第一分割參數(shù)與所述第二分割參數(shù)進(jìn)行融合;構(gòu)建無(wú)向圖,將所述掩模圖中的每一個(gè)像素的融合后的分割參數(shù)映射到所述無(wú)向圖中,根據(jù)最小割?最大流算法對(duì)所述無(wú)向圖進(jìn)行處理,獲得精細(xì)分割后的掩模圖;從所述彩色圖中分割出所述精細(xì)分割后的掩模圖中前景點(diǎn)對(duì)應(yīng)的圖像。
【技術(shù)特征摘要】
1.一種實(shí)現(xiàn)交互式圖像分割的方法,包括:檢測(cè)到原始圖像上的涂抹軌跡后,將所述涂抹軌跡作為骨架生長(zhǎng)成標(biāo)記區(qū),確定包含所述涂抹軌跡的一塊區(qū)域作為感興趣區(qū)域,所述感興趣區(qū)域包含所述標(biāo)記區(qū),生成圖像分割算法的輸入掩模圖:將所述標(biāo)記區(qū)中所有的像素作為所述掩模圖中的前景點(diǎn),將所述感興趣區(qū)域中標(biāo)記區(qū)外的像素作為所述掩模圖中的背景點(diǎn);獲取包含目標(biāo)對(duì)象顏色信息的彩色圖和包含目標(biāo)對(duì)象深度信息的深度圖,根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個(gè)像素的第一分割參數(shù),根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個(gè)像素的第二分割參數(shù),所述第一分割參數(shù)和第二分割參數(shù)用于表示像素判決為前景點(diǎn)或背景點(diǎn)的概率以及所述像素與相鄰像素的數(shù)值差異;將所述第一分割參數(shù)與所述第二分割參數(shù)進(jìn)行融合;構(gòu)建無(wú)向圖,將所述掩模圖中的每一個(gè)像素的融合后的分割參數(shù)映射到所述無(wú)向圖中,根據(jù)最小割-最大流算法對(duì)所述無(wú)向圖進(jìn)行處理,獲得精細(xì)分割后的掩模圖;從所述彩色圖中分割出所述精細(xì)分割后的掩模圖中前景點(diǎn)對(duì)應(yīng)的圖像。2.根據(jù)權(quán)利要求1所述的方法,其特征在于:根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個(gè)像素的第一分割參數(shù),包括:根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個(gè)像素的第一區(qū)域項(xiàng)分割參數(shù):按EM方法進(jìn)行高斯混合模型GMM計(jì)算,所述EM方法包括E步驟和M步驟;迭代運(yùn)行E步驟和M步驟,在所述迭代運(yùn)行達(dá)到收斂條件后停止所述迭代過(guò)程;將最后一次執(zhí)行M步驟獲得的所述像素的分類確定為所述像素的分類,將最后一次執(zhí)行M步驟獲得的所述像素歸屬于某個(gè)簇的最大概率值Pmax確定為所述像素的第一區(qū)域項(xiàng)分割參數(shù),所述第一區(qū)域項(xiàng)分割參數(shù)是所述像素基于所述彩色圖判決為前景點(diǎn)或背景點(diǎn)的概率;其中,所述E步驟和M步驟分別包括以下處理:E步驟:根據(jù)所述掩模圖上各個(gè)像素的顏色值以及像素之間的位置關(guān)系通過(guò)聚簇將同種類型的像素聚成一個(gè)或多個(gè)簇,確定各個(gè)簇的GMM模型;其中,像素的分類包括前景點(diǎn)或背景點(diǎn);簇的分類包括前景點(diǎn)簇或背景點(diǎn)簇;M步驟:根據(jù)各個(gè)簇的GMM模型確定每一個(gè)像素歸屬于各個(gè)簇的概率,對(duì)任意一個(gè)像素,根據(jù)所述像素的最大概率值Pmax對(duì)應(yīng)的簇確定所述像素的分類;根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個(gè)像素的第二分割參數(shù),還包括:根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個(gè)像素的第二區(qū)域項(xiàng)分割參數(shù):按EM方法進(jìn)行高斯混合模型GMM計(jì)算,所述EM方法包括E步驟和M步驟;迭代運(yùn)行E步驟和M步驟,在所述迭代運(yùn)行達(dá)到收斂條件后停止所述迭代過(guò)程;將最后一次執(zhí)行M步驟獲得的所述像素的分類確定為所述像素的分類,將最后一次執(zhí)行M步驟獲得的所述像素歸屬于某個(gè)簇的最大概率值Pmax確定為所述像素的第二區(qū)域項(xiàng)分割參數(shù),所述第二區(qū)域項(xiàng)分割參數(shù)是所述像素基于所述深度圖判決為前景點(diǎn)或背景點(diǎn)的概率;其中,所述E步驟和M步驟分別包括以下處理:E步驟:根據(jù)所述掩模圖上各個(gè)像素的深度值以及像素之間的位置關(guān)系通過(guò)聚簇將同種類型的像素聚成一個(gè)或多個(gè)簇,確定各個(gè)簇的GMM模型;其中,像素的分類包括前景點(diǎn)或背景點(diǎn);簇的分類包括前景點(diǎn)簇或背景點(diǎn)簇;M步驟:根據(jù)各個(gè)簇的GMM模型確定每一個(gè)像素歸屬于各個(gè)簇的概率,對(duì)任意一個(gè)像素,根據(jù)所述像素的最大概率值Pmax對(duì)應(yīng)的簇確定所述像素的分類。3.根據(jù)權(quán)利要求2所述的方法,其特征在于:根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個(gè)像素的第一分割參數(shù),還包括:根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個(gè)像素的第一邊界項(xiàng)分割參數(shù):根據(jù)所述像素與相鄰像素的顏色差異確定所述像素的第一邊界項(xiàng)分割參數(shù);其中,對(duì)任意一個(gè)像素,將RGB三個(gè)顏色通道上所述像素與鄰近的各個(gè)像素之間的數(shù)值差值絕對(duì)值進(jìn)行累加,再對(duì)累加和進(jìn)行歸一化處理,得到歸一化后的累加和作為所述像素的第一邊界項(xiàng)分割參數(shù);根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個(gè)像素的第二分割參數(shù),還包括:根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個(gè)像素的第二邊界項(xiàng)分割參數(shù):根據(jù)所述像素與相鄰像素的深度值差異確定所述像素的第二邊界項(xiàng)分割參數(shù);其中,對(duì)任意一個(gè)像素,將所述像素與鄰近的各個(gè)像素之間的深度值差值絕對(duì)值進(jìn)行累加,再對(duì)累加和進(jìn)行歸一化處理,得到歸一化后的累加和作為所述像素的第二邊界項(xiàng)分割參數(shù)。4.根據(jù)權(quán)利要求3所述的方法,其特征在于:將所述第一分割參數(shù)與所述第二分割參數(shù)進(jìn)行融合,包括:將所述第一區(qū)域項(xiàng)分割參數(shù)與所述第二區(qū)域項(xiàng)分割參數(shù)進(jìn)行融合:對(duì)任意一個(gè)像素,將所述第一區(qū)域項(xiàng)分割參數(shù)乘以權(quán)重(1-a)得到調(diào)整后的第一區(qū)域項(xiàng)分割參數(shù),將所述第二區(qū)域項(xiàng)分割參數(shù)乘以權(quán)重a得到調(diào)整后的第二區(qū)域項(xiàng)分割參數(shù);如果所述第一區(qū)域項(xiàng)分割參數(shù)指示的像素分類與所述第二區(qū)域項(xiàng)分割參數(shù)指示的像素分類相同,則將所述調(diào)整后的第一區(qū)域項(xiàng)分割參數(shù)與所述調(diào)整后的第二區(qū)域項(xiàng)分割參數(shù)相加的和作為融合后的區(qū)域項(xiàng)分割參數(shù);如果所述第一區(qū)域項(xiàng)分割參數(shù)指示的像素分類與所述第二區(qū)域項(xiàng)分割參數(shù)指示的像素分類不相同,則將所述調(diào)整后的第一區(qū)域項(xiàng)分割參數(shù)與所述調(diào)整后的第二區(qū)域項(xiàng)分割參數(shù)中數(shù)值較大者指示的像素分類作為所述像素的最終分類,將所述調(diào)整后的第一區(qū)域項(xiàng)分割參數(shù)與所述調(diào)整后的第二區(qū)域項(xiàng)分割參數(shù)的差值的絕對(duì)值作為融合后的區(qū)域項(xiàng)分割參數(shù);將所述第一分割參數(shù)與所述第二分割參數(shù)進(jìn)行融合,還包括:將所述第一邊界項(xiàng)分割參數(shù)與所述第二邊界項(xiàng)分割參數(shù)進(jìn)行融合:將所述第一邊界項(xiàng)分割參數(shù)乘以權(quán)重(1-a)得到調(diào)整后的第一邊界項(xiàng)分割參數(shù),將所述第二邊界項(xiàng)分割參數(shù)乘以權(quán)重a得到調(diào)整后的第二邊界項(xiàng)分割參數(shù),然后將所述調(diào)整后的第一邊界項(xiàng)分割參數(shù)與所述調(diào)整后的第二邊界項(xiàng)分割參數(shù)...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員:梁舟,
申請(qǐng)(專利權(quán))人:努比亞技術(shù)有限公司,
類型:發(fā)明
國(guó)別省市:廣東,44
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。