基于SURF算法和合并最大相似區(qū)域的視頻前景分割方法技術

本發(fā)明專利技術涉及一種基于SURF算法和合并最大相似區(qū)域的視頻前景分割方法，該方法針對亮度變化的靜態(tài)場景視頻設計了一種前景分割算法，包括四個步驟：（1）首先求取當前幀的梯度標記，然后對極小修正后的梯度圖像進行標記分水嶺變換，從而得到初始分割結果；（2）通過Surf特征點匹配操作及制定的規(guī)則確定當前幀的前景和背景標記；（3）根據區(qū)域最大相似度和區(qū)域標記對初始分割結果做區(qū)域合并；（4）如果結果不精確，采用基于區(qū)域標記交互式修改的方式對自動分割結果進行糾正。較之傳統(tǒng)的視頻分割方法，本發(fā)明專利技術提出的方法對光照變化及噪聲等有較強的魯棒性，在視頻對象分割的精度、效率以及降低用戶交互量上，都有一定的提高，具有工程應用價值。

【技術實現步驟摘要】
基于SURF算法和合并最大相似區(qū)域的視頻前景分割方法
本專利技術涉及視頻處理及計算機視覺領域，特別涉及一種基于SURF(Speeded-UpRobustFeatures，快速魯棒特征提取)算法和合并最大相似區(qū)域的視頻前景分割方法。
技術介紹
視頻序列中的前景分割一直是計算機視覺領域的研究熱點，它是目標定位、目標識別以及視頻修復的基礎，能否完整準確的分割對象，直接關系到后續(xù)工作的開展。伴隨著視頻分割技術的發(fā)展，已經有較多優(yōu)秀的前景分割技術和理論產生。視頻的前景分割有幾種流行的方法，分別是幀差法、光流法、基于統(tǒng)計的學習方法以及背景差分法。幀差法主要是利用相鄰兩幀做差的方式求取運動的前景，計算較為簡單，分割效果也相對穩(wěn)定，但只能檢測發(fā)生相對運動的前景，很難獲得完整的前景目標。光流法采用運動參數估計，建立相應的模型，此種方法能夠在沒有充分獲得場景信息的情況下檢測前景目標，但缺點是要求亮度恒定，而且計算機量大。基于統(tǒng)計學習的方法把視頻序列看成是隨機過程進行分析，把視頻幀的改變表征為隨機場中參數的變化，通過檢測參數變化來判斷運動的前景，此種方法具有較強的抗噪能力，但需要大量的學習樣本。背景差分法是先通過多幅圖像建立背景圖，然后在后續(xù)的前景分割時，只需選定任意幀與背景圖做差即可得到前景，此種方法算法思想較為簡單，但對環(huán)境變化較為敏感。
技術實現思路
本專利技術提供了一種結合空間域和時間域信息的視頻前景分割方法，能夠提高視頻前景分割的精度和效率。為達到上述目的，本專利技術采用如下的技術方案：一種基于SURF算法和合并最大相似區(qū)域的視頻前景分割方法，包含以下操作步驟：步驟1：通過標記分水嶺變換和尺度參數的設定對視頻中選定幀進行初步分割；步驟2：通過當前幀和參考幀的SURF特征點匹配確定圖像中的運動目標，并通過制定規(guī)則完成對初始分割區(qū)域的標記；步驟3：利用區(qū)域標記和相鄰區(qū)域間的最大相似度，通過改進的MSRM(MaximalSimilaritybasedRegionMerging，基于最大相似度的區(qū)域合并)算法對初始分割結果做區(qū)域合并操作，完成視頻序列中一幀的前景分割；步驟4：對自動分割結果進行交互式的糾正，通過手動選中區(qū)域的方式來增加或減少前景和背景標記，然后重新執(zhí)行步驟3，完成區(qū)域合并。所述步驟1的標記分水嶺分割包括如下操作：(1)計算當前幀的彩色梯度幅值圖像；所述彩色梯度幅值圖像計算表達式如下：式中是彩色梯度圖像，B表示所選的結構元素，代表提取最大值，即分別計算三個通道對應原始圖像的形態(tài)學梯度，選擇最大的分量梯度作為彩色圖像的梯度。(2)對梯度幅值圖像進行二階巴特沃斯低通濾波，把濾波器中的截止頻率作為可調節(jié)尺度參數；所述二階巴特沃斯低通濾波器表達式如下：H(u,v)＝1/(1+(D(u,v)/D0)2n)式中D(u,v)是頻率域中點(u,v)與頻率矩形中心的距離，濾波器的截止頻率D0不宜過小，如果過小的話，會破壞圖像的邊緣信息。利用二階巴特沃斯低通濾波器(BLPF-2)對梯度圖像進行濾波操作得到其低頻成分。(3)對濾波后的梯度圖像進行擴展極小值運算，得到二值標記圖像，把運算中的極小閾值作為另一個可調節(jié)的尺度參數；所述擴展極小值變換表達式如下：式中為經過二階巴特沃斯濾波后的彩色梯度圖像，Mark代表經過標記的梯度圖像，Emin()代表形態(tài)學的擴展極小值變換，h是極小閾值；擴展極小值是消除與其鄰域像素亮度之差小于給定閾值h的極小值，而標記與其鄰域像素亮度之差大于給定閾值h的極小值的運算。(4)用形態(tài)學強制極小標定運算修正梯度圖像；所述形態(tài)學強制極小標定運算表達式如下：式中IMmin()代表形態(tài)學極小值標定運算操作，表示修正后的梯度圖像。(5)對修正后的梯度圖像做分水嶺變換，得到初步分割的結果。所述分水嶺變換表達式如下：式中fWS表示圖像區(qū)域分割結果，WTS()表示分水嶺的分割變換算子。所述步驟2的區(qū)域標記包括如下操作：(1)在時間域上，從視頻序列中選取與當前幀有一定間距的參考幀，可根據視頻類型手動輸入，其默認值為相隔10幀；(2)采用SURF方法分別提取當前幀與參考幀中的特征點，并采用最近鄰匹配得到兩幀圖像的匹配點對；(3)在當前幀中，如果其SURF特征點與參考幀中匹配點間的空間位移不超過一個像素單位，則選為背景特征點；(4)在當前幀中，如果其SURF特征點與參考幀中匹配點間的距離小于閾值T，且空間位移不超過一定范圍，則選為前景特征點；其中T在0.7～1.0之間取值，位移與所選參考幀有關，可根據視頻類型手動輸入，默認值為視頻寬度的20％；(5)對初始分割結果中的區(qū)域進行標記，如果區(qū)域中有至少一個背景特征點，則此區(qū)域設定為背景標記區(qū)域，如果區(qū)域中有至少一個前景特征點，則此區(qū)域設定為前景標記區(qū)域，如果區(qū)域中背景和前景特征點均存在，取數量多的，若數量相同，此區(qū)域不做標記。所述步驟3的區(qū)域合并包括如下操作：(1)建立初始分割區(qū)域的鄰接圖(RegionAdjacencyGraph，RAG)，RAG的結點存放區(qū)域的彩色直方圖，RAG的邊存放相鄰區(qū)域的相似度；所述相似度計算表達式如下：式中ρ(Ri,Rj)是Ri和Rj區(qū)域的巴氏系數，它也表示兩相鄰區(qū)域的相似度，和是兩個區(qū)域在第i個分隔區(qū)域的歸一化直方圖。(2)對初始分割結果中每一個背景標記區(qū)域進行操作，如果該區(qū)域的鄰域是未標記區(qū)域，且二者之間的相似度是該未標記區(qū)域與其所有鄰域相似度中最大的，則合并這兩個區(qū)域，記新區(qū)域為背景標記區(qū)域，重復此過程，直至找不到新的合并對象；(3)對初始分割結果中每一個未標記區(qū)域進行操作，如果該區(qū)域的鄰域有未標記區(qū)域且二者之間的相似度最大，則合并這兩個區(qū)域，記新區(qū)域仍為未標記區(qū)域，重復此過程，直至不再發(fā)生區(qū)域合并；(4)重復上述(2)和(3)兩步操作，直至無區(qū)域合并操作發(fā)生，區(qū)域合并結束，剩下一個前景標記區(qū)域，即為視頻幀的前景，另一個為背景標記區(qū)域，即為視頻幀的背景，至此，前景自動分割操作結束。附圖說明圖1是本專利技術基于SURF算法和合并最大相似區(qū)域的視頻前景分割方法的流程圖。圖2是本方法中步驟1的詳細計算流程框圖。圖3是本方法中步驟2的詳細計算流程框圖。圖4是本方法中步驟3的詳細計算流程框圖。圖5是實施例中所選定的當前幀。圖6是采用步驟1對當前幀操作后得到的初始分割結果。圖7是當前幀與參考幀中前景的SURF特征點匹配結果。圖8是當前幀與參考幀中背景的SURF特征點匹配結果。圖9是對待合并區(qū)域進行標記后的結果。圖10是采用步驟1-3操作后對當前幀前景的分割結果。圖11是交互式修改后的區(qū)域標記結果。圖12是當前幀的最終前景分割結果。圖13是分割結果的二值圖像。具體實施方式以下結合附圖對本專利技術的實施例進行詳細的說明：參見圖1至圖4，一種基于SURF算法和合并最大相似區(qū)域的視頻前景分割方法，包含以下操作步驟：步驟1：(1)讀入視頻序列，本例序列為靜態(tài)背景，即背景保持不變，前景運動；本例視頻序列經過人為修改后，幀序列之間亮度是變化的。(2)隨機選擇一幀作為測試的當前幀，如圖5所示，幀圖像大小為288×352，接下來的任務就是把目標對象從視頻中提取出來。(3)采用標記分水嶺變換對當前幀進行初步分割，具體的實施步驟分為計算梯度幅值圖像、二階巴特沃斯低通濾波、擴展極小值運算、形本文檔來自技高網...

【技術保護點】
一種基于SURF算法和合并最大相似區(qū)域的視頻前景分割方法，其特征在于，包含以下操作步驟：步驟1：通過標記分水嶺變換和尺度參數的設定對視頻中選定幀進行初步分割；步驟2：通過當前幀和參考幀的SURF特征點匹配確定圖像中的運動目標，并通過制定規(guī)則完成對初始分割區(qū)域的標記；步驟3：利用區(qū)域標記和相鄰區(qū)域間的最大相似度，通過改進的MSRM算法對初始分割結果做區(qū)域合并操作，完成視頻序列中一幀的前景分割；步驟4：對自動分割結果進行交互式的糾正，通過手動選中區(qū)域的方式來增加或減少前景和背景標記，然后重新執(zhí)行步驟3，完成區(qū)域合并。

【技術特征摘要】
1.一種基于SURF算法和合并最大相似區(qū)域的視頻前景分割方法，其特征在于，包含以下操作步驟：步驟1：通過標記分水嶺變換和尺度參數的設定對視頻中選定幀進行初始分割，并且將濾波器中的截止頻率運算中的極小閾值作為可調節(jié)的尺度參數來達到對視頻中選定幀進行初步分割；步驟2：通過當前幀和參考幀的SURF特征點匹配確定圖像中的運動目標，并通過制定規(guī)則完成對初始分割區(qū)域的標記，并且采用最近鄰匹配進行特征匹配，其中通過比較參考幀和當前幀的距離來進行初始分割區(qū)域標記，進行制定規(guī)則；步驟3：利用區(qū)域標記和相鄰區(qū)域間的最大相似度，通過改進的MSRM算法對初始分割區(qū)域做區(qū)域合并操作，完成視頻序列中一幀的前景分割；步驟4：對自動分割結果進行交互式的糾正，通過手動選中區(qū)域的方式來增加或減少前景和背景標記，然后重新執(zhí)行步驟3，完成區(qū)域合并；所述步驟2的初始分割區(qū)域標記包括如下操作：(1)在時間域上，從視頻序列中選取與當前幀有一定間距的參考幀，根據視頻類型手動輸入，一定間距默認值為相隔10幀；(2)采用SURF方法分別提取當前幀與參考幀中的特征點，并采用最近鄰匹配得到兩幀圖像的匹配點對；(3)在當前幀中，如果其SURF特征點與參考幀中匹配點間的空間位移不超過一個像素單位，則選為背景特征點；(4)在當前幀中，如果其SURF特征點與參考幀中匹配點間的距離小于閾值T，且空間位移不超過一定范圍，則選為前景特征點，其中T在0.7～1.0之間取值，而空間位移與所選參考幀有關，根據視頻類型手動輸入，空間位移值為視頻寬度的20％；(5)對初始分割區(qū)域進行標記，如果區(qū)域中只有背景特征，則此區(qū)域設定為背景標記區(qū)域，如果區(qū)域中只有前景特征...

【專利技術屬性】
技術研發(fā)人員：丁友東，于冰，黃東晉，謝志峰，吳兵，唐鵬斌，黃曦，
申請(專利權)人：上海大學，
類型：發(fā)明
國別省市：上海;31