本發明專利技術涉及計算機視覺、圖像處理及模式識別等技術領域，具體涉及一種基于約束譜聚類和馬爾科夫隨機場的視頻圖像分割方法。本發明專利技術利用圖像靜態特征計算像素間的相似度矩陣，將運動特征作為約束加入譜聚類框架中，相比傳統的簡單加權的方法，本發明專利技術的處理方法更好的利用了這兩種不同可靠度的信息；此外，由于將運動信息編碼作為約束，只需要稀疏的點運動軌跡，因此可以利用可靠的長時運動信息，得到準確稠密的分割結果；進一步的，本發明專利技術通過構建一個馬爾科夫隨機場模型，將像素的空間平滑信息編碼成相應的約束，使視頻圖像分割效果更加精準。
【技術實現步驟摘要】
本專利技術涉及計算機視覺、圖像處理及模式識別等
，具體涉及一種。
技術介紹
視頻分割是指 將視頻序列按其特征劃分成一些互不重疊的時空區域的一種技術。視頻分割是計算機視覺的一種關鍵技術，是視頻監控、人機交互以及視頻編輯等多種應用的基礎。視頻分割的基礎是靜止圖像分割。大部分靜止圖像分割技術都以自底向上的方式進行，它們通過檢測邊界或者依據色彩、紋理等特征對像素聚類，從而達到分割的目的。但是由于圖像底層特征和物體模型之間的巨大語義鴻溝，對靜止圖像進行分割很難得到用戶希望的結果。相比于靜止圖像，視頻由于包含了運動信息，其能在很大程度上消除底層特征和物體模型之間的語義鴻溝，因此視頻分割往往能得到更為準確的結果。進行視頻分割的關鍵是如何利用運動信息。早期的研究大多假設背景是靜止的，從而可以利用像素顏色隨時間的變化來檢測運動前景目標；稍后的研究嘗試將幀間光流(即圖像像素的運動矢量場)作為特征對圖像像素進行聚類，其不需要靜止背景的假設，但缺點是只能利用相連兩幀間的運動信息；從上個世紀90年代末期開始，研究者們考慮從視頻中提取長時特征點軌跡，并通過運動分析對其進行聚類，相比光流法，其能利用更為豐富的運動信息，但其缺點是特征點往往過于稀疏，從而無法得到完整的分割結果，此外，其對顏色紋理等靜態信息沒有加以利用。在已有的基于幀間光流或長時特征點軌跡的視頻分割方法中，譜聚類方法由于能在任意形狀樣本空間上聚類并能得到近似的全局最優解，是目前應用最廣的一類像素(或特征點)聚類算法。譜聚類建立在譜圖理論基礎上，其原理是將圖像中每個像素當作圖的頂點，再計算像素點間的相似度，并將其作為圖的頂點間邊的權重，從而將圖像分割問題轉化為圖的劃分問題。傳統的基于譜聚類進行視頻分割的相關方法往往只利用運動信息或對運動信息和靜態信息進行簡單加權用于分割，不能對視頻圖像的靜態特征(如顏色和紋理等)和運動特征兩種不同可靠度的信息加以很好的利用，得不到準確的稠密的分割結果。
技術實現思路
(一)要解決的技術問題本專利技術的目的在于提供一種，對于視頻圖像的靜態特征(如顏色和紋理等)和運動特征采用不同處理方法，以得到準確稠密的分割結果；進一步的，本專利技術對圖像的空間平滑信息加以利用，以得到更為精準的分割效果。(二)技術方案本專利技術技術方案如下一種，包括步驟SI.利用光流法從視頻圖像中提取部分像素點的點的長時運動軌跡，根據所述點軌跡信息構建運動約束；S2.構建像素相似度矩陣；S3.結合所述運動約束以及像素相似度矩陣，構建譜聚類分割模型并求解得到初步分割結果；S4.構建空間平滑約束；S5.結合所述初步分割結果以及空間平滑約束，構建馬爾科夫隨機場模型并求解得到最終分割結果。優選的，所述步驟S I包括步驟S101.從視頻圖像中采樣部分像素點并提取這些點的軌跡記這些像素點組成的集合為cp，記第i個點在第t幀圖像中坐標為權利要求1.一種，其特征在于，包括步驟 51.利用光流法從視頻圖像中提取部分像素點的長時運動軌跡，根據所述軌跡信息構建運動約束； 52.構建像素相似度矩陣； 53.結合所述運動約束以及像素相似度矩陣，構建譜聚類分割模型并求解得到初步分割結果； 54.構建空間平滑約束； 55.結合所述初步分割結果以及空間平滑約束，構建馬爾科夫隨機場模型并求解得到最終分割結果。2.根據權利要求I所述的視頻圖像分割方法，其特征在于，所述步驟SI包括步驟 5101.從視頻圖像中采樣部分像素點，并利用光流法提取這些點的軌跡記這些像素點組成的集合為CP，記第i個點在第t幀圖像中坐標為3.根據權利要求2所述的視頻圖像分割方法，其特征在于，所述η=5;所述步驟S102中使用的聚類方法為K均值聚類法。4.根據權利要求2或3所述的視頻圖像分割方法，其特征在于，所述步驟S2包括步驟 5201.分別計算視頻圖像中任意兩個像素點第i個像素和第j個像素的相似度Wij，其構成的圖像像素相似度矩陣記為W。5.根據權利要求4所述的視頻圖像分割方法，其特征在于，所述步驟S2在步驟S201之后還包括步驟 5202.求取所述圖像像素相似度矩陣W的拉普拉斯矩陣，記為Lsym；5203.求取所述Lsym的各個特征值Xi和其對應的特征向量Ui，其中O=X1彡\2(···^入N。6.根據權利要求5所述的視頻圖像分割方法，其特征在于，所述步驟S202具體為圖像像素相似度矩陣W的拉普拉斯矩陣λ =D H7.根據權利要求5或6所述的視頻圖像分割方法，其特征在于，所述步驟S3包括步驟 5302.對所得的X作如下處理8.根據權利要求7所述的視頻圖像分割方法，其特征在于，所述步驟S4包括步驟9.根據權利要求8所述的視頻圖像分割方法，其特征在于，所述步驟S5包括步驟s501.構建最終的分割目標函數10.根據權利要求9所述的視頻圖像分割方法，其特征在于，所述步驟S502中通過快速原-對偶方法求解^的值。全文摘要本專利技術涉及計算機視覺、圖像處理及模式識別等
，具體涉及一種。本專利技術利用圖像靜態特征計算像素間的相似度矩陣，將運動特征作為約束加入譜聚類框架中，相比傳統的簡單加權的方法，本專利技術的處理方法更好的利用了這兩種不同可靠度的信息；此外，由于將運動信息編碼作為約束，只需要稀疏的點運動軌跡，因此可以利用可靠的長時運動信息，得到準確稠密的分割結果；進一步的，本專利技術通過構建一個馬爾科夫隨機場模型，將像素的空間平滑信息編碼成相應的約束，使視頻圖像分割效果更加精準。文檔編號G06T7/20GK102938153SQ20121047620公開日2013年2月20日 申請日期2012年11月21日 優先權日2012年11月21日專利技術者周杰, 胡瀚, 馮建江, 喻川, 張昊飏 申請人:清華大學本文檔來自技高網...
【技術保護點】
一種基于約束譜聚類和馬爾科夫隨機場的視頻圖像分割方法，其特征在于，包括步驟：S1.利用光流法從視頻圖像中提取部分像素點的長時運動軌跡，根據所述軌跡信息構建運動約束；S2.構建像素相似度矩陣；S3.結合所述運動約束以及像素相似度矩陣，構建譜聚類分割模型并求解得到初步分割結果；S4.構建空間平滑約束；S5.結合所述初步分割結果以及空間平滑約束，構建馬爾科夫隨機場模型并求解得到最終分割結果。
【技術特征摘要】
【專利技術屬性】
技術研發人員：周杰，胡瀚，馮建江，喻川，張昊飏，
申請(專利權)人：清華大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。