本發明專利技術提出了一種基于流形學習的鏡頭分割方法。該方法利用流形降維對視頻中的每個幀進行降維，求出每兩幀的相關系數，利用其構成一個權重矩陣；再從視頻中任選一個查詢幀，求出視頻中和查詢幀相關的和不相關的視頻幀集合，根據這兩個視頻幀集合生成相應的權重矩陣；從而根據這三個權重矩陣，得到流形降維的變換矩陣，將視頻幀序列中的每個視頻幀通過所得的變換矩陣即得到原視頻的低維特征。最后，通過對這些低維特征之間歐氏距離比較對視頻進行鏡頭分割。實驗結果表明，本發明專利技術中提出的方法可以很好地實現視頻鏡頭分割。
【技術實現步驟摘要】
本專利技術涉及一種，屬于基于內容的視頻檢索
技術介紹
隨著多媒體技術和網絡技術的飛速發展，人們在各種場合通過各種渠道接收到越來越多的視頻。視頻攜帶的信息量遠遠大于文本等數據格式，具有具體、生動、確切、高效等優點。但是由于視頻數據增多，如何在海量視頻中尋找感興趣的內容，具有十分重要的意義。基于內容的視頻檢索(Content-based Video Retrieval, CBVR)系統正是在這種情況下產生的，并且成為近年來的研究熱點，而對視頻的鏡頭分割是視頻處理的第一步也是最重要的一步。視頻鏡頭是由同一攝像機連續攝取的一系列相互關聯的幀，代表了一個連續的動作，被視為視頻檢索的基本單兀。只有把視頻序列分解為鏡頭，才能有效的進行關鍵巾貞提取、視頻縮略、視頻序列辨識等工作。傳統的方法都是提取視頻幀的底層特征來進行鏡頭分割，雖然可以取得不錯的效果，但是不能對分割之后可能進行的形成視頻摘要、提取關鍵幀、視頻檢索等提供更好的效果。我們的方法力求不但能夠提取可以進行有效地視頻鏡頭分割的特征，而且還可以在后續的處理中獲得更好的效果。
技術實現思路
為克服傳統鏡頭分割方法的局限性，本專利技術提出一種，該方法利用流形降維對視頻中的每個幀進行降維，求出每兩幀的相關系數，利用其構成一個權重矩陣；再從視頻中任選一個查詢幀，求出視頻中和查詢幀相關的和不相關的視頻幀集合，根據這兩個視頻幀集合生成相應的權重矩陣；從而根據這三個權重矩陣，得到流形降維的變換矩陣，將原視頻中的每個視頻通過所得的變換矩陣即得到原視頻的低維特征。 最后，通過對這些低維特征之間歐氏距離比較對視頻進行鏡頭分割。本專利技術著眼于采用低維特征進行視頻分析，在進行完視頻分割之后，也可以對后續的視頻摘要、視頻檢索等提供有效的參考。實驗結果表明，文中提出的方法可以很好地實現視頻鏡頭分表1]。附圖說明圖I是本專利技術方法的框架圖2是實驗用視頻示例；圖3是將本專利技術應用到一段太極拳視頻中的所有視頻幀和查詢幀之間的距離曲線圖4是太極拳視頻中的相鄰幀間的距離差值圖和閾值曲線圖(其中帶有標號的幀是鏡頭出現變化的幀);3圖5是太極拳視頻鏡頭變化處的視頻幀。具體實施方式下面結合附圖與實施例對本專利技術作進一步說明。實驗中采用了包括紀錄片、新聞、體育、動畫等在內的視頻，圖2依次展示了(a)體育、(b)紀錄片、(c)新聞、(d)商業片、(e)人文、(f)卡通、(g)公共服務、(h)軍事、(i)MV、 (j)其他類等10種視頻的視頻。視頻長度全部為10秒以上。在實驗中，我們選擇每個視頻的第一幀作為查詢幀。圖I給出了本專利技術方法的框架圖，按所示流程，包括如下具體步驟以乂= {Xl, X2, , xj表示整個視頻，其中m為視頻的幀數，每個視頻幀的維數為Πο(I)根據下面的方法構造權重矩陣Ws 權利要求1.一種，包括以下步驟(I)WX= {Xl, X2, , XmI表示整個視頻，其中m為視頻的幀數，每個視頻幀的維數為 n，根據下面的方法構造權重矩陣Ws 這里的Φ (Xi, Xj)是視頻巾貞Xi和Xj的相關系數，k-NN表示通過k近鄰方法選取的與指定視頻巾貞相關系數最大的k個對應視頻巾貞；(2)構建另外兩個權重矩陣，Wn和Wp 給出一個查詢視頻幀，視頻中和查詢視頻幀相關的視頻幀集合為F+，不相關的視頻幀集合為F_ ；(3)將整個視頻映射到d(d << η)維低維度空間中2.根據權利要求I所述的，其特征在于將視頻序列的第一幀作為查詢視頻幀。3.根據權利要求I所述的，其特征在于所述閾值取視頻中每相鄰兩幀的差值平均值。4.根據權利要求I所述的，其特征在于相關系數的全局特征是顏色特征、紋理特征、形狀特征或空間關系之一。全文摘要本專利技術提出了一種。該方法利用流形降維對視頻中的每個幀進行降維，求出每兩幀的相關系數，利用其構成一個權重矩陣；再從視頻中任選一個查詢幀，求出視頻中和查詢幀相關的和不相關的視頻幀集合，根據這兩個視頻幀集合生成相應的權重矩陣；從而根據這三個權重矩陣，得到流形降維的變換矩陣，將視頻幀序列中的每個視頻幀通過所得的變換矩陣即得到原視頻的低維特征。最后，通過對這些低維特征之間歐氏距離比較對視頻進行鏡頭分割。實驗結果表明，本專利技術中提出的方法可以很好地實現視頻鏡頭分割。文檔編號G06T7/00GK102945549SQ20121038969公開日2013年2月27日 申請日期2012年10月15日 優先權日2012年10月15日專利技術者孫建德, 邢芝會, 解江川 申請人:山東大學本文檔來自技高網...
【技術保護點】
一種基于流形學習的鏡頭分割方法，包括以下步驟：?（1）以X＝{x1,x2,...,xm}表示整個視頻，其中m為視頻的幀數，每個視頻幀的維數為n，根據下面的方法構造權重矩陣Ws：?這里的φ(xi,xj)是視頻幀xi和xj的相關系數，k?NN表示通過k近鄰方法選取的與指定視頻幀相關系數最大的k個對應視頻幀；?（2）構建另外兩個權重矩陣，WN和WP：?給出一個查詢視頻幀，視頻中和查詢視頻幀相關的視頻幀集合為F+，不相關的視頻幀集合為F?；?（3）將整個視頻映射到d(d＜＜n)維低維度空間中：?其中，LS＝DS?WS，LN＝DN?WN，LP＝DP?WP，λ是常數，上標T表示轉置，求出的d個最大特征值對應的特征向量V＝[v1,v2,..,vd]即為將高維數據映射到低維空間的線性變換矩陣，其中每一個視頻幀的低維特征表示為zi＝VTxi；?（4）從視頻幀序列中選取一幀作為參照幀，計算其他視頻幀和參照幀之間的歐氏距離，如果相鄰幀間的差異大于閾值，則認為參考幀與相比較的視頻幀屬于不同的鏡頭，反之，則認為它們屬于同一個鏡頭。?FDA00002258209500011.jpg,FDA00002258209500012.jpg,FDA00002258209500013.jpg,FDA00002258209500014.jpg,FDA00002258209500015.jpg,FDA00002258209500016.jpg,FDA00002258209500017.jpg,FDA00002258209500018.jpg...
【技術特征摘要】
【專利技術屬性】
技術研發人員：孫建德，邢芝會，解江川，
申請(專利權)人：山東大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。