一種基于在線全變差優化的視頻穩定方法技術

本發明專利技術涉及一種基于在線全變差優化的視頻穩定方法，屬于視頻處理技術領域；包括以下步驟：利用特征點檢測和匹配對抖動視頻進行運動估計，計算出幀間變換矩陣，并得到原始抖動視頻的相機路徑；通過在線全變差優化和線性平滑方法對相機路徑進行優化，得到穩定的相機路徑；通過原始相機路徑與穩定相機路徑的變換關系對抖動視頻幀進行圖像變換后生成穩定的視頻。與已有方法相比，本發明專利技術方法使用幀間單應性變換來描述相機運動，通過在線全變差優化方法和線性平滑方法來減小視頻的差分，從而平滑相機路徑；此優化方法計算效率快，可以達到實時處理的效果，且生成的穩定視頻保真度高，不會損失過多的圖像信息，具有很好的魯棒性。

【技術實現步驟摘要】
一種基于在線全變差優化的視頻穩定方法
：本專利技術涉及一種視頻穩定方法，具體涉及一種基于在線全變差優化的視頻穩定方法，屬于視頻處理

技術介紹
：視頻作為一個重要的信息載體，與人們的日常生活聯系密切，其在媒體娛樂、城市安防等方面有著重要的應用。但是，由于視頻拍攝時硬件環境和拍攝人員水平的限制，運動環境下拍攝的視頻往往存在畫面抖動等問題，影響對視頻的進一步處理。對于視頻穩定這一具有較高應用價值的問題，國內外的學者已經做了大量的基礎研究。視頻穩像技術按照作用機制可分為三類：機械穩像、光學穩像和電子穩像。機械穩像是采用機械設備來保證攝像平臺的穩定性。其原理是利用陀螺儀等傳感器和伺服系統構成的穩定平臺來補償攝像系統的相對運動，從而將整個光學系統穩定起來，使得到的視頻較為穩定。光學穩像則是通過在光路中設置光學元件，根據鏡頭的抖動方向和位移量對攝像平臺的抖動進行補償，以得到穩定的圖像。光學穩像目前已經集成在大部分高端手機和照相機的鏡頭中，用來補償拍攝時人體的輕微晃動。電子穩像是應用圖像處理的方法來補償抖動，它對獲得的抖動圖像序列進行重新修改、排列，減弱或消除了圖像序列間不規則的平移、旋轉和縮放等失真情況，從而使得視頻看起來更穩定，且更加適合于視頻處理中的目標檢測、目標跟蹤和識別等處理操作。機械穩像和光學穩像的優點在于可以在拍攝的過程中盡量防止抖動視頻的生成以及減小抖動帶來的模糊等問題；缺點在于代價較大，穩像效果不夠好，尤其是針對抖動較劇烈的情況，無法滿足如今視頻穩像的需求。相比而言，電子穩像不需要特定的器械或者元件，具有更精確、更靈活、易操作、體積小、代價低等優點。
技術實現思路
：本專利技術的目的是針對帶有抖動或者晃動的視頻數據，提出一種視頻穩定方法，使用戶獲得更為舒適的觀看感受。本專利技術的思想是通過特征點檢測和匹配對抖動視頻進行運動估計，計算出幀間變換矩陣，并得到原始抖動視頻的相機路徑；通過在線全變差優化和線性平滑方法對相機路徑進行優化，得到穩定的相機路徑；通過原始相機路徑與穩定相機路徑的變換關系對抖動視頻幀進行圖像變換后生成穩定的視頻。本專利技術的目的是通過以下技術方案實現的：一種基于在線全變差優化的視頻穩定方法，包括以下步驟：步驟一、對于抖動視頻，根據相鄰兩幀多個對應特征點的位置關系，對下述等式(1)進行計算獲得相鄰兩幀的單應性變換矩陣F以得到視頻幀之間的運動變換模型：其中，(x′,y′,1)T和(x,y,1)T分別為二維平面點(x′,y′)和(x,y)的齊次坐標形式；(x′,y′)為抖動視頻第t個圖像幀It(t＝1,2,…,n，n表示圖像幀的數量)的特征點(x,y)通過光流法得到的其在第t個圖像幀It+1中的對應位置；作為優選，所述對等式(1)進行求解采用基于隨機采樣一致算法(RANSAC)和最小二乘法的方法實現。作為優選，所述特征點為Harris角點或者SIFT特征點。作為優選，所述特征點的檢測采用Shi-Tomasi算法實現。作為優選，所述所述步驟一中特征點的跟蹤采用金字塔Lucas-Kanade光流方法實現。步驟二、通過下式計算抖動視頻的相機路徑{C1，C2，…，Ct…，Cn}：Ct＝F1F2…Ft；其中t＝2,…,n；其中，C1＝F1＝I，I表示單位矩陣；Ft表示視頻幀It-1與下一幀It之間的變換矩陣，通過步驟一得到；Ct表示It時的相機路徑；步驟三、通過對下述整體多元全變差優化目標函數E(P)求解獲得整體相機路徑的優化路徑{P1，P2，…，Pt…，Pn}：其中，P′m＝{P1,m,P2,m,…,Pt,m,…,Pn,m}，C′m＝{C1,m,C2,m,…,Ct,m,…,Cn,m}，表示視頻的所有幀在相機路徑的第m維參數的集合，m∈{1，M}；Pt,m和Ct,m以及P′m,t表示視頻的第t幀在相機路徑的第m維參數上的取值；C表示通過步驟二得到的原始相機路徑，P表示本步驟需要求解的優化后的平滑相機路徑，M為相機路徑的維數，n為視頻的總幀數；λ為Ed(P)和Ev(P)這兩項的一個平衡參數，用來控制變分項所占的比重，從而保證優化后的相機路徑既保持穩定，同時又不會與原始路徑相差太大；步驟四、通過將步驟三得到的優化路徑上某一點的數值取其前后各k點的平均值對相機路徑進行平滑，即：其中，i＝k+1,k+2,…,n-k；當1≤i≤k時，當n-k<i≤n時，其中，ωi,t為權重系數；步驟五、根據步驟四平滑后的相機路徑對抖動視頻中的圖像幀通過以下變換生成穩定幀：I′t＝ItBt其中，I′t表示穩定幀，Bt為從抖動視頻幀到穩定視頻幀的變換矩陣，通過平滑后的相機路徑與原始相機路徑得到：Bt＝Ct-1Pt有益效果：對比傳統視頻穩定方法，本專利技術方法具有以下優勢：(1)傳統的基于估計和平滑2D相機運動的方法在生成穩定視頻時，一般會丟失較多的圖像信息，導致結果視頻具有較大的黑邊，而本專利技術在對原始視頻進行處理時使用了保真項，這一點保證了處理結果可以更好地接近原視頻，保留更多的視頻內容。(2)傳統的基于估計和平滑3D相機運動的方法依賴于三維重建，這種方法計算復雜度較高，且魯棒性差，而本專利技術避免使用從運動恢復結構的方法，而是使用幀間單應性變換來描述相機運動，因此提高了計算效率，增加了魯棒性。(3)基于2.5D的方法一般將運動平滑和運動補償分為兩部分進行，沒有充分考慮視頻的全局信息，但是本專利技術使用全變差方法對視頻路徑進行優化，減小了抖動視頻的全變差，且對能量函數采取了優化的求解方法，計算速度快，達到了實時處理的要求。綜上所述，本專利技術方法可以更加高效地處理視頻序列中的抖動幀，得到穩定的視頻。附圖說明：圖1是本專利技術實施例一種基于在線全變差優化的視頻穩定方法流程示意圖。圖2是本專利技術方法與Deshaker和AE視頻穩定方法的對比效果示意圖，(a)為原始抖動視頻幀，(b)為使用AE方法處理后的視頻幀，(c)為使用Deshaker方法處理后的視頻幀，(d)為使用本專利技術方法處理后的視頻幀。圖3是本專利技術方法與Deshaker和AE視頻穩定方法求得的最優路徑對比效果示意圖，(a)為x方向上的最優路徑對比，(b)為y方向上的最優路徑對比。具體實施方式下面將結合附圖和實施例對本專利技術加以詳細說明。實施例一種基于在線全變差優化的視頻穩定方法，具體實現步驟如下：步驟一、計算視頻幀之間的運動變換模型一副圖像中，有很多表征圖像屬性或類別的特征，包括形狀特征、顏色特征、紋理特征等。為了得到幀與幀之間的運動變換關系，首先檢測出圖像幀It(t＝1,2,…,n，n表示圖像幀的數量)的特征點。在提取特征點時,一般選用Harris角點或者SIFT特征點(D.G.Lowe.Objectrecognitionfromlocalscale-invariantfeatures.InProc.ICCV,pages1150–1157,1999.)，作為優選，本實施例采用了Shi-Tomasi算法實現特征點的檢測。當選取一定數量的特征點之后，通過光流法得到這些特征點在下一幀It+1中的對應位置，為得到較好效果，本實施例采用金字塔Lucas-Kanade光流方法實現。設幀It中某一特征點位置為p(x,y),而下一幀It+1中對應特征點的位置為q(x′,y′)，且令兩幀之間的變換矩陣為本文檔來自技高網...

【技術保護點】
一種基于在線全變差優化的視頻穩定方法，其特征在于，包括如下步驟：步驟一、對于抖動視頻，根據相鄰兩幀多個對應特征點的位置關系，對下述等式(1)進行計算獲得相鄰兩幀的單應性變換矩陣F以得到視頻幀之間的運動變換模型：

【技術特征摘要】
1.一種基于在線全變差優化的視頻穩定方法，其特征在于，包括如下步驟：步驟一、對于抖動視頻，根據相鄰兩幀多個對應特征點的位置關系，對下述等式(1)進行計算獲得相鄰兩幀的單應性變換矩陣F以得到視頻幀之間的運動變換模型：其中，(x′,y′,1)T和(x,y,1)T分別為二維平面點(x′,y′)和(x,y)的齊次坐標形式；(x′,y′)為抖動視頻第t個圖像幀It(t＝1,2,…,n，n表示圖像幀的數量)的特征點(x,y)通過光流法得到的其在第t個圖像幀It+1中的對應位置；步驟二、通過下式計算抖動視頻的相機路徑{C1，C2，…，Ct…，Cn}：Ct＝F1F2···Ft；其中t＝2,…,n；其中，C1＝F1＝I，I表示單位矩陣；Ft表示視頻幀It-1與下一幀It之間的變換矩陣，通過步驟一得到；Ct表示It時的相機路徑；步驟三、通過對下述整體多元全變差優化目標函數E(P)求解獲得整體相機路徑的優化路徑{P1，P2，…，Pt…，Pn}：其中，P′mm＝{P1,m,P2,m,…,Pt,m,…,Pn,m}，C′m＝{C1,m,C2,m,…,Ct,m,…,Cn,m}，表示視頻的所有幀在相機路徑的第m維參數的集合，m∈{1，M}；Pt,m和Ct,m以及P′m,t表示視頻的第t幀在相機路徑的第m維參數上的取值；C表示通過步驟二得到的原始相機路徑，P表示本步驟需要求解的優化后的平滑相機路徑，M為相機路徑的維數，n為視頻的總幀數；λ為Ed...

【專利技術屬性】
技術研發人員：吳金亮，陳金勇，彭會湘，劉天，張磊，
申請(專利權)人：中國電子科技集團公司第五十四研究所，北京理工大學，
類型：發明
國別省市：河北,13