一種多模板時空關(guān)聯(lián)的局部反聯(lián)合稀疏表示目標跟蹤方法技術(shù)

一種多模板時空關(guān)聯(lián)的局部反聯(lián)合稀疏目標跟蹤方法，屬于機器視覺和模式識別領域，旨在挖掘不同模板間的時空關(guān)聯(lián)信息，解決復雜場景下的目標跟蹤問題，降低計算復雜度。在粒子濾波框架下，采集候選目標及劃分局部圖像塊，用以構(gòu)造過完備字典；進行目標模板樣本集的初始化及更新，并按獲取的幀號對各個模板進行標號；建立時序權(quán)重矩陣，作為引導稀疏表示的時序先驗信息；利用字典對目標模板集中的所有樣本進行加權(quán)聯(lián)合稀疏表示，并將目標函數(shù)中的聯(lián)合稀疏約束項替換為含參數(shù)高斯函數(shù)進行優(yōu)化問題求解，得到稀疏表示系數(shù)矩陣；根據(jù)系數(shù)矩陣中非零元素分布的行連續(xù)性及權(quán)值大小，得到候選目標的重要性打分，從而實現(xiàn)穩(wěn)定的目標跟蹤。

A local inverse combined sparse representation method for target tracking in multi template spatio temporal correlation

Local anti joint sparse target tracking method of a multi template spatial-temporal correlation, which belongs to the field of machine vision and pattern recognition, aimed at mining temporal association information between different templates, solve complex scene target tracking problem, reduce the computational complexity. In the framework of particle filtering, collecting and dividing local candidate image blocks to construct overcomplete dictionary; to initialize and update the target template sample set, and according to the frame number obtained for each template label; a sequential weight matrix, as a guide to the sparse representation of the timing of prior information; using a dictionary of all target samples the template set are weighted combined with sparse representation, and combined with the sparsity constraints in the objective function is replaced with parameters Gauss function to solve the optimization problem, get the sparse representation coefficient matrix; according to the non zero element distribution line continuity and weight coefficient matrix, the importance of the candidate target points, so as to realize the stable target tracking.

【技術(shù)實現(xiàn)步驟摘要】
一種多模板時空關(guān)聯(lián)的局部反聯(lián)合稀疏表示目標跟蹤方法
本專利技術(shù)涉及機器視覺和模式識別領域，特別是一種多模板時空關(guān)聯(lián)的局部反聯(lián)合稀疏表示目標跟蹤方法。
技術(shù)介紹
目標跟蹤是計算機視覺領域的重要研究方向，目前已在公共交通智能監(jiān)控系統(tǒng)、安防系統(tǒng)、人機交互等領域中得到廣泛應用。由于跟蹤場景復雜，目標表觀模型常因受到外界物體的干擾及自身形變的影響發(fā)生較大且不可預估的變化，使得實現(xiàn)持續(xù)、穩(wěn)定且魯棒的目標跟蹤面臨巨大挑戰(zhàn)。為解決上述問題，需要對待跟蹤目標建立適當?shù)谋硎灸Ｐ停钥朔繕嗽谶\動過程中的光照變化、尺度變化、局部遮擋等復雜情況。隨著壓縮感知技術(shù)的發(fā)展，基于稀疏表示的目標建模方法逐漸成為視覺跟蹤中目標表示的一個重要分支。該方法對待跟蹤目標在過完備字典上進行稀疏分解，通過較少的非零系數(shù)表示目標的主要信息。根據(jù)字典的構(gòu)建方法，可以將基于稀疏表示建模的目標跟蹤分為兩類：稀疏表示跟蹤和反稀疏表示跟蹤。前者是利用動態(tài)目標模板和瑣碎模板構(gòu)建過完備字典，對每個候選目標分別進行稀疏表示。初始目標模板往往由視頻前幾幀已確定為正確的待跟蹤目標構(gòu)成，模板中的樣本隨著跟蹤的進行不斷更新使表示模型能夠適應目標的外觀變化。該方法將瑣碎模板對候選目標進行表示的部分作為稀疏表示的殘差并用來表示各個候選目標相對于模板的變化，跟蹤結(jié)果由對應最小殘差的候選目標確定。這種方法在光照變化等情況下具有較好的跟蹤效果，但是當目標發(fā)生部分遮擋時，瑣碎模板的表示具有二義性，既有可能是目標被遮擋的部分，也有可能是候選區(qū)域中包涵的背景，從而造成跟蹤漂移甚至跟蹤失敗。反稀疏表示方法則利用候選目標構(gòu)建過完備字典，對動態(tài)目標模板進行稀疏表示，通過表示系數(shù)對候選目標進行相似性度量。該方法不存在瑣碎模板表示的二義性，并且也不會因為候選目標數(shù)量龐大影響跟蹤速度，關(guān)鍵問題是如何在表示模型中充分利用目標模板中的信息從而更精確地度量各個候選目標。基于反稀疏表示的目標建模是一種新方法，由BZhuang等人(2014)提出，他們利用候選目標構(gòu)造的字典對正模板和負模板分別進行稀疏表示，并通過原子在構(gòu)建不同正負模板時的權(quán)重對他們進行相似性度量。該方法中正負模板的數(shù)量總和仍然非常龐大，因此同樣需要求解多次稀疏約束的目標函數(shù)。隨后DWang等人(2015)提出對最新更新的一個目標模板進行稀疏表示，并由稀疏表示系數(shù)權(quán)重對候選目標進行度量，但是該方法容易引起累計誤差，若在一次模板更新中引入錯誤的模板，該模板會對隨后的跟蹤結(jié)果產(chǎn)生累計偏差。目前采用的基于稀疏表示的跟蹤方法，不僅瑣碎模板存在二義性，而且在粒子濾波框架下，為保證搜索階段獲取到目標的正確位置，對候選目標的采集數(shù)量非常龐大，因此該跟蹤方法需要求解大量基于稀疏約束的目標函數(shù)，無法保證跟蹤的實時性，同時在模板的在線學習更新中，沒有考慮到提取模板時的時序信息；基于反稀疏表示的跟蹤方法，同樣需要求解多次稀疏約束的目標函數(shù)，計算復雜，且容易產(chǎn)生累計偏差。
技術(shù)實現(xiàn)思路
基于以上技術(shù)問題，本專利技術(shù)提供了一種多模板時空關(guān)聯(lián)的局部反聯(lián)合稀疏表示目標跟蹤方法,旨在挖掘不同模板間的時空關(guān)聯(lián)信息，從而解決目標在局部遮擋、光照變化、尺度變化等復雜場景下的跟蹤問題，同時降低了計算復雜度。本專利技術(shù)的技術(shù)方案如下：一種多模板時空關(guān)聯(lián)的局部反聯(lián)合稀疏表示目標跟蹤方法，所述方法包括以下步驟：步驟1:對每一幀輸入圖像中目標的狀態(tài)進行手動標定，得到每一幀圖像的目標模板tm(x,y,m)，依次對M幀輸入圖像進行手動標定，得到目標模板集x與y表示坐標，s表示目標的狀態(tài)，M表示目標模板個數(shù)，m表示目標模板序號，即時序標號，m∈[1,M]；步驟2:根據(jù)目標模板集中第M個目標模板的狀態(tài)，利用目標的運動模型對第c幀圖像進行粒子采樣，獲取N個候選目標fn(x,y)，形成候選目標集c為需要進行目標跟蹤的當前幀，N表示候選目標總個數(shù)，n表示候選目標的序號，n∈[1,N]；步驟3:將每一個候選目標fn(x,y)劃分為K個圖像塊，得到候選目標局部圖像塊N個候選目標局部圖像塊構(gòu)成候選目標局部圖像塊集采用相同方式將每一個目標模板tm(x,y,m)劃分為K個圖像塊，得到目標模板局部圖像塊M個標模板局部圖像塊構(gòu)成目標模板局部圖像塊集k表示圖像塊的序號，K表示圖像塊的個數(shù)，k∈[1,K]；步驟4：根據(jù)目標模板局部圖像塊與候選目標局部圖像塊的余弦距離及目標模板對應的時序標號m計算時序權(quán)重矩陣步驟5：將候選目標局部圖像塊集中k值相同的圖像塊提取出來，將圖像塊根據(jù)像素點排列位置按列展開得到列向量，構(gòu)成一系列子字典Dk；將目標模板局部圖像塊集中k值相同的圖像塊提取出來，將圖像塊根據(jù)像素點排列位置按列展開得到列向量，構(gòu)成局部目標模板樣本集Tk；步驟6:利用子字典Dk、局部目標模板樣本集Tk和時序權(quán)重矩陣構(gòu)建目標函數(shù)，即局部加權(quán)反聯(lián)合稀疏表示模型，將目標函數(shù)中的l0,2范數(shù)約束用含參數(shù)高斯函數(shù)Fσ(X)替換為平滑l0,2范數(shù)項進行優(yōu)化求解，得到稀疏表示系數(shù)矩陣步驟7:利用稀疏系數(shù)矩陣得到候選目標fn(x,y)的貢獻指示性值篩選出重要候選目標集r表示重要候選目標的個數(shù)，th表示將候選目標放入重要候選目標集后的序號th∈[1,r]，IP(th)表示選出的重要候選目標的序號IP(th)∈[1,N]。步驟8:對重要候選目標集中重要候選目標的狀態(tài)sIP(i)進行加權(quán)打分，決定最終的跟蹤結(jié)果步驟9:更新目標模板，重復上述步驟進行第c+1幀圖像的跟蹤。進一步的，目標的狀態(tài)sm用6個變量進行表示{xm,ym,θm,sm,αm,φm}，其中xm表示目標狀態(tài)的橫坐標、ym表示縱坐標、θm表示旋轉(zhuǎn)角度、sm表示尺度、αm表示縱橫比和φm表示歪斜度，目標模板的時序標號m由目標模板對應的幀號由小到大進行排列確定。進一步的，第c幀的狀態(tài)利用運動模型進行更新，采用的公式如下：式中，{xM,yM,θM,sM,αM,φM}表示第M個目標模板的狀態(tài)，{xc,yc,θc,sc,αc,φc}表示第c幀目標的狀態(tài)，grand是一組滿足高斯分布的隨機數(shù)(0-1)，{Δx,Δy,Δθ,Δs,Δα,Δφ}表示目標狀態(tài)的變化幅度。進一步的，對候選目標fn(x,y)和目標模板tm(x,y,m)均采用相同尺寸滑窗以相同步長劃分成K個圖像塊，K表示圖像塊的個數(shù)；進一步的，所述步驟4中，計算時序權(quán)重矩陣的公式為：式中，為第n個候選目標的第k個圖像塊，為第m個目標模板的第k個圖像塊，δ表示歸一化常數(shù)。進一步的，所述步驟5中，子字典Dk的構(gòu)建方式如下：式中，k表示圖像塊的序號，K表示圖像塊的個數(shù)，n表示候選目標的序號，N表示候選目標的總個數(shù)，表示將第n個候選目標中第k個圖像塊根據(jù)像素點排列位置按列展開得到的列向量；局部目標模板樣本集Tk由目標模板局部圖像塊集中k值相同的圖像塊構(gòu)成，其中表示將第m個目標模板的第k個圖像塊根據(jù)像素點排列位置按列展開得到的列向量。進一步的，所述步驟6中，目標函數(shù)為：式中，W表示時序權(quán)重矩陣由[W1,W2,...,Wk]構(gòu)成，其中Wk表示對第k個目標模板圖像塊集進行加權(quán)反聯(lián)合稀疏表示時對應的時序權(quán)重矩陣，Dk表示子字典，Tk表示局部目標模板樣本集，X為稀疏表示系數(shù)矩陣由[X1,X2,...,Xk]構(gòu)成，其中Xk表示不同目標模板中k值相同的圖像塊構(gòu)成的表本文檔來自技高網(wǎng)...

【技術(shù)保護點】
一種多模板時空關(guān)聯(lián)的局部反聯(lián)合稀疏表示目標跟蹤方法，其特征在于，所述方法包括以下步驟：步驟1:對每一幀輸入圖像中目標的狀態(tài)

【技術(shù)特征摘要】
1.一種多模板時空關(guān)聯(lián)的局部反聯(lián)合稀疏表示目標跟蹤方法，其特征在于，所述方法包括以下步驟：步驟1:對每一幀輸入圖像中目標的狀態(tài)進行手動標定，得到每一幀圖像的目標模板tm(x,y,m)，依次對M幀輸入圖像進行手動標定，得到目標模板集x與y表示坐標，s表示目標的狀態(tài)，M表示目標模板個數(shù)，m表示目標模板序號，即時序標號，m∈[1,M]；步驟2:根據(jù)目標模板集中第M個目標模板的狀態(tài)，利用目標的運動模型對第c幀圖像進行粒子采樣，獲取N個候選目標fn(x,y)，形成候選目標集c為需要進行目標跟蹤的當前幀，N表示候選目標總個數(shù)，n表示候選目標的序號，n∈[1,N]；步驟3:將每一個候選目標fn(x,y)劃分為K個圖像塊，得到候選目標局部圖像塊N個候選目標局部圖像塊構(gòu)成候選目標局部圖像塊集采用相同方式將每一個目標模板tm(x,y,m)劃分為K個圖像塊，得到目標模板局部圖像塊M個標模板局部圖像塊構(gòu)成目標模板局部圖像塊集k表示圖像塊的序號，K表示圖像塊的個數(shù)，k∈[1,K]；步驟4：根據(jù)目標模板局部圖像塊與候選目標局部圖像塊的余弦距離及目標模板對應的時序標號m計算時序權(quán)重矩陣步驟5：將候選目標局部圖像塊集中k值相同的圖像塊提取出來，將圖像塊根據(jù)像素點排列位置按列展開得到列向量，構(gòu)成一系列子字典Dk；將目標模板局部圖像塊集中k值相同的圖像塊提取出來，將圖像塊根據(jù)像素點排列位置按列展開得到列向量，構(gòu)成局部目標模板樣本集Tk；步驟6:利用子字典Dk、局部目標模板樣本集Tk和時序權(quán)重矩構(gòu)建目標函數(shù)，即局部加權(quán)反聯(lián)合稀疏表示模型，將目標函數(shù)中的l0,2范數(shù)約束用含參數(shù)高斯函數(shù)Fσ(X)替換為平滑l0,2范數(shù)項進行優(yōu)化求解，得到稀疏表示系數(shù)矩陣步驟7:利用稀疏系數(shù)矩陣得到候選目標fn(x,y)的貢獻指示性值篩選出重要候選目標集r表示重要候選目標的個數(shù)，th表示將候選目標放入重要候選目標集后的序號th∈[1,r]，IP(th)表示選出的重要候選目標的序號IP(th)∈[1,N]。步驟8:對重要候選目標集中重要候選目標的狀態(tài)sIP(i)進行加權(quán)打分，決定最終的跟蹤結(jié)果步驟9:更新目標模板，重復上述步驟進行第c+1幀圖像的跟蹤。2.根據(jù)權(quán)利要求1所述的一種多模板時空關(guān)聯(lián)的局部反聯(lián)合稀疏表示目標跟蹤方法，其特征在于，所述步驟1中，目標的狀態(tài)sm用6個變量進行表示{xm,ym,θm,sm,αm,φm}，其中xm表示目標狀態(tài)的橫坐標、ym表示縱坐標、θm表示旋轉(zhuǎn)角度、sm表示尺度、αm表示縱橫比和φm表示歪斜度，目標模板的時序標號m由目標模板對應的幀號由小到大進行排列確定。3.根據(jù)權(quán)利要求1所述的一種多模板時空關(guān)聯(lián)的局部反聯(lián)合稀疏表示目標跟蹤方法，其特征在于，所述步驟2中，第c幀的狀態(tài)利用運動模型進行更新，采用的公式如下：式中，{xM,yM,θM,sM,αM,φM}表示第M個目標模板的狀態(tài)，{xc,yc,θc,sc,αc,φc}表示第c幀目標的狀態(tài)，grand是一組滿足高斯分布的隨機數(shù)(0-1)，{Δx,Δy,Δθ,Δs,Δα,Δφ}表示目標狀態(tài)的變化幅度。4.根據(jù)權(quán)利要求1所述的一種多模板時空關(guān)聯(lián)的局部反聯(lián)合稀疏表示目標跟蹤方法，其特征在于，所述步驟3中，對候選目標fn(x,y)和目標模板tm(x,y,m)均采用相同尺寸滑窗以相同步長劃分成K個圖像塊，K表示圖像塊的個數(shù)。5.根據(jù)權(quán)利要求1所述的一種多模板時空關(guān)聯(lián)的局部反聯(lián)合稀疏表示目標跟蹤方法，其特征在于，所述步驟4中，計算時序權(quán)重矩陣的公式為：...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：彭真明，李美惠，陳科，潘翯，陳穎頻，王曉陽，孫偉嘉，任叢雅旭，卓勵然，蒲恬，張萍，
申請(專利權(quán))人：電子科技大學，
類型：發(fā)明
國別省市：四川,51