一種基于相關(guān)性的自適應(yīng)補(bǔ)償立體視頻幀率上轉(zhuǎn)換方法技術(shù)

本發(fā)明專利技術(shù)利用深度圖與紋理圖的相關(guān)性，對(duì)深度圖進(jìn)行邊緣塊與平坦塊的分類，并根據(jù)標(biāo)記采用加入紋理梯度信息的塊運(yùn)動(dòng)匹配準(zhǔn)則得到不同宏塊的運(yùn)動(dòng)矢量，分別對(duì)不同宏塊進(jìn)行運(yùn)動(dòng)矢量后處理及自適應(yīng)插值，同時(shí)得到深度圖插值幀和紋理圖插值幀。相比傳統(tǒng)的幀率上轉(zhuǎn)換方法，此發(fā)明專利技術(shù)加強(qiáng)了對(duì)深度圖邊緣的處理，插入的深度圖具有更好的邊緣特性，插入的紋理圖質(zhì)量也更好。

【技術(shù)實(shí)現(xiàn)步驟摘要】

本專利技術(shù)涉及一種立體視頻幀率上轉(zhuǎn)換技術(shù)，屬于圖像、多媒體信號(hào)處理
技術(shù)背景自由視點(diǎn)電視通過多視點(diǎn)播放呈現(xiàn)給觀眾三維立體的觀影效果，因而得到廣泛發(fā)展。由于傳輸帶寬限制，當(dāng)前的三維視頻研究與應(yīng)用通常采用深度視頻(MVD)模式。三維視頻中虛擬視點(diǎn)的呈現(xiàn)由真實(shí)視點(diǎn)紋理圖聯(lián)合對(duì)應(yīng)深度圖經(jīng)過基于深度圖-紋理圖渲染技術(shù)(DIBR)得到，深度圖并非用來直接觀看，而只用作合成虛擬視點(diǎn)。幀率上轉(zhuǎn)換技術(shù)能突破網(wǎng)絡(luò)傳輸帶寬的限制，在接收端對(duì)視頻幀率進(jìn)行倍數(shù)的提高，從而提高視頻流暢度，提升觀影質(zhì)量。幀率上轉(zhuǎn)換本質(zhì)是一種基于前后幀的線性插值過程。簡單的插值如幀重復(fù)法與幀平均法對(duì)運(yùn)動(dòng)流暢性并未改善，因此人們將運(yùn)動(dòng)矢量考慮到幀率上轉(zhuǎn)換中，通過在物體運(yùn)動(dòng)軌跡上插入中間幀從而得到更流暢的視頻效果。基于運(yùn)動(dòng)補(bǔ)償?shù)膸噬限D(zhuǎn)換方法包括三個(gè)主要步驟：運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)矢量后處理以及基于運(yùn)動(dòng)補(bǔ)償?shù)牟逯怠Ｔ谧杂梢朁c(diǎn)電視中，紋理圖為觀眾實(shí)際觀看的圖像，深度圖作為紋理圖深度信息的補(bǔ)充，能用來合成其他視點(diǎn)的紋理圖。當(dāng)對(duì)某一視點(diǎn)紋理圖進(jìn)行幀率上轉(zhuǎn)換時(shí)，對(duì)應(yīng)的，其相關(guān)深度圖也需要做相同倍數(shù)的幀率上轉(zhuǎn)換。深度圖將場景的不同深度層次以不同的灰度值來表示，距離越近則深度值越小，轉(zhuǎn)換為圖像灰度值表示則灰度值越大。深度圖灰度值變化的地方通常為場景中不同物體的交界處，我們稱為邊緣。深度圖的邊緣在DIBR中起著十分重要的作用，它在某種層度上決定了合成的虛擬視點(diǎn)的好壞。因此，如果我們以和紋理圖相同的方法對(duì)深度圖進(jìn)行幀率上轉(zhuǎn)換，那么因?yàn)檫\(yùn)動(dòng)匹配失誤以及平滑帶來的圖像模糊在深度圖中就會(huì)變成邊緣的模糊與邊緣錯(cuò)誤。因此正確地保證邊緣成為深度圖幀率上轉(zhuǎn)換的重點(diǎn)。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)利用深度圖與紋理圖的相關(guān)性，對(duì)深度圖進(jìn)行邊緣塊與平坦塊的分類，并根據(jù)標(biāo)記采用加入紋理梯度信息的塊運(yùn)動(dòng)匹配準(zhǔn)則得到不同宏塊的運(yùn)動(dòng)矢量，分別對(duì)不同宏塊進(jìn)行運(yùn)動(dòng)矢量后處理及自適應(yīng)插值，同時(shí)得到深度圖插值幀和紋理圖插值幀。相比傳統(tǒng)的幀率上轉(zhuǎn)換方法，此專利技術(shù)加強(qiáng)了對(duì)深度圖邊緣的處理，插入的深度圖具有更好的邊緣特性，插入的紋理圖質(zhì)量也更好。本專利技術(shù)采用的技術(shù)方案如下：一種基于相關(guān)性的自適應(yīng)補(bǔ)償立體視頻幀率上轉(zhuǎn)換方法，其特征在于該方法包括以下步驟：步驟1：提取同一時(shí)刻及下一時(shí)刻的深度圖和紋理圖，并保存為圖像對(duì)；步驟2：將深度圖進(jìn)行邊緣塊標(biāo)記，并對(duì)邊緣塊采用基于k均值聚類的像素點(diǎn)分類；步驟3：根據(jù)像素點(diǎn)分類進(jìn)行運(yùn)動(dòng)估計(jì)，采用加入紋理權(quán)值的塊匹配準(zhǔn)則進(jìn)行塊匹配搜索，對(duì)不同類型的塊分別進(jìn)行常規(guī)UMHS搜索的塊匹配運(yùn)動(dòng)估計(jì)與四叉樹的UMHS塊匹配運(yùn)動(dòng)估計(jì)，獲得原始運(yùn)動(dòng)矢量；步驟4：對(duì)不同分類的像素進(jìn)行自適應(yīng)運(yùn)動(dòng)矢量后處理，分別對(duì)平坦塊及邊緣塊進(jìn)行異常點(diǎn)檢測并修復(fù)，得到精確運(yùn)動(dòng)矢量；步驟5：基于運(yùn)動(dòng)補(bǔ)償?shù)淖赃m應(yīng)插值方法；步驟6：基于邊緣判斷的補(bǔ)洞插值，對(duì)空洞點(diǎn)進(jìn)行分類，利用基于邊緣判斷的補(bǔ)洞插值得到最終插入的紋理圖及深度圖；步驟7：分別合成紋理序列和深度圖序列并輸出。優(yōu)選的，在步驟2中將深度圖劃分為大小相同的圖像塊，對(duì)塊內(nèi)像素深度值進(jìn)行方差計(jì)算，將方差大于閾值的塊標(biāo)記為邊緣塊，小于閾值的塊標(biāo)記為平坦塊；采用k均值聚類方法對(duì)標(biāo)記為邊緣的宏塊進(jìn)行前景背景分離，用k均值聚類方法對(duì)標(biāo)記為邊緣的宏塊進(jìn)行像素聚類，其中灰度值更小的像素類被標(biāo)記為背景像素，灰度值大的像素類被標(biāo)記為前景像素。優(yōu)選的，在步驟3中，采用加入紋理梯度權(quán)值的絕對(duì)誤差和TSAD作為塊匹配準(zhǔn)則，增加紋理所占比重，根據(jù)上一步驟得到的邊緣塊與平坦塊分類，對(duì)標(biāo)記為平坦塊的宏塊進(jìn)行常規(guī)的UMHS塊匹配運(yùn)動(dòng)估計(jì)，對(duì)于標(biāo)記為邊緣塊的宏塊進(jìn)行四叉樹的UMHS塊匹配運(yùn)動(dòng)估計(jì)，獲得原始運(yùn)動(dòng)矢量。優(yōu)選的，在步驟4中分別對(duì)平坦塊及邊緣塊進(jìn)行運(yùn)動(dòng)矢量后處理，對(duì)于平坦塊，首先比較平坦塊與八鄰域中同是平坦塊的運(yùn)動(dòng)矢量的差異，根據(jù)與平均運(yùn)動(dòng)矢量的比較來判斷當(dāng)前塊運(yùn)動(dòng)矢量是否異常，如果為異常運(yùn)動(dòng)矢量，采用均值替代的方法更正當(dāng)前異常運(yùn)動(dòng)矢量；對(duì)于邊緣塊，首先對(duì)只包含單一深度層的子宏塊進(jìn)行同一深度層的八鄰域均值糾正，然后對(duì)既包含前景又包含背景的子宏塊，分別進(jìn)行背景像素點(diǎn)和前景像素點(diǎn)的八鄰域均值糾正，得到精確運(yùn)動(dòng)矢量。優(yōu)選的，在步驟6中進(jìn)行基于邊緣判斷的補(bǔ)洞插值，通過對(duì)深度圖中空洞像素點(diǎn)等距的四個(gè)像素點(diǎn)兩兩進(jìn)行灰度值比較，如果有任意兩個(gè)像素點(diǎn)灰度值差值大于閾值，則認(rèn)為該空洞是處于邊緣區(qū)域的空洞，對(duì)其進(jìn)行后向運(yùn)動(dòng)補(bǔ)償插值；否則認(rèn)為該空洞為平坦處空洞，采用鄰域像素平均方式直接得到插值像素值從而得到完整插值幀；以同樣的信息標(biāo)記對(duì)紋理圖做補(bǔ)洞處理，得到紋理圖插值幀。本專利技術(shù)利用深度圖與紋理圖的相關(guān)性，對(duì)深度圖進(jìn)行邊緣塊與平坦塊的分類，并將此分類信息運(yùn)用到運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)矢量后處理以及基于運(yùn)動(dòng)補(bǔ)償?shù)牟逯颠^程中，對(duì)邊緣像素塊采用像素點(diǎn)級(jí)別的運(yùn)動(dòng)矢量估計(jì)與平滑處理，得到的運(yùn)動(dòng)矢量更加準(zhǔn)確，最終補(bǔ)償?shù)玫降纳疃葓D邊緣更清晰，紋理圖的質(zhì)量也更高。附圖說明圖1是立體視頻中同時(shí)對(duì)深度圖和紋理圖進(jìn)行二倍幀率上轉(zhuǎn)換示意圖。圖2是本專利技術(shù)整體方法流程圖。圖3是對(duì)深度圖中包含邊緣像素點(diǎn)宏塊進(jìn)行標(biāo)記結(jié)果圖。圖4是深度圖邊緣塊進(jìn)行K均值聚類示意圖。圖5是邊緣宏塊K均值聚類過程示意圖。圖6是紋理圖宏塊紋理梯度示意圖。圖7是四叉樹運(yùn)動(dòng)估計(jì)示意圖。圖8是空洞類型判斷示意圖。圖9是本專利技術(shù)實(shí)驗(yàn)結(jié)果圖，(a)是Beergarden第32幀紋理圖，(b)是本專利技術(shù)合成的Beergarden第32幀紋理圖，(c)是Beergarden第32深度圖，(d)是本專利技術(shù)合成的Beergarden第32幀深度圖。具體實(shí)施方式本專利技術(shù)提出的立體視頻幀率上轉(zhuǎn)換方法具體流程如圖1所示，首先對(duì)深度圖進(jìn)行邊緣分類，根據(jù)分類結(jié)果對(duì)紋理圖的當(dāng)前幀與后一幀采用基于邊緣的自適應(yīng)運(yùn)動(dòng)估計(jì)得到初始運(yùn)動(dòng)矢量，再采用基于深度信息的運(yùn)動(dòng)矢量后處理得到最佳運(yùn)動(dòng)向量，然后對(duì)空洞塊進(jìn)行邊緣區(qū)域判斷完成運(yùn)動(dòng)補(bǔ)償?shù)牟逯担_(dá)到深度圖和紋理圖的幀率上轉(zhuǎn)換，有效減小深度圖邊緣誤插值，達(dá)到高質(zhì)量重建目的。下面結(jié)合具體實(shí)施例(但不限于此例)以及附圖對(duì)本專利技術(shù)進(jìn)行進(jìn)一步的說明。(一)讀入視頻幀(1)寫入視頻幀，保存紋理圖的第t幀作為當(dāng)前幀，記作ft，與之對(duì)應(yīng)的深度圖記作dt；第t+1幀作為參考幀，記為ft+2，其對(duì)應(yīng)深度圖記作dt+2；插入紋理圖記作ft+1，插入深度圖記作dt+1；每一幀紋理圖與其對(duì)應(yīng)深度圖記為一個(gè)圖像對(duì)；(二)圖像預(yù)處理(1)深度圖邊緣塊標(biāo)記：同一場景中不同的物體具有不同的運(yùn)動(dòng)方向，基于塊匹配的運(yùn)動(dòng)搜索易將物體交界處劃分在同一搜索塊中，使原本具有不同運(yùn)動(dòng)方向的像素點(diǎn)擁有相同的運(yùn)動(dòng)方向。深度圖在兩物體交界處有明顯的深度值變化，從而可以利用檢測深度值變化來劃分含邊緣像素點(diǎn)的搜索塊和不含邊緣的搜索塊。深度變化程度用塊內(nèi)深度變化方差σ表示。如公式1所示，將深度圖劃分為相同大小的圖像塊，l(pi)為每個(gè)像素點(diǎn)的標(biāo)記，如果當(dāng)前塊內(nèi)深度值pi方差大于某一閾值Thσ，則此塊標(biāo)記為邊緣塊,記為1，否則標(biāo)記為平坦塊，記為0,如公式2所示，其中mbSize為宏塊大小，μ為平均深度值。附圖3是檢測到的深度變化區(qū)域，方框所示宏塊為邊緣塊：(2)前景背景分離：對(duì)深度圖來說，一般標(biāo)記為邊緣的圖像塊內(nèi)含有兩個(gè)深度層的像素，我們認(rèn)為本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種基于相關(guān)性的自適應(yīng)補(bǔ)償立體視頻幀率上轉(zhuǎn)換方法，其特征在于該方法包括以下步驟：步驟1：提取同一時(shí)刻及下一時(shí)刻的深度圖和紋理圖，并保存為圖像對(duì)；步驟2：將深度圖進(jìn)行邊緣塊標(biāo)記，并對(duì)邊緣塊采用基于k均值聚類的像素點(diǎn)分類；步驟3：根據(jù)像素點(diǎn)分類進(jìn)行運(yùn)動(dòng)估計(jì)，采用加入紋理權(quán)值的塊匹配準(zhǔn)則進(jìn)行塊匹配搜索，對(duì)不同類型的塊分別進(jìn)行常規(guī)UMHS搜索的塊匹配運(yùn)動(dòng)估計(jì)與四叉樹的UMHS塊匹配運(yùn)動(dòng)估計(jì)，獲得原始運(yùn)動(dòng)矢量；步驟4：對(duì)不同分類的像素進(jìn)行自適應(yīng)運(yùn)動(dòng)矢量后處理，分別對(duì)平坦塊及邊緣塊進(jìn)行異常點(diǎn)檢測并修復(fù)，得到精確運(yùn)動(dòng)矢量；步驟5：基于運(yùn)動(dòng)補(bǔ)償?shù)淖赃m應(yīng)插值方法；步驟6：基于邊緣判斷的補(bǔ)洞插值，對(duì)空洞點(diǎn)進(jìn)行分類，利用基于邊緣判斷的補(bǔ)洞插值得到最終插入的紋理圖及深度圖；步驟7：分別合成紋理序列和深度圖序列并輸出。

【技術(shù)特征摘要】
1.一種基于相關(guān)性的自適應(yīng)補(bǔ)償立體視頻幀率上轉(zhuǎn)換方法，其特征在于該方法包括以下步驟：步驟1：提取同一時(shí)刻及下一時(shí)刻的深度圖和紋理圖，并保存為圖像對(duì)；步驟2：將深度圖進(jìn)行邊緣塊標(biāo)記，并對(duì)邊緣塊采用基于k均值聚類的像素點(diǎn)分類；步驟3：根據(jù)像素點(diǎn)分類進(jìn)行運(yùn)動(dòng)估計(jì)，采用加入紋理權(quán)值的塊匹配準(zhǔn)則進(jìn)行塊匹配搜索，對(duì)不同類型的塊分別進(jìn)行常規(guī)UMHS搜索的塊匹配運(yùn)動(dòng)估計(jì)與四叉樹的UMHS塊匹配運(yùn)動(dòng)估計(jì)，獲得原始運(yùn)動(dòng)矢量；步驟4：對(duì)不同分類的像素進(jìn)行自適應(yīng)運(yùn)動(dòng)矢量后處理，分別對(duì)平坦塊及邊緣塊進(jìn)行異常點(diǎn)檢測并修復(fù)，得到精確運(yùn)動(dòng)矢量；步驟5：基于運(yùn)動(dòng)補(bǔ)償?shù)淖赃m應(yīng)插值方法；步驟6：基于邊緣判斷的補(bǔ)洞插值，對(duì)空洞點(diǎn)進(jìn)行分類，利用基于邊緣判斷的補(bǔ)洞插值得到最終插入的紋理圖及深度圖；步驟7：分別合成紋理序列和深度圖序列并輸出。2.根據(jù)權(quán)利要求1所述的基于相關(guān)性的自適應(yīng)補(bǔ)償立體視頻幀率上轉(zhuǎn)換方法，其特征在于：在步驟2中將深度圖劃分為大小相同的圖像塊，對(duì)塊內(nèi)像素深度值進(jìn)行方差計(jì)算，將方差大于閾值的塊標(biāo)記為邊緣塊，小于閾值的塊標(biāo)記為平坦塊；采用k均值聚類方法對(duì)標(biāo)記為邊緣的宏塊進(jìn)行前景背景分離，用k均值聚類方法對(duì)標(biāo)記為邊緣的宏塊進(jìn)行像素聚類，其中灰度值更小的像素類被標(biāo)記為背景像素，灰度值大的像素類被標(biāo)記為前景像素。3.根據(jù)權(quán)利要求1所述的基于相關(guān)性的自適應(yīng)補(bǔ)償立體視頻幀率上轉(zhuǎn)換方法，...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：劉琚，肖依凡，曲愛喜，郭志鑫，
申請(qǐng)(專利權(quán))人：山東大學(xué)，
類型：發(fā)明
國別省市：山東;37