恢復定標板遮擋區域的紋理和光照的方法技術

本發明專利技術公開了一種恢復定標板遮擋區域的紋理和光照的方法。其步驟為：(1)拍攝參考圖像和定標基準圖；(2)建立平面單應性關系；(3)紋理修復；(4)光照修復；(5)采用人工交互的方式判斷視頻是否拍攝結束，若拍攝結束，則執行步驟(6)；若拍攝未結束，則返回步驟(2)；(6)恢復定標板遮擋區域的紋理和光照的過程結束。本發明專利技術具有恢復結果準確，速度快的優點，魯棒性高，適合于增強現實的各種應用。

【技術實現步驟摘要】

本專利技術屬于圖像處理
，涉及一種采用視頻圖像處理技術與計算機視覺技術的。本專利技術可用于基于定標板的增強現實視頻系統中定標板的無痕跡移除。
技術介紹
增強現實技術(AR，Augmented Reality)是虛擬現實技術的一個重要分支，它在輸出視頻中將虛擬物體與現實環境融為一體，使用戶從視覺感官上確信虛擬物體是真實環境的組成部分。增強現實技術的一個關鍵技術是實時注冊，通常可以使用定標板來確定虛擬物體在真實場景中的位置，這種方法準確度高，且具有較強的魯棒性。但通常定標板的顏色對比度比較大，在視頻畫面中很突兀，影響畫面美觀與整體性，因此如果能夠恢復被定標板遮擋的區域的紋理和光照，將極大地提高增強現實的畫面質量。目前恢復定標板遮擋區域的紋理和光照通常有三種方法:采用傳統圖像修復算法，紋理生成修復算法以及合成不同分辨率圖像的修復算法；北京交通大學申請的專利“基于模塊的圖像修復方法”(申請號:201110080418.4申請日:2011-03-31，公開號:102142132A)中公開的對基于模塊模型的圖像修復方法進行了增強。該方法采用傳統圖像修復算法，以“模塊”為處理單元，首先選擇待修復目標區域并計算待修復目標區域內各像素點對應的預定大小的待修需模塊的紋理特征統計值，根據計算得到的紋理特征統計值調整各待修復模塊的大小。然后利用置信度約束和數據項約束計算各待修復模塊的優先級。接著在圖像已知區域內尋找與具有最高優先級的待修復模塊最相似的模塊，將其中全部像素點填入待修復模塊中，同時更新本次填充的待修復模塊內被填充的置信度約束。最后對填充后修復目標區域重復上述步驟，直到待修復目標區域內所有像素被填滿。但是該專利申請的方法的計算量較大，只適用于對實時性無要求的場合且該方法對存在光照變化的圖像修復問題不適用。該方法修復的結果會產生模糊，或者新的紋理，且算法缺乏先驗模型，得到的結果具有隨機性，這在視頻系統中難以應用。Sanni Siltanen 在文獻“Texture Generation over the Marker Area.Proc.1SMAR, pages253_254,2006.，，及 “Augmented Interiors with Digital Camera Images.Proc.AUIC,pages33-36, 2006”中各提出了一種通過生成紋理來隱藏定標板的方法,這兩種方法以所修復區域一定鄰域內的像素值提供的信息進行不同的線性加權來修復目標區域的紋理。分別存在修復效果過度平滑，及紋理信息混亂的缺點。同時，均僅在簡單背景下可得到較良好的效果，無法應用到具有復雜紋理的背景中。Otto Korkaio 等人在文獻 “Light-Weight Marker Hiding for AugmentedReality。Proc.1SMAR, pages247_248，2006”中提出一種通過合成不同分辨率的圖像來隱藏定標板的方法。該方法在處理視頻第一幀時采用傳統圖像修復算法得到一張高分辨率的圖像，并在其后每幀均生成一幅大小約為5X5像素的低分辨率圖像，再將當前幀的低分辨率圖像與第一幀高分辨率圖像合成。由于該方法中的高分辨率圖像采用傳統的圖像修復算法，從而導致恢復紋理不準確且出現平滑
技術實現思路
:本專利技術的目的在于克服上述已有技術的不足，提出一種恢復定標板遮擋區域的紋理和光照方法，使得增強現實系統中的定標板可以被移除且不留任何痕跡，從而提高增強現實的畫面質量，達到更好的虛實融合的效果。實現本專利技術的思路是，在視頻拍攝開始前先分別拍攝一幅無定標板的參考圖像與有定標板的定標基準圖像。利用參考圖像的紋理信息，通過定標進行幾何變換，修復定標板遮擋區域的紋理部分。并對所拍攝視頻當前的待處理圖像與參考圖像中的定標板鄰域區域進行光照建模，推出兩幅圖之間的光照線性關系表達式，通過求解該式的線性系數修復定標板遮擋區域的光照部分。本專利技術實現的具體步驟如下:(I)拍攝參考圖像和定標基準圖:Ia)將攝像機位置固定，選取需要添加虛擬物體的場景，拍攝該場景在未放置定標板前的一幅圖像作為參考圖像；Ib)將定標板放置于場景中，拍攝一幅有定標板的圖像作為定標基準圖；(2)建立平面單應性關系:2a)任意調整攝像機位置，拍攝含有定標板場景的視頻，獲取當前時刻待處理圖像；2b)從待處理圖像和定標基準圖中，選取至少四對不在同一直線上的相對應的占.2c)將步驟2b)所述對應點代入方程X = H.Y中，獲得待處理圖像和定標基準圖之間的平面單應性關系矩陣H;其中，X為選取的待處理圖像中的點的坐標列向量，Y為選取的定標基準圖像中的點的坐標列向量；(3)紋理修復:將平面單應性矩陣H左乘以定標基準圖像中定標板區域的每個點的坐標列向量Y，獲得變換后的點的坐標列向量X，將求得的坐標列向量X在參考圖像中對應的像素顏色值填充到待處理圖像的定標板區域，獲得已修復紋理的圖像，完成紋理修復；(4)光照修復:4a)將紋理修復區域作為目標區域，選取已修復紋理圖像中的目標區域的鄰域，將鄰域內任一點的像素值與參考圖像中對應點的像素值代入下式，建立已修復紋理圖像中目標區域鄰域內點和參考圖像中與之相對應的點滿足的光照線性關系表達式:I = aj+b其中，I為已修復紋理圖像中目標區域鄰域內任一點的像素值，J為參考圖像中與之相對應點的像素值，a和b為待求光照線性關系的系數；4b)采用最小二乘法，從已修復紋理圖像中目標區域鄰域內點和參考圖像中與之相對應的點滿足的光照線性關系表達式中，求得鄰域內待求光照線性關系的系數a和b的值；4c)采用插值法，由鄰域內待求光照線性關系的系數a和b的值，插值出目標區域內點的光照線性關系系數a和b的值；4d)將已修復紋理圖像中目標區域內點的原有像素值及光照線性關系系數a和b的值，代入步驟4a)所述的光照線性關系表達式中，得到目標區域的點當前像素值；4e)用目標區域的點當前像素值替代原像素值，完成光照修復；(5)采用人工交互的方式判斷視頻是否拍攝結束，若拍攝結束，則執行步驟(6)；若拍攝未結束，則返回步驟(2);(6)恢復定標板遮擋區域的紋理和光照的過程結束。與現有技術相比，本專利技術有以下優點:第一，本專利技術采用以事先拍攝的參考圖像提供了準確的紋理信息，用來恢復定標板遮擋區域的紋理，解決了現有技術恢復定標板遮擋區域的方法所恢復的紋理不真實，不連續的問題，使得本專利技術具有紋理真實，無平滑，無模糊的優點。第二，本專利技術首次對光照進行了專門修復，解決了現有技術中恢復定標板遮擋區域的方法無法適應不同光照的問題，使得本專利技術可以在大多數光照條件下得到無光照差的良好修復結果。第三，本專利技術首次在恢復定標板遮擋區域的方法中進行了光照建模，并推出不同光照間的線性關系表達式，通過求解線性系數進行光照修復。解決了現有技術中恢復定標板遮擋區域的方法無完整模型，缺乏理論依據以致結果具有隨機性的問題。使得本專利技術的修復結果具有很好的魯棒性。第四，本專利技術不需要全局搜索，且不需要計算偏微分方程和優先度，只需要求解線性方程，能夠實時實現，解決了現有技術圖像修復算法難以實時應用的問題，使得本專利技術可以應用于拍攝及視頻中。第五，本專利技術的最終修復結果無失真，無平滑，無光照差，完全符合視覺連續性，且肉眼無法分辨本文檔來自技高網...

【技術保護點】
一種恢復定標板遮擋區域的紋理和光照的方法，包括如下步驟：(1)拍攝參考圖像和定標基準圖：1a)將攝像機位置固定，選取需要添加虛擬物體的場景，拍攝該場景在未放置定標板前的一幅圖像作為參考圖像；1b)將定標板放置于場景中，拍攝一幅有定標板的圖像作為定標基準圖；(2)建立平面單應性關系：2a)任意調整攝像機位置，拍攝含有定標板場景的視頻，獲取當前時刻待處理圖像；2b)從待處理圖像和定標基準圖中，選取至少四對不在同一直線上的相對應的點；2c)將步驟2b)所述對應點代入方程X＝H·Y中，獲得待處理圖像和定標基準圖之間的平面單應性關系矩陣H；其中，X為選取的待處理圖像中的點的坐標列向量，Y為選取的定標用基準圖像中的點的坐標列向量；(3)紋理修復：將平面單應性矩陣H左乘以定標用基準圖像中定標板區域的每個點的坐標列向量Y獲得變換后的點的坐標列向量X，將求得的坐標列向量X在參考圖像中對應的像素顏色值填充到待處理圖像的定標板區域，獲得已修復紋理的圖像，完成紋理修復；(4)光照修復：4a)將紋理修復區域作為目標區域，選取已修復紋理圖像中的目標區域的鄰域，將鄰域內任一點的像素值與參考圖像中對應點的像素值代入下式，建立已修復紋理圖像中目標區域鄰域內點和參考圖像中與之相對應的點滿足的光照線性關系表達式：I＝aJ+b其中，I為已修復紋理圖像中目標區域鄰域內任一點的像素值，J為參考圖像中與之相對應點的像素值，a和b為待求光照線性關系的系數；4b)采用最小二乘法，從已修復紋理圖像中目標區域鄰域內點和參考圖像中與之相對應的點滿足的光照線性關系表達式中，求得鄰域內待求光照線性關系的系數a和b的值；4c)采用插值法，由鄰域內待求光照線性關系的系數a和b的值，插值出目標區域內點的光照線性關系系數a和b的值；4d)將已修復紋理圖像中目標區域內點的原有像素值及光照線性關系系數a和b的值，代入步驟4a)所述的光照線性關系表達式中，得到目標區域的點當前像素值；4e)用目標區域的點當前像素值替代原像素值，完成光照修復；(5)采用人工交互的方式判斷視頻是否拍攝結束，若拍攝結束，則執行步驟(6)；若拍攝未結束，則返回步驟(2)；(6)恢復定標板遮擋區域的紋理和光照的過程結束。...

【技術特征摘要】
1.一種恢復定標板遮擋區域的紋理和光照的方法，包括如下步驟: (1)拍攝參考圖像和定標基準圖: Ia)將攝像機位置固定，選取需要添加虛擬物體的場景，拍攝該場景在未放置定標板前的一幅圖像作為參考圖像； Ib)將定標板放置于場景中，拍攝一幅有定標板的圖像作為定標基準圖； (2)建立平面單應性關系: 2a)任意調整攝像機位置，拍攝含有定標板場景的視頻，獲取當前時刻待處理圖像； 2b)從待處理圖像和定標基準圖中，選取至少四對不在同一直線上的相對應的點； 2c)將步驟2b)所述對應點代入方程X = H.Y中，獲得待處理圖像和定標基準圖之間的平面單應性關系矩陣H;其中，X為選取的待處理圖像中的點的坐標列向量，Y為選取的定標用基準圖像中的點的坐標列向量； (3)紋理修復: 將平面單應性矩陣H左乘以定標用基準圖像中定標板區域的每個點的坐標列向量Y獲得變換后的點的坐標列向量X，將求得的坐標列向量X在參考圖像中對應的像素顏色值填充到待處理圖像的定標板區域，獲得已修復紋理的圖像，完成紋理修復； (4)光照修復: 4a)將紋理修復區域作為目標區域，選取已修復紋理圖像中的目標區域的鄰域，將鄰域內任一點的像素值與參考 圖像中對應點的像素值代入下式，建立已修復紋理圖像中目標區域鄰域內點和參考圖像中與之相對應的點滿足的光照線性關系表達式:I = aj+b 其中，I為已修復紋理圖像中目標區域鄰域內任一點的像素值，J為參考圖像中與之相對應點的像素值，a和b為待求光照線性關系的系數； 4b)采用最小二乘法，從已修復紋理圖像中目標區域鄰域內點和參考圖像中與之相對應的點滿足的光照線性關系表達式中，求得鄰域內...

【專利技術屬性】
技術研發人員：姜光，顧晨，丁瑜禎，
申請(專利權)人：西安電子科技大學，
類型：發明
國別省市：