一種虛擬視像素生成方法、裝置以及對應的碼流制造方法及圖紙

本發明專利技術公開了一種虛擬視像素生成方法、裝置以及對應的碼流，本發明專利技術針對具有不同深度變化強度的區域在進行虛擬視圖像生成過程中采取不同的處理方法：當被投影的兩個像素點各自對應的深度值之間的差值較小時，使得這兩個像素點在虛擬視中的投影坐標之間的像素點的像素值變化趨勢與被投影的兩個像素點之間的像素點的像素值變化趨勢相似；當被投影的兩個像素點各自對應的深度值之間的差值較大時，使得圖像的邊界區域的虛擬式生成質量更佳，本發明專利技術可以提高虛擬視圖像的質量，當應用于視頻編碼時，可以提高整體編碼效率。

【技術實現步驟摘要】

本專利技術涉及多媒體通信領域，尤其涉及一種虛擬視像素生成方法、裝置以及對應的碼流。
技術介紹
現有虛擬視像素生成方法目前的一個視點(視點2)中的兩個像素點pA與pB投影至另ー個視點(視點I)后得到像素點PA’與pB’，像素點pA’的像素值等于像素點pA的像素值，像素點PB’的像素值等于像素點PB的像素值。如果像素點PA’與pB’之間還有像素點未被投影或者未被賦值過，則這些像素點用PA或者pB的像素值來賦值當pA對應的到攝像機的距離大于PB對應 的到攝像機的距離吋，PA’與PB’之間的像素點用PA的像素值來賦值；否則，PA’與pB’之間的像素點用PB的像素值來賦值(如圖I所示)。上述的虛擬視像素生成方法未考慮被投影的兩個像素點pA與pB對應的深度值差別對虛擬視像素生成質量的影響當pA與pB對應的深度值差別較小吋，PA與pB之間的像素點對應的深度理論上應當是漸變的，因此PA’與PB’之間的像素點的深度也是漸變的，同時PA’與pB’之間像素點的像素值的變化趨勢也應當和PA與pB之間像素點的像素值的變化趨勢相似；當pA與pB對應的深度值差別較大時，假設PA與pB這兩個像素點中pB對應的物體上的點在拍攝時更加靠近攝像機(前景物體的點)，那么經過投影之后，PA’與pB’之間的像素點中較靠近PB’的像素點有很大的概率是屬于前景物體的，因此應當將PB的像素值賦值給這個靠近PB’的像素點。
技術實現思路
本專利技術的目的在于針對現有技術的不足，提供一種虛擬視像素生成方法、裝置以及對應的碼流。本專利技術的目的是通過以下技術方案來實現的一種虛擬視像素生成方法，對ー個視點中間隔U個像素點的兩個像素點PA與PB，利用PA與PB的深度值計算PA和pB在虛擬視點中的投影坐標PPA’與ppB’，其中U為非負整數；當pA對應的深度值與pB對應的深度值的差值小于閾值Tl時，對由ppA’和ppB’構成的閉區間中的所有像素點中的任意ー個像素點pC’，在從pA到pB的U+2個像素點中選擇ー個像素點pC，將pC的像素值賦值給pC’的像素值；所述PC為在所述的從pA到pB的U+2個像素點中使得I pCpA |與| pApB |的比例SI和IpC’ppA’ I與IppA’ppB’ |的比例S2最接近或次最接近的像素點，其中|pCpA|表示pC與pA之間的距離，|pApB|表示pA與pB之間的距離，|pC’ppA’ |表示pC’與ppA’之間的距離，|ppA’ ppB’ I表示ppA’與ppB’之間的距離；當pA對應的深度值與pB對應的深度值的差值大于等于閾值Tl時，將pB的像素值賦值給由ppA’和ppB’構成的閉區間中與坐標PPB’的距離小于閾值T2的像素點，將pA的像素值賦值給由ppA’和ppB’構成的閉區間中的其余像素點的像素值。一種虛擬視像素生成裝置，包含投影坐標計算模塊、像素點選擇模塊和像素點賦值模塊所述的投影坐標計算模塊輸入像素點PA、像素點PB、PA對應的深度值與PB對應的深度值，利用PA與pB的深度值計算像素點pA與pB在虛擬視點中的投影坐標ppA’與PPB’，輸出坐標ppA’與ppB’至像素點導出模塊；所述的像素點導出模塊輸入從像素點PA到PB的U+2個像素點、pA對應的深度值與PB對應的深度值、閾值Tl與T2、像素點pC’的坐標ppC’、來自投影坐標計算模塊的坐標ppA’與ppB’ ；當pA對應的深度值與pB對應的深度值的差值小于Tl吋，在從pA到pB的U+2個像素點中選擇ー個像素點pC，所述pC為在所述的從pA到pB的U+2個像素點中使得IpCpA!與IpApB!的比例SI和IppC’ppA’ I與|p pA’ppB’ |的比例S2最接近或次最接近的像素點，其中U為非負整數，IpCpAl表示pC與pA之間的距離，IpApBl表示pA與pB之間的距離，|ppC’ ppA’ I表示ppC’與ppA’之間的距離，|ppA’ ppB’ |表示p pA’與ppB’之間 的距離；當PA對應的深度值與PB對應的深度值的差值大于等于Tl時若ppC’與ppB’的距離小于T2，則令pC等于pB ;否則，令pC等于PA，輸出像素點pC至像素點賦值模塊；所述的像素點賦值模塊輸入像素點pC’、來自像素點導出模塊的pC，并將pC的像素值賦值給pC’的像素值，輸出像素點pC’。ー種視頻碼流，碼流中包含預測編碼得到的預測殘差，所述的預測殘差為重建圖像與預測圖像的差值，所述的預測圖像中的像素點是使用如下虛擬視像素點生成方法產生的對ー個視點中間隔U個像素點的兩個像素點PA與PB，利用PA與pB的深度值計算PA和pB在虛擬視點中的投影坐標ppA’與ppB’，其中U為非負整數；當pA對應的深度值與PB對應的深度值的差值小于閾值Tl時，對由ppA’和ppB’構成的閉區間中的所有像素點中的任意一個像素點pC’，在從pA到pB的U+2個像素點中選擇ー個像素點pC，將pC的像素值賦值給PC’的像素值；所述pC為在所述的從pA到pB的U+2個像素點中使得I pCpA |與PApB的比例SI和|pC’ ppA’ I與|ppA’ ppB’ |的比例S2最接近或次最接近的像素點，其中|pCpA|表示pC與pA之間的距離，IpApB!表示pA與pB之間的距離，IpC’ppA’ |表示pC’與ppA’之間的距離，|ppA’ ppB’ I表示ppA’與ppB’之間的距離；當pA對應的深度值與pB對應的深度值的差值大于等于閾值Tl吋，將pB的像素值賦值給由ppA’和ppB’構成的閉區間中與坐標PPB’的距離小于閾值T2的像素點，將pA的像素值賦值給由ppA’和PPB ’構成的閉區間中的其余像素點的像素值。本專利技術與現有技術相比，有益效果是針對具有不同深度變化強度的區域在進行虛擬視圖像生成過程中采取不同的處理方法。當兩個被投影點之間的深度變化較小時，本專利技術使得投影后的兩個點之間的像素值與原始視點被投影的兩個點之間的像素值變化趨勢相似；當兩個被投影點之間的深度變化較大時，本專利技術改善了投影后的虛擬視圖像的紋理邊界區域的圖像質量。當pA與pB對應的深度值差別較小吋，PA與pB之間的像素點對應的深度理論上應當是漸變的，因此PA’與PB’之間的像素點的深度也是漸變的，同時PA’與pB’之間像素點的像素值的變化趨勢也應當和PA與pB之間像素點的像素值的變化趨勢相似；當pA與PB對應的深度值差別較大時，假設pA與PB這兩個像素點中pB對應的物體上的點在拍攝時更加靠近攝像機(前景物體的點)，那么經過投影之后，PA’與pB’之間的像素點中較靠近PB’的像素點有很大的概率是屬于前景物體的，因此應當將PB的像素值賦值給這個靠近PB’的像素點。通過以上的處理，可以提高虛擬視圖像的生成質量。附圖說明圖I為普通的虛擬視像素生成方法示意圖；圖2為實施例8、實施例9所述的虛擬視像素生成裝置的示意圖；圖3為實施例10、實施例11所述的虛擬視像素生成裝置的示意圖；圖4為實施例12、實施例13所述的虛擬視像素生成裝置的示意圖； 圖5為實施例14所述的虛擬視像素生成裝置的示意圖。具體實施例方式下面首先定義ー些名詞投影坐標計算現有ー個視點(視點2)中的一個像素點pA以及該像素點對應的深度值，為了計算PA在另ー個視點(虛擬視點I)中的投影本文檔來自技高網...

【技術保護點】
一種虛擬視像素生成方法，其特征在于：對一個視點中間隔U個像素點的兩個像素點pA與pB，利用pA與pB的深度值計算pA和pB在虛擬視點中的投影坐標ppA’與ppB’，其中U為非負整數；當pA對應的深度值與pB對應的深度值的差值小于閾值T1時，對由ppA’和ppB’構成的閉區間中的所有像素點中的任意一個像素點pC’，在從pA到pB的U+2個像素點中選擇一個像素點pC，將pC的像素值賦值給pC’的像素值；所述pC為在所述的從pA到pB的U+2個像素點中使得|pCpA|與|pApB|的比例S1和|pC’ppA’|與|ppA’ppB’|的比例S2最接近或次最接近的像素點，其中|pCpA|表示pC與pA之間的距離，|pApB|表示pA與pB之間的距離，|pC’ppA’|表示pC’與ppA’之間的距離，|ppA’ppB’|表示ppA’與ppB’之間的距離；當pA對應的深度值與pB對應的深度值的差值大于等于閾值T1時，將pB的像素值賦值給由ppA’和ppB’構成的閉區間中與坐標ppB’的距離小于閾值T2的像素點，將pA的像素值賦值給由ppA’和ppB’構成的閉區間中的其余像素點的像素值。

【技術特征摘要】
1.一種虛擬視像素生成方法，其特征在于對ー個視點中間隔U個像素點的兩個像素點PA與PB,利用pA與PB的深度值計算PA和pB在虛擬視點中的投影坐標ppA’與ppB’,其中U為非負整數；當pA對應的深度值與PB對應的深度值的差值小于閾值Tl時，對由ppA’和ppB’構成的閉區間中的所有像素點中的任意一個像素點pC’，在從pA到pB的U+2個像素點中選擇ー個像素點PC，將pC的像素值賦值給pC’的像素值；所述pC為在所述的從pA到pB的U+2個像素點中使得IpCpAl與IpApBl的比例SI和pC，ppA，|與ppA，ppB，的比例S2最接近或次最接近的像素點，其中IpCpAl表示pC與pA之間的距離，IpApBl表示pA與pB之間的距離，|pC，ppA，I表示pC’與ppA’之間的距離，|ppA，ppB，|表示ppA’與ppB’之間的距離；當PA對應的深度值與pB對應的深度值的差值大于等于閾值Tl吋，將 PB的像素值賦值給由ppA’和ppB’構成的閉區間中與坐標ppB’的距離小于閾值T2的像素點，將PA的像素值賦值給由ppA’和ppB’構成的閉區間中的其余像素點的像素值。2.如權利要求I所述的ー種虛擬視像素生成方法，其特征在于其所述的在從PA到pB的U+2個像素點中選擇ー個像素點pC為以下方法之一Ca)計算從pA到pB的U+2個像素點中任意像素點pX對應的比例S1X，所述的SlX為pXpA I與I pApB I的比例；比較所有所述的U+2個像素點各自對應的SlX與比例S2的接近程度，將所有所述的U+2個像素點各自對應的比例中與S2最接近或次最接近的比例SI對應的像素點確定為pC ；(b)按比例S2在pA與pB之間確定坐標ppC,所述的ppC與pA的距離| pAppC |為比例S2與I pApB I的乘積，比較所有從pA到pB的U+2個像素點與PPC的接近程度，將所有所述的U+2個像素點中與ppC最接近或次最接近的像素點確定為pC。3.如權利要求I所述的ー種虛擬視像素生成方法，其特征在于當所述的U+2個像素點為等間距分布吋，其所述的在從PA到pB的U+2個像素點中選擇ー個像素點pC為令PC等于從pA到pB的U+2個像素點中的第V像素點(O彡V彡U+1)，其中V=[52 * (び + I) + O. 5]。4.一種虛擬視像素生成裝置，其特征在于，包含投影坐標計算模塊、像素點選擇模塊和像素點賦值模塊所述的投影坐標計算模塊輸入像素點PA、像素點pB、pA對應的深度值與PB對應的深度值，利用PA與pB的深度值計算像素點pA與pB在虛擬視點中的投影坐標ppA’與ppB’，輸出坐標ppA’與ppB’至像素點導出模塊；所述的像素點導出模塊輸入從像素點PA到pB的U+2個像素點、pA對應的深度值與pB對應的深度值、閾值Tl與T2、像素點pC’的坐標ppC’、來自投影坐標計算模塊的坐標ppA’與ppB’ ；當pA對應的深度值與pB對應的深度值的差值小于Tl時，在從pA到pB的U+2個像素點中選擇ー個像素點PC，所述pC為在所述的從pA到pB的U+2個像素點中使得I pCpA與IpApB!的比例SI和IppC’ppA’ |與IppA’ppB’ |的比例S2最接近或次最接近的像素點，其中U為非負整數，IpCpAl表示pC與pA之間的距離，IpApBl表示pA與pB之間的距離，|ppC’ ppA’ I表示ppC’與ppA’之間的距離，|ppA’ ppB’ |表示ppA’與ppB’之間的距離；當PA對應的深度值與PB對應的深度值的差值大于等于Tl時若ppC’與ppB’的距離小于T2，則令pC等于pB ;否則，令pC等于pA，輸出像素點pC至像素點賦值模塊；所述的像素點賦值模塊輸入像素點pC’、來自像素點導出模塊的pC，并將PC的像素值賦值給pC’的像素值，輸出像素點pC’。5.如權利要求4所述的ー種虛擬視像素生成裝置，其特征在于所述的像素點導出模塊包含一比例計算模塊，輸入從像素點PA到pB的U+2個像素點、像素點pC’的坐標ppC’和來自投影坐標計算模塊的坐標PPA’與ppB’ ；逐一計算得到所述的U+2個像素點各自對應的比例,記從PA到pB的U+2個像素點中的任意ー個像素點為pX,其中pX對應的比例SlX為I pXpA I與I pApB I的比例，I pXpA |表示pX與pA的距離，| pApB |表示pA與pB的距離；計算得到比例S2,其中S2為|ppC，ppA，I與|ppA，ppB，|的比例，|ppC，ppA，|表示ppC’與ppA’的距離，|ppA’ ppB’ I表示ppA’與ppB’的距離，輸出從pA到pB的U+2個像素點各自對應的比例、比例S2至比例比較模塊；一比例比較模塊，輸入從PA到pB的U+2個像素點、來自比例計算模塊的從PA到pB的U+2個像素點各自對應的比例和比例S2 ;記從pA到pB的U+2個像素點中任意像素點對應的比例為SIX,逐一比較SlX與S2的接近程度，將所有所述的U+2個像素點各自對應的比例中與S2最接近或次最接近的比例對應的像素點確定為PD，輸出像素點pD至像素點選擇模塊；和一像素點選擇模塊，輸入像素點PA、像素點PB、像素點pA對應的深度值與像素點PB對應的深度值、閾值Tl和T2、來自比例比較模塊的像素點PD ;當pA對應的深度值與pB對應的深度值的差值小于Tl吋，將pD確定為pC ;當pA對應的深度值與PB對應的深度值的差值大于等...

【專利技術屬性】
技術研發人員：虞露，張熠辰，趙寅，
申請(專利權)人：浙江大學，
類型：發明
國別省市：