一種視頻序列碼流及其解碼方法技術

本發明專利技術公開一種視頻序列碼流，用于提供通過攝像機參數集來傳輸視頻序列的攝像機參數，所述攝像機參數集包含V×F×M個參數，V為所述參數集對應的視點個數，F為所述參數集對應的幀個數，M為所述參數集包含的攝像機參數的類型數；所述攝像機參數集還包含有該攝像機參數集對應的視點中的I個視點的視點序號；所述攝像機參數集還包含有該攝像機參數集對應的J個視點中的起始幀的幀序號。本發明專利技術還公開了一種上述視頻序列碼流的解碼方法，通過將視頻序列碼流中的攝像機參數集解碼為攝像機參數數組，使各幀在編碼和解碼過程中可以方便地獲取其對應的攝像機參數。在本發明專利技術中，一個幀可以靈活地使用一個或多個攝像機參數集中的部分參數。

【技術實現步驟摘要】
一種視頻序列碼流及其解碼方法
本專利技術涉及多媒體通信領域，特別是一種視頻序列碼流及其解碼方法。
技術介紹
一個視頻序列的碼流不僅包含編碼各幀圖像直接產生的碼流，還包括一些參數信息，如圖像寬度、圖像高度等，這些參數通常被組織在一個稱為參數集的語法結構中，編碼成為參數集碼流，例如H.264/AVC中的序列參數集(SequenceParameterSet，簡稱SPS)和圖像參數集(PictureParameterSet，簡稱PPS)。廣義的說，一個視頻序列包含V(V≥1)個視點，每個視點包含F(F≥1)幀圖像；當V＝1時，這樣的視頻序列為常見的單視點視頻序列；當V＞1時，這樣的視頻序列通常也稱為多視點視頻序列。采用H.264/AVC等編碼標準時，一幀圖像可以劃分為多個條帶(slice)，對每個條帶分別進行編碼和解碼。每個條帶含有一個條帶頭(sliceheader)，包含了這個條帶的一些編碼參數。在H.264/AVC中的分層結構中，使用了圖像參數集和序列參數集兩級參數集來描述視頻序列的一些參數。參數集可以被條帶引用，即根據條帶含有的參數集序號，找到對應序號的參數集，從中獲取參數。例如，條帶能夠根據其含有的序列參數集序號，在對應序號的序列參數集中獲取該條帶所在視點的視點序號；條帶也能夠根據其含有的圖像參數集序號，在對應序號的圖像參數集中獲取到圖像播放順序(PictureOrderCount，簡稱POC)編碼方法等參數，利用這些參數以及條帶頭中的參數信息，條帶能夠獲取到該條帶所在幀的幀序號，即圖像播放順序。因此，視頻序列的每一幀可以通過其包含的條帶，獲得該幀所在視點的視點序號和該幀的幀序號。值得注意的是，為了限制幀序號的無限制增加，通常要將幀序號限制在某一范圍內，幀序號則在此范圍內進行循環，例如要將幀序號限制在255以內，則只需將幀序號對256進行取模運算，即可使幀序號按照0，1，2...254，255，0，1...的方式進行循環，該限制范圍一般被保存在序列參數集中。此外，同一個圖像參數集也可以被多個圖像引用。隨著技術的發展，特別是三維圖像獲取技術和三維顯示設備的發展，視頻序列除了包含一個或多個視點的紋理信息之外，還可能包括一個或多個視點的深度信息，也可能再包含一個或多個視點的攝像機參數。攝像機參數可包括如焦距等內參數、以及攝像機相對于某一參考點的距離等外參數；當視頻序列包含深度信息時，攝像機參數通常還會包括深度信息所對應的最遠平面的深度數值和最近平面的深度數值。這些視頻序列攝像機參數可能是解碼視頻序列的紋理信息或深度信息所必需的參數，也可能是合成虛擬視點的紋理信息或深度信息所必須的參數，因此在某些應用下需要編碼成為碼流，進行傳輸。當前的H.264/AVC標準中，攝像機參數僅可包含在輔助增強信息(SupplementalEnhancementInformation，簡稱SEI)這種語法結構中。SEI獨立于視頻圖像內容，用于存儲影片簡介、版權信息、用戶自行定義的資料等，每個條帶的編碼和解碼過程并不引用SEI，或者說視頻圖像的編碼和解碼和SEI無關。但是對于包含深度信息的三維視頻序列，編碼和解碼過程中各幀需要用到攝像機參數，例如用于合成目標視點圖像作為視間參考幀，即常說的viewsynthesisprediction。對于這樣的三維視頻序列，如果按照現有的H.264/AVC標準中的技術將攝像機參數包含在輔助增強信息中，將無法使得各條帶在編碼和解碼過程中引用到需要的攝像機參數，從而導致編碼和解碼過程無法正常進行。如果將攝像機參數包含在條帶頭中，則編碼和解碼過程可以正常進行，但是編碼效率很低。在AVS，HEVC等類似的視頻編解碼標準中，也存在類似的問題。
技術實現思路
本專利技術提出一種視頻序列碼流，用于提供一個新的語法結構，即攝像機參數集來傳輸視頻序列的攝像機參數。相應的，攝像機參數集信息需要被編碼成碼流，組成視頻序列碼流的一部分。本專利技術一實施例提出一種視頻序列碼流，其至少包含一個攝像機參數集；所述每個攝像機參數集包含V×F×M個參數；V為所述攝像機參數集對應的視點個數，F為所述攝像機參數集對應的幀個數，M為所述攝像機參數集包含的攝像機參數的類型數；所述攝像機參數集還包含有該攝像機參數集對應的視點中的I個視點的視點序號Pi(i＝1，2，...I)；所述攝像機參數集還包含有該攝像機參數集對應的J個視點中的起始幀的幀序號Sj(j＝1，2，...J)；其中V、F、M為正整數，I、J為不大于V的非負整數。進一步的，所述的視頻序列碼流還包含K幀圖像信息，所述K幀圖像信息中的每一幀與所述的攝像機參數集中的M個攝像機參數對應，所述的對應是M個攝像機參數由K幀圖像信息中的每一幀所在視點的視點序號和所述幀的幀序號確定，其中K為正整數。本專利技術的另一實施例提出一種對上述視頻序列碼流的解碼方法，該解碼方法解碼至少一個攝像機參數集，解碼步驟至少包括：(1)獲得視點序號Pi和起始幀的幀序號Sj；(2)獲得一個包含Vd×Fd×Md個元素的攝像機參數數組，數組的每個元素均為攝像機參數；Vd為該數組對應的視點個數，Fd為該數組對應的幀個數，Md為該數組包含的攝像機參數的類型數，其中Vd、Fd、Md均為正整數；(3)所述的攝像機參數數組對應于幀序號從Sj開始的連續Fd個幀的攝像機參數。進一步的，所述解碼方法獲取視點序號和起始幀的幀序號的方法為以下兩種方法之一：(1)當所述視頻序列碼流中包含其對應的V個視點中的全部視點的視點序號時(即I＝V時)，視點序號直接從碼流中得到；當所述視頻序列碼流中包含其對應的V個視點中的全部視點的起始幀的幀序號時，即J＝V時，起始幀的幀序號直接從碼流中得到；(2)當所述視頻序列碼流中不包含其對應的V個視點中的一個或多個的視點序號時，即I＜V時，根據編解碼端約定好的規則獲得所述視頻序列碼流中不包含的視點序號；當所述視頻序列碼流中不包含其對應的V個視點中的一個或多個的起始幀的幀序號時，即J＜V時，根據編解碼端約定好的規則獲得所述視頻序列碼流碼流中不包含的起始幀的幀序號。進一步的，所述解碼方法中的視頻序列碼流還包含K幀圖像信息，所述K幀圖像信息中的每一幀與所述的攝像機參數數組中的Md個攝像機參數對應，所述的對應是Md個攝像機參數由K幀圖像信息中的每一幀所在的視點的視點序號和所述幀的幀序號確定，其中K為正整數。從以上技術方案可以看出，本專利技術實施例具有以下優點：本專利技術提出的一種視頻序列碼流，其包含一個新的與編碼和解碼相關的語法結構，即攝像機參數集，用來傳輸視頻序列的攝像機參數；并在每個攝像機參數集中加入了該攝像機參數集對應的起始幀的幀序號，從而實現了各幀在編碼和解碼過程中對攝像機參數集的使用。本專利技術提出的一種視頻序列碼流的解碼方法，通過將視頻序列碼流中的攝像機參數集解碼為攝像機參數數組，使各幀在編碼和解碼過程中可以方便地獲取其對應的攝像機參數。在本專利技術中，一個幀可以靈活地使用一個或多個攝像機參數集中的部分參數。具體實施方式本專利技術的解碼方法適用于多種類型的參數，如攝像機的焦距等內參數、位置等外參數，以及視點對應的深度數據的最遠深度平面、最近深度平面等參數。本專利技術實施例的視頻序列碼流至少包含一個攝像機參數集；所述每個攝像機參數集包含V×F本文檔來自技高網...

【技術保護點】
一種視頻序列碼流，其特征在于，至少包含一個攝像機參數集；所述每個攝像機參數集包含V×F×M個參數；V為所述攝像機參數集對應的視點個數，F為所述攝像機參數集對應的幀個數，M為所述攝像機參數集包含的攝像機參數的類型數；所述攝像機參數集還包含有該攝像機參數集對應的視點中的I個視點的視點序號Pi(i＝1，2，...I)；所述攝像機參數集還包含有該攝像機參數集對應的J個視點中的起始幀的幀序號Sj(j＝1，2，...J)；其中V、F、M為正整數，I、J為不大于V的非負整數。

【技術特征摘要】
1.一種視頻序列碼流的解碼方法，其特征在于：所述視頻序列碼流至少包含一個攝像機參數集，所述每個攝像機參數集包含V×F×M個參數；V為所述攝像機參數集對應的視點個數，F為所述攝像機參數集對應的幀個數，M為所述攝像機參數集包含的攝像機參數的類型數；所述攝像機參數集還包含有該攝像機參數集對應的視點中的I個視點的視點序號Pi(i＝1,2,…I)；所述攝像機參數集還包含有該攝像機參數集對應的J個視點中的起始幀的幀序號Sj(j＝1,2,…J)；其中V、F、M為正整數，I、J為不大于V的非負整數；解碼至少一個攝像機參數集，至少包括如下步驟：(1)獲得視點序號Pi和起始幀的幀序號Sj；(2)獲得一個包含Vd×Fd×Md個元素的攝像機參數數組，數組的每個元素均為攝像機參數；Vd為該數組對應的視點個數，Fd為該數組對應的幀個數，Md為該數組包含的攝像機參數的類型數，其中Vd、Fd、Md均為正整數；(3)所述的攝像機參數數組對應于幀序號從Sj開始的連續Fd個幀的攝像機參數。2.根據權利要求1所述的視頻序列碼...

【專利技術屬性】
技術研發人員：虞露，呂鵬，趙寅，
申請(專利權)人：浙江大學，
類型：發明
國別省市：