用于生成三維圖像的方法和裝置制造方法及圖紙

一種自動立體3D顯示器包括用于生成中間3D圖像的第一單元（503）。中間3D圖像包括多個區，并且第一單元（503）布置成生成用于所述區的對應于不同視圖方向的像素值的第一數目的圖像塊。圖像塊的數目對于所述多個區中的一些區是不同的。第二單元（505）從中間3D圖像生成包括數個視圖圖像的輸出3D圖像，其中每一個視圖圖像對應于視圖方向。顯示器還包括顯示布置（301）和用于驅動顯示布置（301）以顯示輸出3D圖像的驅動器（507）。適配器（509）布置成響應于中間3D圖像或第一圖像生成單元（503）布置成從其生成中間圖像的三維場景的表示的性質而針對第一區適配圖像塊的數目。

【技術實現步驟摘要】
【國外來華專利技術】用于生成三維圖像的方法和裝置
本專利技術涉及三維圖像的處理，并且特別地但不排他地，涉及生成用于在自動立體顯示器上呈現的三維圖像。
技術介紹
三維（3D）顯示器正在受到日益增加的關注，并且如何向觀看者提供三維感知方面的顯著研究正在著手進行中。3D顯示器通過為觀看者的兩只眼睛提供被觀賞的場景的不同視圖來向觀看體驗添加第三維度。這可以通過使用戶佩戴眼鏡以分離所顯示的兩個視圖來實現。然而，由于這對于用戶而言相對不便，因此在許多情境中，合期望的是使用直接生成不同視圖并且向用戶的眼睛投影它們的自動立體顯示器。實際上，一段時間以來，各種公司已經主動開發適合用于再現三維成像的自動立體顯示器。自動立體設備可以在沒有對于特殊帽子和/或眼鏡的需要的情況下為觀看者呈現3D印象。自動立體顯示器一般提供用于不同觀看角度的不同視圖。以此方式，可以生成用于觀看者的左眼的第一圖像和用于右眼的第二圖像。通過顯示適當的圖像（即分別從左眼和右眼的視點來看是適當的），向觀看者傳達3D印象是可能的。自動立體顯示器往往是使用構件，諸如透鏡鏡頭或視差光柵/光柵掩模，以分離視圖和在不同方向上發送它們使得它們單獨到達用戶的眼睛。對于立體顯示器，要求兩個視圖但是大多數自動立體顯示器典型地利用更多視圖（諸如例如九個視圖）。為了滿足對于3D圖像效果的期望，創建內容以包括描述所捕獲到的場景的3D方面的數據。例如，對于計算機生成的圖形，三維模型可以被開發和用于計算來自給定觀看位置的圖像。這樣的方案例如頻繁地用于提供3D效果的計算機游戲。作為另一示例，視頻內容，諸如影片或電視節目，被日益增加地生成以包括某種3D信息。這樣的信息可以使用專用3D相機來捕獲，或者可以例如由還能夠捕獲深度的相機來捕獲，所述專用3D相機從略微偏移的相機位置捕獲兩個同時的圖像從而直接生成立體圖像。典型地，自動立體顯示器產生視圖的“錐體”，其中每一個錐體包含對應于場景的不同觀看角度的多個視圖。相鄰（或在一些情況下進一步移位的）視圖之間的觀看角度差異被生成以對應于用戶的右眼和左眼之間的觀看角度差異。相應地，其左眼和右眼看見兩個適當視圖的觀看者將感知到3D效果。其中在觀看錐體中生成九個不同視圖的這樣的系統的示例在圖1中圖示。許多自動立體顯示器能夠產生大數目的視圖。例如，產生九個視圖的自動立體顯示器并非不常見。這樣的顯示器例如適合用于多觀看者情境，其中若干觀看者可以同時觀賞顯示器并且全部體驗3D效果。具有甚至更高數目的視圖的顯示器也已經被開發，包括例如可以提供例如28個不同視圖的顯示器。這樣的顯示器通常可以使用相對狹窄的視圖錐體，從而造成觀看者的眼睛同時從多個視圖接收光。而且，左眼和右眼將典型地位于不相鄰的視圖中（如在圖1的示例中那樣）。圖2圖示了來自多個子像素的3D像素（具有三個顏色通道）的形成的示例。在示例中，w是水平子像素間距，h是豎直子像素間距，N是每單個顏色拼塊的子像素的平均數目。透鏡鏡頭以s=tanθ傾斜，并且在水平方向上測量的間距以子像素間距為單位是p。在3D像素內，粗線指示不同顏色的拼塊之間的分離，并且細線指示子像素之間的分離。另一有用的量是子像素橫縱比：a=w/h。然后，N=a/s。對于RGB-條狀圖案上的常見傾斜1/6鏡頭，a=1/3并且s=1/6，因此N=2。如對于常規2D顯示器而言，圖像質量在大多數應用中對于3D顯示器是極重要的，并且尤其對于消費者市場非常重要，諸如例如對于3D電視或監視器。然而，不同視圖的表示提供附加復雜化和潛在的圖像降級。具體地，為了將要分配和處理的數據的量保持到可管理的量，3D內容典型地以基于非常低數目的2D圖像的格式提供。例如，3D圖像數據可以通過與由指示針對每一個像素的深度的深度圖支持的一個觀看角度對應的單個2D圖像來提供。另一常見表示提供兩個2D圖像，其中一個意在用于觀看者的左眼并且另一個用于觀看者的右眼。因此，三維圖像信息典型地以經壓縮的格式提供，并且典型地通過相對低數目的不同視點圖像來表示。為了提供用于自動立體顯示器的每一個單獨視圖方向的視圖圖像，相應地必要的是向所接收到的數據應用大量處理。具體地，為了生成用于自動立體顯示器的視圖圖像，典型地必要的是執行再現以及還有（3D）圖像處理。例如，基于深度信息的視點漂移通常是必要的以生成附加視圖。作為另一示例，在一些應用中，3D圖像數據直接通過評估3D模型被生成，諸如例如通過基于3D模型生成圖像數據。模型可以例如遵從OpenGL圖形標準并且可以與紋理組合地包含三角形和/或網格。因此，在一些應用中，可以通過評估三維場景的3D圖形模型來生成用于特定觀看角度的圖像。當使用自動立體顯示器以用于3D呈現時，投影對應于不同觀看角度的相對大數目的單獨視圖，諸如典型地9、15或29個視圖。相應地，必須生成對應于不同觀看角度的大數目的圖像。這可以通過執行用于每一個視圖的輸入3D圖像數據的3D處理來實現。例如，對于每一個視圖，處理對應于默認觀看角度的輸入圖像以生成用于期望的觀看角度的對應視圖。該3D處理特別地包括取決于其深度的像素的視差偏移、不遮擋區域中的填充等。類似地，在基于評估3D模型的一些系統中，可以針對每一個視圖評估模型以生成對應于該觀看角度的圖像。因此，在一些系統中，執行3D處理以生成用于自動立體顯示器的每一個視圖的圖像。然而，這樣的方案的缺點在于，其在計算上需求非常高并且要求高計算資源。這可能對于作為例如要求實時處理的視頻序列或游戲的部分的3D圖像而言特別關鍵。為了降低計算復雜度，已經提出僅再現為了自動立體顯示所要求的圖像的子集。例如，3D處理可以生成僅8個圖像以用于15個視圖圖像。在這樣的系統中，用于每一個視圖的圖像可以通過選擇對應于到該視圖的最接近的觀看角度的所生成的圖像而生成。在一些系統中，給定視圖圖像可以通過在例如圍繞當前視圖圖像的兩個經再現的圖像（即對應于每一個方向上具有最接近的觀看角度的圖像）之間的簡單線性內插來生成。實際上，當前，當為了自動立體3D顯示而再現內容時，典型的方案是再現對應于給定觀看角度的固定數目的圖像。隨后，對于自動立體顯示的每一個像素，確定所要求的輸出觀看角度，并且然后通過選擇針對最靠近的觀看角度的經再現的圖像中的對應像素或者通過圖像的像素與最靠近的觀看角度的加權求和來生成像素。然而，盡管這樣的方案可能減少總體計算資源使用，但是其還往往引入數個缺點。特別地，該方案往往降低所感知到的圖像質量并且引入數個偽像。例如，如果相對低數目的圖像通過3D處理被再現，則所感知到的3D圖像中的邊緣將往往展現出重影效果（例如通常經體驗到對象邊緣的多個略微移位的副本）。而且，如果用戶相對于顯示器移動使得觀看者的眼睛移動通過視圖錐體的多個視圖，則結果得到相對不均勻的體驗，其中當觀看者的眼睛在視圖之間移動時，圖像對象可能看起來在位置方面跳動或抖動。因此，為了產生高圖像質量，合期望的是再現大數目的圖像。然而，這增加復雜度和資源使用，并且因而存在質量與復雜度之間的固有折衷，這往往在現有技術系統中是次優的。因而，用于生成視圖圖像的改進的方案將是有利的，并且特別地，允許增加的靈活性、改進的圖像質量、降低的復雜度、降低的資源需求、復雜度與所感知到的圖像質量之間的改進的折衷和/或改進的性能的方案將是有利的本文檔來自技高網...

【技術保護點】
一種用于生成輸出三維圖像的裝置，所述裝置包括：第一圖像生成單元（503），其用于生成中間三維圖像，中間三維圖像（503）包括作為中間三維圖像（503）的空間細分的多個區，并且第一圖像生成單元（503）布置成生成用于所述多個區的像素值的數個圖像塊，圖像塊的數目對于所述多個區中的至少兩個區是不同的，并且每一個圖像塊包括用于對應于視圖方向的像素分組的像素值；第二圖像生成單元（505），其用于從中間三維圖像生成包括數個視圖圖像的輸出三維圖像，所述數個視圖圖像中的每一個對應于視圖方向；適配器（509），其用于響應于中間三維圖像和第一圖像生成單元（503）布置成從其生成中間三維圖像的三維場景的表示中的至少一個的性質而關于不同觀看方向適配用于所述多個區中的至少第一區的數個圖像塊。

【技術特征摘要】
【國外來華專利技術】2014.06.19 EP 14173093.71.一種用于生成輸出三維圖像的裝置，所述裝置包括：第一圖像生成單元（503），其用于生成中間三維圖像，中間三維圖像（503）包括作為中間三維圖像（503）的空間細分的多個區，并且第一圖像生成單元（503）布置成生成用于所述多個區的像素值的數個圖像塊，圖像塊的數目對于所述多個區中的至少兩個區是不同的，并且每一個圖像塊包括用于對應于視圖方向的像素分組的像素值；第二圖像生成單元（505），其用于從中間三維圖像生成包括數個視圖圖像的輸出三維圖像，所述數個視圖圖像中的每一個對應于視圖方向；適配器（509），其用于響應于中間三維圖像和第一圖像生成單元（503）布置成從其生成中間三維圖像的三維場景的表示中的至少一個的性質而關于不同觀看方向適配用于所述多個區中的至少第一區的數個圖像塊。2.權利要求1的裝置，其中性質是深度度量。3.權利要求1的裝置，其中性質是對比度度量。4.權利要求1的裝置，其中適配器（509）還布置成響應于針對第一圖像生成單元（501）的計算資源可用性而確定用于第一區的圖像塊的數目。5.權利要求1的裝置，其中所述多個區包括由至少一個像素行形成的區。6.權利要求1的裝置，其中所述多個區中的至少一個區僅包括像素行的像素的子集。7.權利要求1的裝置，其中第一圖像生成單元（503）布置成生成針對第一數目的觀看方向的用于所述多個區中的所有區的圖像塊，并且適配器（509）布置成隨后響應于針對第一數目的觀看角度的每一個區的圖像塊之間的視差而選擇針對其生成針對至少一個附加視圖方向的圖像塊的所述多個區中的區的子集。8.權利要求1的裝置，其中適配器（509）布置成響應于視差度量超過閾值而選擇針對其生成針對至少一個附加觀看角度的圖像塊的區，視差度量是對于針對與附加觀看角度相鄰的兩個觀看角度的兩個圖像塊的視差的度量。9.權利要求1的裝置，其中適配器（509）布置成確定針對其的深度度量在閾值以下的區的子集，...

【專利技術屬性】
技術研發人員：PLE范德瓦勒，B克魯恩，C瓦雷坎普，
申請(專利權)人：皇家飛利浦有限公司，
類型：發明
國別省市：荷蘭,NL