影像提供裝置向用戶提供使用立體照片的沒有不舒適感的自然的隨后體驗。具體而言，在特征點提取器（15、22）中提取前景圖像和背景圖像的特征點。立體匹配模塊（25）搜索前景圖像的特征點與背景圖像的特征點的對，利用這些對，得到用于將前景圖像投影到背景圖像內部的變換矩陣。針對與前景圖像對應的深度前景數據，實施基于匹配單元得到的變換矩陣的變換。最后，通過執行基于變換后的深度前景數據的基于深度的繪制，得到與前景圖像對應的兩個以上的視點圖像。
【技術實現步驟摘要】
【國外來華專利技術】
本專利技術屬于圖像合成技術的
技術介紹
圖像合成技術是指如下技術對應該在背景圖像的哪個位置合成前景圖像進行解析，選擇最佳位置，將前景圖像合成到背景圖像中。這里，在選擇用戶個人拍攝的照片作為前景圖像、選擇該拍攝地點的街景作為背景圖像進行合成的情況下，能夠向用戶提供使用戶隨后體驗該拍攝時的氛圍的合成影像。具體而言，目前，在因特網上運營街景檢索服務這樣的服務，在該服務中，在服務器內蓄積世界范圍內收集的背景圖像。如果下載該背景圖像中的期望圖像并與用戶拍攝的 人物進行合成，則能夠以各種角度再現該拍攝當時的氛圍。這樣，將以街景檢索服務為前提進行用戶個人照片的拍攝時的隨后體驗的功能稱為隨后體驗功能。現有技術文獻專利文獻專利文獻I :US6，711，293B
技術實現思路
專利技術要解決的課題作為隨后體驗功能的進一步的發展形式，存在要實現作為立體視照片的前景圖像和作為立體視街景的背景圖像的合成的動向。這里，關于立體視的實現，存在以下方法使用深度圖像生成右眼圖像和左眼圖像這2個視點圖像；以及在拍攝時得到右眼圖像和左眼圖像這2個視點圖像，它們在圖像中表現的建筑物的進深不同。即，即使對地球上的同一場所進行拍攝，由于照相機所取的建筑物或人物的進深不同，所以，在對照片和街景進行合成時，人物和建筑物的進深感也不協調，得到不耐看的立體視圖像。這里，考慮進行專利文獻I所記載的特征點提取，在前景圖像和背景圖像中進行平面的定位，但是，在背景圖像和照片中，深度圖像完全不同，在街景的近前大幅突現照片、或者照片進入街景里側的情況下，即使通過專利文獻I的技術對平面的位置關系進行匹配，也無法消除由于上述不協調感而導致的視覺上的不匹配。本專利技術的目的在于，提供如下的影像提供裝置即使在將在完全不同的條件下拍攝的前景圖像合成到背景圖像中的情況下，也能夠生成沒有不舒適感的立體視圖像。用于解決課題的手段在背景圖像為街景、前景圖像為照片這樣的假設下提示了技術課題，但是，該假設只不過是在說明上述技術課題時選擇身邊的題材，本申請中作為對象的技術課題不限于背景圖像和前景圖像為上述例子的情況。關于上述技術課題，在將對進深感稍微不同的兩張圖像進行合成的技術應用于工業產品時，本申請的
的從業人員直面的視覺上的不匹配的消除全部是本申請的技術課題。能夠解決上述課題的影像提供裝置將背景圖像數據粘貼在三維建?？臻g中的立體模型的內側表面后，對前景圖像數據進行合成，其特征在于，該影像提供裝置具有提取單元，提取前景圖像數據和背景圖像數據的特征點；匹配單元，搜索前景圖像數據的特征點和背景圖像數據的特征點的對，通過利用這些對，得到用于將前景圖像數據投影到背景圖像數據的內部的變換矩陣；變換單元，針對與前景圖像數據對應的深度前景數據，基于匹配單元得到的變換矩陣實施變換；基于深度的繪制單元，通過對前景圖像數據實施基于變換后的深度前景數據的基于深度的繪制，得到與前景圖像數據對應的2個以上的視點圖像數據；以及合成單元，進行與前景圖像數據對應的2個以上的視點圖像數據和與背景圖像數據對應的2個以上的視點圖像數據的合成。專利技術效果得到用于將前景圖像投影到背景圖像的變換矩陣，根據該變換矩陣對前景圖像的深度圖像進行變換，所以，取得前景圖像的深度圖像所示的進深與背景圖像的進深的匹配。如果根據這樣進行變換后的前景圖像的深度圖像生成2個以上的視點圖像，則不會產生從背景圖像中異樣突現、或前景圖像異樣遠離背景圖像這樣的不自然的立體感。由此，能夠生成發揮適當立體視效果的合成影像。由于不會產生上述這種立體視再現時的不協調感，所以，能夠展開隨后體驗提供這樣的新的網絡服務。并且，通過使電視機、記錄器、攝像機、數字照相機這樣的家電產品具有該功能，能夠實現家電產品的高附加價值。具有該課題解決手段的影像提供裝置的專利技術記載于本申請的技術方案中的第一個技術方案即技術方案I中。這里，通過在該影像提供裝置的專利技術中追加其他的專利技術特定事項，并且，將該系統的專利技術的專利技術特定事項從上位概念的事項置換為下位概念的事項，能夠進一步使上述再現裝置的專利技術發揮效果。這些專利技術特定事項的追加、專利技術特定事項的下位概念化的變化如下所述，這些變化在技術方案中進行區分而記載于技術方案2以下的從屬技術方案中。雖然是任意的，但是也可以是，設所述前景圖像數據上的某個特征點f (xf、yf)、與特征點f (Xf、yf)對應的背景圖像數據的特征點F (XF、YF)、以及特征點F (XF、YF)的深度值ZF為X、Y、Z坐標，應用于以下的數I的數學式，從而得到變換矩陣H。權利要求1.一種影像提供裝置，將背景圖像數據粘貼在三維建?？臻g中的立體模型的內側表面后，對前景圖像數據進行合成，其特征在于，該影像提供裝置具有 提取單元，提取前景圖像數據和背景圖像數據的特征點； 匹配單元，搜索前景圖像數據的特征點和背景圖像數據的特征點的對，通過利用這些對，得到用于將前景圖像數據投影到背景圖像數據的內部的變換矩陣； 變換單元，針對與前景圖像數據對應的深度前景數據，基于匹配單元得到的變換矩陣實施變換； 基于深度的繪制單元，通過對前景圖像數據實施基于變換后的深度前景數據的基于深度的繪制，得到與前景圖像數據對應的2個以上的視點圖像數據；以及 合成單元，進行與前景圖像數據對應的2個以上的視點圖像數據和與背景圖像數據對應的2個以上的視點圖像數據的合成。2.如權利要求I所述的影像提供裝置，其特征在于， 設所述前景圖像數據上的某個特征點f (xf、yf)、與特征點f (xf、yf)對應的背景圖像數據的特征點F (XF、YF)、以及特征點F (XF、YF)的深度值ZF為X、Y、Z坐標，應用于以下的數I的數學式，從而得到變換矩陣H。 3.如權利要求I所述的影像提供裝置，其特征在于， 所述影像提供裝置還具有取得單元，該取得單元取得由立體視照相機拍攝的照片圖像數據，所拍攝的照片圖像數據具有右眼照片數據和左眼照片數據， 所述變換單元還通過對背景圖像數據的拍攝方向和各照片圖像的拍攝方向進行比較，決定將右眼照片數據和左眼照片數據中的哪個照片數據作為基點圖像， 所述前景圖像數據被決定為右眼照片數據和左眼照片數據中的基點圖像數據。4.如權利要求3所述的影像提供裝置，其特征在于， 所述影像提供裝置具有深度圖像生成單元，該深度圖像生成單元根據右眼照片數據和左眼照片數據生成與照片有關的深度圖像， 變換單元進行變換的深度前景數據是由深度圖像生成單元生成的深度圖像。5.如權利要求3所述的影像提供裝置，其特征在于， 所述基于深度的繪制單元根據深度前景數據所示的進深，使左眼照片數據和右眼照片數據中的不是基點圖像的圖像的像素的坐標在水平方向位移，從而再次生成圖像數據， 所述2個以上的視點圖像數據由左眼照片數據和右眼照片數據中的不是基點圖像數據的圖像數據和再次生成的圖像數據構成。6.如權利要求I所述的影像提供裝置，其特征在于， 針對影像提供裝置，預先確定應該進行探索的特征點應取的進深的容許等級， 所述匹配單元在從前景圖像數據中搜索用于與立體街景視點進行匹配的特征點時，排除進深分布的中心在容許范圍外的特征點，在背景圖像數據中的特征點和前景圖像數據中的特征點中的、進深分布的中心在容許范圍內的特征點彼此之間進行本文檔來自技高網...
【技術保護點】
【技術特征摘要】
【國外來華專利技術】...
【專利技術屬性】
技術研發人員：杰爾馬諾·萊希森林，片山朋子，大戶英隆，富永宣輝，
申請(專利權)人：松下電器產業株式會社，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。