使表示不同視點的視頻對準制造技術

一種用于生成全景視頻重混的方法，用于：在處理設備中獲取多個源視頻(700)，確定源視頻根據事件以形成全景或者多角度視頻重混的適合性(702)，選擇(704)適合的源視頻中的至少兩個源視頻并且使其對準(706)。該適合的源視頻表示對事件的相應的觀看角度或視點。源視頻的適合性可以使用位置元數據或公共音頻場景的存在來確定。

【技術實現步驟摘要】
【國外來華專利技術】使表示不同視點的視頻對準
各個實施例總體上涉及圖像處理，更具體地涉及全景。
技術介紹
視頻重混是一種將多個視頻記錄進行組合以獲取包含選自多個視頻記錄的一些分段的視頻混合的應用。因而，視頻重混是已經可用于各種軟件產品和服務的基本手動視頻編輯應用之一。此外，存在有自動視頻重混或編輯系統，這些系統使用用戶生成的多個實例或者專業記錄來自動生成將來自可用源內容的內容進行組合的重混。視頻重混可以應用于例如根據來自同一事件(例如內容)的多個用戶生成的視頻捕獲來創建視頻重混。關注該內容的人可以向服務器上載用他們自己的照相機捕獲的視頻，然后，通過該服務器上的視頻重混應用來執行視頻編輯和元數據提取，使得用關于該內容的靈巧的元數據標記的視頻可以準備好用于下載/共享為這樣的視頻或者來自多個視頻捕獲的重混。然而，例如由于很多人從大致相同的位置捕獲他們的視頻記錄的這一事實，上載在服務器上的視頻捕獲通常在它們的信息內容方面具有大量冗余。因此，該內容將在某個時間段從某個視點被多次捕獲。數據冗余將會使得服務器很龐大，并且也能使得用戶迷失在視頻下載中。另一問題是，如果用戶從服務器下載視頻重混，則用戶通常限于從通過視頻重混應用所選擇的視點來觀看事件。如果用戶想要從另一角度來觀看事件，則他/她需要從服務器下載另一視頻捕獲或者視頻重混。
技術實現思路
現在，已經專利技術有一種改進的方法以及實現該方法的技術設備以用于緩解以上問題。本專利技術的各個方面包括方法、裝置和計算機程序，其特征在于獨立權利要求中所指出的內容。本專利技術的各個實施例在從屬權利要求中公開。根據第一方面，提供有一種方法，包括:在處理設備中獲取多個源視頻；確定源視頻根據事件以形成全景視頻重混的適合性；選擇至少兩個適合的源視頻以用于全景視頻重混；以及將所述至少兩個適合的源視頻在幀級上合并成全景視頻重混，其中每個源視頻的幀表示對事件的觀看角度。根據一種實施例，源視頻根據事件以形成全景視頻重混的適合性根據以下中的至少一個來確定:-多個源視頻的位置信息的相似性；或者-在多個源視頻中的公共音頻場景的存在。根據一種實施例，位置信息從源視頻的元數據中獲取，所述位置信息與源視頻同時記錄。根據一種實施例，上述方法還包括:比較至少兩個源視頻的音頻場景的相似性；以及在預定數量的相似性的基礎上，確定所述至少兩個源視頻來自同一事件。根據一種實施例，上述方法還包括:根據源視頻來估計圖像捕獲設備與感興趣的捕獲對象之間的捕獲距離；以及選擇要在全景視頻重混中使用的具有在預定范圍內的捕獲距離的若干源視頻。根據一種實施例，上述方法還包括:從至少兩個源視頻的幀中搜索感興趣的公共捕獲對象，所述至少兩個視頻是用不同的捕獲距離捕獲的；響應于從所述至少兩個源視頻的幀中檢測到至少一個感興趣的公共捕獲對象，對所述至少兩個源視頻的幀應用至少一個仿射變換處理以便以兼容比例尺來變換所述至少一個感興趣的公共捕獲對象；以及將所述至少兩個源視頻選擇為要在全景視頻重混中使用。根據一個實施例，所選擇的源視頻具有不同的幀率并且全景視頻重混具有可變幀率。根據一個實施例，上述方法還包括:分析所選擇的源視頻的音頻場景；以及響應于檢測到公共音頻分量，在公共音頻分量的基礎上使源視頻以時間軸對準。根據一個實施例，上述方法還包括:確定時間間隔，其中在所述時間間隔內的源視頻的幀可貢獻給全景視頻幀；以及選擇在所述時間間隔內的被用于創建單個全景視頻幀的源視頻的幀中的至少一個幀。根據一個實施例，上述方法還包括:接收用于下載全景視頻重混的第一用戶請求，所述用戶請求包括下載從第一觀看角度的全景視頻重混的請求；以及開始從全景視頻重混下載僅表示所請求的第一觀看角度的源視頻的幀。根據一個實施例，上述方法還包括:接收用于下載從第二觀看角度的全景視頻重混的第二用戶請求；停止下載表示所請求的第一觀看角度的源視頻的幀；以及開始從全景視頻重混下載僅表示所請求的第二觀看角度的源視頻的幀。根據第二方面，提供了一種裝置，至少包括一個處理器、包含計算機程序代碼的存儲器，存儲器和計算機程序代碼被配置成與至少一個處理器一起使得所述裝置至少:獲取多個源視頻；確定源視頻根據事件以形成全景視頻重混的適合性；選擇至少兩個適合的源視頻以用于全景視頻重混；以及將所述至少兩個適合的源視頻在幀級上合并成全景視頻重混，其中每個源視頻的幀表示對事件的觀看角度。根據第三方面，提供了一種嵌入在非暫態計算機可讀介質上的計算機程序，該計算機程序包括當在至少一個處理器上執行時使得至少一個裝置進行以下操作的指令:獲取多個源視頻；確定源視頻根據事件以形成全景視頻重混的適合性；選擇至少兩個適合的源視頻以用于全景視頻重混；以及將所述至少兩個適合的源視頻在幀級上合并成全景視頻重混，其中每個源視頻的幀表示對事件的觀看角度。根據第四方面，提供了 一種方法，包括:發送用于從服務器下載全景視頻重混的第一用戶請求，所述用戶請求包括下載從第一觀看角度的全景視頻重混的請求；從全景視頻重混下載僅表示上述裝置的所請求的第一觀看角度的源視頻的幀；以及安排表示第一觀看角度的幀在上述裝置上顯示。根據第五方面，提供了一種裝置，至少包括一個處理器、包含計算機程序代碼的存儲器，存儲器和計算機程序代碼被配置成與所述至少一個處理器一起使得所述裝置至少:發送用于從服務器下載全景視頻重混的第一用戶請求，所述用戶請求包括下載從第一觀看角度的全景視頻重混的請求；從全景視頻重混下載僅表示上述裝置的所請求的第一觀看角度的源視頻的幀；以及安排表示第一觀看角度的所述幀在上述裝置上顯示。鑒于下面進一步描述的實施例的詳細公開內容，本專利技術的這些和其他方面及其相關的實施例將變得清楚。【附圖說明】下面，將參考附圖更詳細地描述本專利技術的各個實施例，其中:圖1a和圖1b示出了根據一個實施例的適合于在全景視頻重混服務中使用的系統和設備；圖2示出了全景視頻重混服務的實現方式實施例的框圖；圖3示出了根據一個實施例的使用所選擇的源幀的時間對應的幀的全景視頻重混的幀的創建；圖4示出了根據一個實施例的用于選擇源視頻的要用于創建單個全景視頻幀的幀的時間間隔；圖5示出了在移動電話上實現的全景視頻播放應用的用戶界面的示例；[0031 ] 圖6示出了根據一個實施例的概念級的全景視頻幀；圖7示出了用于創建全景視頻重混的一個實施例的流程圖；以及圖8示出了用于瀏覽裝置上的全景視頻重混的一個實施例的流程圖?！揪唧w實施方式】如通常所知，很多現代便攜式設備比如移動電話、照相機、平板電腦設置有高質量的照相機，其使得能夠捕獲高質量的視頻文件和靜止圖像。除了上述能力，這樣的手持式電子設備現在還配備有多個傳感器，在置于如何使用這些設備的背景中研究時，這些傳感器可以幫助實現不同的應用和服務。此外，很多便攜式設備配備有用于確定該設備的位置的器件，比如GPS接收器。通常，在很多人關注的事件比如演唱會現場、體育游戲、社會事件處，有許多人使用他們的便攜式設備來記錄靜止圖像和視頻。記錄來自這樣的事件的關注為本專利技術及其實施例提供了適合的框架。圖1a和圖1b示出了根據一個實施例的適合于在視頻重混服務中使用的系統和設備。在圖1a中，不同的設備可以經由固定網絡210比如互聯網或局域網、或者移動通信網絡220比如全球移動通信系統(GSM)網絡、第3代(3G本文檔來自技高網...

【技術保護點】
一種方法，包括：在處理設備中獲取多個源視頻；確定所述源視頻根據事件以形成全景視頻重混的適合性；選擇至少兩個適合的源視頻以用于所述全景視頻重混；以及將所述至少兩個適合的源視頻在幀級上合并成所述全景視頻重混，其中每個源視頻的幀表示對所述事件的觀看角度。

【技術特征摘要】
【國外來華專利技術】1.一種方法，包括: 在處理設備中獲取多個源視頻； 確定所述源視頻根據事件以形成全景視頻重混的適合性； 選擇至少兩個適合的源視頻以用于所述全景視頻重混；以及 將所述至少兩個適合的源視頻在幀級上合并成所述全景視頻重混，其中每個源視頻的幀表示對所述事件的觀看角度。2.根據權利要求1所述的方法，其中所述源視頻根據所述事件以形成所述全景視頻重混的所述適合性根據以下各項中的至少一項確定: -多個所述源視頻的位置信息的相似性；或者 -在多個所述源視頻中的 公共音頻場景的存在。3.根據權利要求2所述的方法，其中 所述位置信息從所述源視頻的元數據中獲取，所述位置信息與所述源視頻同時記錄。4.根據權利要求2或3所述的方法，進一步包括: 比較至少兩個源視頻的所述音頻場景的相似性；以及 在預定量的相似性的基礎上，確定所述至少兩個源視頻來自同一事件。5.根據任一前述權利要求所述的方法，進一步包括: 根據所述源視頻來估計圖像捕獲設備與感興趣的捕獲對象之間的捕獲距離；以及 選擇要在所述全景視頻重混中使用的具有在預定范圍內的所述捕獲距離的若干源視頻。6.根據任一前述權利要求所述的方法，進一步包括: 從至少兩個源視頻的幀中搜索感興趣的公共捕獲對象，所述至少兩個視頻用不同的捕獲距尚捕獲； 響應于從所述至少兩個源視頻的所述幀中檢測到至少一個感興趣的公共捕獲對象，對所述至少兩個源視頻的所述幀應用至少一個仿射變換處理以便以兼容比例尺來變換所述至少一個感興趣的公共捕獲對象；以及 將所述至少兩個源視頻選擇為要在所述全景視頻重混中使用。7.根據任一前述權利要求所述的方法，其中 所選擇的源視頻具有不同的幀率并且所述全景視頻重混具有可變幀率。8.根據任一前述權利要求所述的方法，進一步包括: 分析所選擇的源視頻的音頻場景；以及 響應于檢測到公共音頻分量，在所述公共音頻分量的基礎上使所述源視頻以時間軸對準。9.根據任一前述權利要求所述的方法，進一步包括: 確定時間間隔，其中在所述時間間隔內的所述源視頻的所述幀可貢獻給全景視頻幀；以及 選擇在所述時間間隔內的被用于創建單個全景視頻幀的所述源視頻的幀中的至少一個幀。10.根據任一前述權利要求所述的方法，進一步包括: 接收用于下載所述全景視頻重混的第一用戶請求，所述用戶請求包括用于下載從第一觀看角度的所述全景視頻重混的請求；以及 開始從所述全景視頻重混下載僅表示所請求的第一觀看角度的所述源視頻的所述幀。11.根據權利要求10所述的方法，進一步包括: 接收用于下載從第二觀看角度的所述全景視頻重混的第二用戶請求； 停止下載表示所請求的第一觀看角度的所述源視頻的所述幀；以及 開始從所述全景視頻重混下載僅表示所請求的第二觀看角度的所述源視頻的所述幀。12.一種裝置，包括至少一個處理器、包含計算機程序代碼的存儲器，所述存儲器和所述計算機程序代碼被配置成與所述至少一個處理器一起使得所述裝置至少: 獲取多個源視頻； 確定所述源視頻根據事件以形成全景視頻重混的適合性； 選擇至少兩個適合的源視頻以用于所述全景視頻重混；以及 將所述至少兩個適合的源視頻在幀級上合并成所述全景視頻重混，其中每個源視頻的幀表示對所述事件的觀看角度。13.根據權利要求12所述的裝置，其中所述源視頻根據所述事件以形成所述全景視頻重混的所述適合性根據以下各項中的至少一個確定: -多個所述源視頻的位置信息的相似性；或者 -在多個所述源視頻中的公共音頻場景的存在。14.根據權利要求13所述的裝置，其中 所述位置信息從所述源視頻的元數據中獲取，所述位置信息與所述源視頻同時被記錄。15.根據權利要求13或14所述的裝置，進一步包括被配置成與所述至少一個處理器一起使得所述裝置至少執行以下操作的計算機程序代碼: 比較至少兩個源視頻的所述音頻場景的相似性；以及 在預定量的相似性的基礎上，確定所述至少兩個源視頻來自同一事件。16.根據權利要求12至15中任一項所述的裝置，進一步包括被配置成與所述至少一個處理器一起使得所述裝置至少執行以下操作的計算機程序代碼: 根據所述源視頻來估計圖像捕獲設備與感興趣的捕獲對象之間的捕獲距離；以及 選擇要在所述全景視頻重混中使用的具有在預定范圍內的所述捕獲距離的若干源視頻。17.根據權利要求12至16中任一項所述的裝置，進一步包括被配置成與所述至少一個處理器一起使得所述裝置至少執行以下操作的計算機程序代碼: 從至少兩個源視頻的幀中搜索感興趣的公共捕獲對象，所述至少兩個視頻用不同的捕獲距尚捕獲； 響應于從所述至少兩個源視頻的所述幀中檢測到至少一個感興趣的公共捕獲對象，對所述至少兩個源視頻的所述幀應用至少一個仿射變換處理以便以兼容比例尺來變換所述至少一個感興趣的公共捕獲對象；以及 將所述至少兩個源視頻選擇為要在所述全景視頻重混中使用。18.根據權利要求12至17中任一項所述的裝置，其中 所選擇的源視頻具有不同的幀率并且所述全景視頻重混具有可變幀率。19.根據權利要求12至18中任一項所述的裝置，進一步包括被配置成與所述至少一個處理器一起使得所述裝置至少執行以下操作的計算機程序代碼: 分析所選擇的源視頻的音頻場景；以及 響應于檢測到公共音頻分量，在所述公共音頻分量的基礎上使所述源視頻以時間軸對準。20.根據權利要求12至19中任一項所述的裝置，進一步包括被配置成與所述至少一個處理器一起使得所述裝置至少執行以下操作的計算機程序代碼: 確定時間間隔，其中在所述時間間隔內的所述源視頻的所述幀可貢獻給全景視頻幀；以及 選擇在所述時間間隔內的被用于創建單個全景視頻幀的所述源視頻的幀中的至少一個幀。21.根據權利要求12至20中任一項所述的裝置，進一步包括被配置成與所述至少一個處理器一起使得所述裝置至少執行以下操作的計算機程序代碼: 接收用于下載所述全景視頻重混的第一用戶請求，所述用戶請求包括用于下載從第一觀看角度的所述全景視頻重混的請求； 開始從所述全景視 頻重混下載僅表示所請求的第一觀看角度的所述源視頻的幀。22.根據權利要求21所述的裝置，進一步包括被配置成與所述至少一個處理器一起使得所述裝置至少執行以下操作的計算機程序代碼: 接收用于下載從第二觀看角度的所述全景視頻重混的第二用戶請求； 停止下載表示所請求的第一觀看角度的所述...

【專利技術屬性】
技術研發人員：汪孔橋，L·卡凱南，
申請(專利權)人：諾基亞公司，
類型：發明
國別省市：芬蘭;FI