用于驅動交互式故事的自然用戶輸入制造技術

公開了用于將交互式游戲方面組合到線性故事中的系統和方法。用戶可經由NUI系統與線性故事交互以更改向用戶呈現的故事和圖像。在一示例中，用戶可通過執行預定的探索姿勢來更改故事。這一姿勢將用戶帶入所顯示的圖像的3-D世界。具體地，屏幕上顯示的圖像改變為創建用戶正踏入3-D虛擬世界的印象，以允許用戶從不同的視角檢查虛擬對象或者環顧凝視虛擬對象。

【技術實現步驟摘要】
【國外來華專利技術】用于驅動交互式故事的自然用戶輸入背景在過去，諸如計算機游戲和多媒體應用之類的計算應用使用控制器、遙控器、鍵盤、鼠標等來允許用戶操縱應用的游戲角色或其他方面。近來，計算機游戲和多媒體應用已開始使用相機和軟件姿勢識別引擎來提供自然用戶界面(“NUI”)。使用NUI，檢測、解釋用戶姿勢和語音并將其用于控制游戲人物或應用的其他方面。目前，NUI系統被廣泛用于游戲應用。然而，目前的NUI系統尚未被用作線性故事訴說的介質。線性故事是傳統的、被動的、非交互式的體驗，諸如由傳統的電視節目、電影和書籍提供的。線性故事幾十年來廣泛地被一般公眾接受。游戲，尤其是具有ΝΠ系統的游戲，是相對新的，并且目前在可接受度方面具有多得多的限制。概述 此處公開的是用于提供將交互式游戲方面組合到線性故事中的交互式故事體驗的系統和方法。線性故事可被用戶觀看，并且在期望時從頭到尾沒有用戶交互。或者，用戶可與線性故事交互以提供交互式體驗。用戶可經由NUI系統來與線性故事交互，該NUI系統包括計算環境、用于捕捉用戶移動數據并將其提供給計算設備的捕捉設備、以及用于呈現故事的視聽設備。在一個實施例中，用戶可通過執行預定義的探索姿勢來更改線性故事。在被捕捉設備檢測到并且被計算環境識別出時，這一姿勢將用戶代入所顯示的圖像的3-D世界。具體地，在屏幕上顯示的圖像改變為創建用戶正踏入3-D虛擬世界的印象，以允許用戶在場景內四處移動，并且從場景中的不同視角來探索和檢查虛擬對象，或者環顧凝視場景中的虛擬對象。在一個實施例中，本專利技術的系統涉及將交互式游戲方面組合到線性故事中的方法。該方法包括以下步驟a)經由視聽設備使用至少一個圖像和音頻敘述來呈現線性故事，線性故事具有在用戶不與故事交互的情況下呈現給用戶的圖像和/或敘述的默認集合；b)經由捕捉設備檢測用戶的移動和語音命令中的至少一個；c)標識在所述步驟b)中檢測到的移動和/或語音命令是否是與線性故事的交互，該交互更改線性故事以包括具有未被包括在圖像和/或敘述的默認集合中的附加圖像和附加敘述中的至少一個的故事分支；以及d)通過經由視聽設備來向用戶呈現附加圖像和附加敘述中的至少一個來更改線性故事。在另一實施例中，本專利技術的系統涉及用于對處理器編程以執行將交互式游戲方面組合到線性故事中的方法的計算機可讀介質，所述方法包括以下步驟a)經由視聽設備使用圖像和音頻敘述中的至少一個來呈現線性故事，在監視用戶移動的捕捉設備沒有感知到用戶的交互的情況下，線性故事從頭到尾被呈現為完整的故事，并且包括圖像的默認集合；b)經由與視聽設備相關聯的捕捉設備檢測用戶的移動；c)標識在所述步驟b)中檢測到的移動是否是與線性故事的交互，該交互要求將線性故事修改為包括具有未被包括在圖像的默認集合中的附加圖像的故事分支；d)基于經存儲的或經處理的數據來確定附加圖像是否可被呈現；e)如果在所述步驟d)中確定附加圖像可被呈現，則通過經由視聽設備來向用戶呈現附加圖像來更改線性故事；以及f)對用戶交互打分，其中交互與基于交互獲得預定點數的獎勵或帶走預定點數相對應。在另一實施例中，本專利技術的系統涉及用于將交互式游戲方面組合到線性故事中的系統。該系統包括用于呈現圖像和音頻敘述中的至少一個的視聽設備；用于捕捉來自用戶的圖像和音頻數據中的至少一個的圖像捕捉設備；以及耦合到視聽設備和圖像捕捉設備的計算環境。該計算環境用于a)經由視聽設備使用圖像和音頻敘述中的至少一個來呈現線性故事，在捕捉設備沒有感知到用戶交互的情況下，線性故事從頭到尾被呈現為完成的故事，并且包括圖像的默認集合；b)經由捕捉設備檢測用戶的移動；c)標識檢測到的移動是否是探索姿勢；d)在將移動標識為探索姿勢之后從線性故事分支到故事分支。該分支包括以下操作dl)感測視聽設備上用戶指示的點，d2)計算從用戶部分到視聽設備上用戶指示的點的3-D真實世界向量，d3)將3-D真實世界向量轉換成3-D機器空間向量，該3-D機器空間向量具有位于當前視角的起點以及位于3-D機器空間中的虛擬對象的終點，以及d4)從3-D機器空間向量的終點處的視角來顯示虛擬對象。提供本概述以便以簡化形式介紹在以下詳細描述中進一步描述的對概念的選擇。 本概述既不旨在標識要求保護的主題的關鍵特征或必要特征，也不旨在用作幫助確定要求保護的主題的范圍。此外，所要求保護的主題不限于解決在本公開的任一部分中所提及的任何或所有缺點的實現。附圖簡述圖IA示出用于提供交互式故事體驗的目標識別、分析和跟蹤系統的示例實施例。圖IB示出用于提供交互式故事體驗的目標識別、分析和跟蹤系統的又一示例實施例。圖2示出了可以在目標識別、分析和跟蹤系統中使用的捕捉設備的示例實施例。圖3A示出了可用于解釋目標識別、分析和跟蹤系統中的一個或多個姿勢的計算環境的示例實施例。圖3B示出了可用于解釋目標識別、分析和跟蹤系統中的一個或多個姿勢的計算環境的另一不例實施例。圖4示出了從附圖說明圖1A-2的目標識別、分析和跟蹤系統中生成的用戶的骨架映射。圖5是用于提供交互式故事體驗的本專利技術的技術的實施例的操作的高級流程圖。圖6是用于將捕捉設備檢測到的語音與交互式故事體驗進行關聯的本專利技術的技術的實施例的操作的流程圖。圖7是用于虛擬場景的3-D探索的本專利技術的技術的實施例的操作的流程圖。圖8是用于使用戶控制屏幕上角色的動作的本專利技術的技術的實施例的操作的流程圖。圖9是用于使用戶與場景交互以更改交互式故事體驗的情節的本專利技術的技術的實施例的操作的流程圖。圖9A是用于在場景被呈現在預先錄制的視頻中的情況下使用戶與場景交互以更改交互式故事體驗的情節的本專利技術的技術的替換實施例的操作的流程圖。圖10是執行探索姿勢以探索和調查所顯示的場景內的虛擬對象的用戶的示例。圖11示出重新會聚于單個故事結尾的分支子情節。圖12示出導致多個故事結尾中的一個的分支情節。圖13是示出了用于識別姿勢的姿勢識別引擎的框圖。圖14是圖13的姿勢識別引擎的操作的流程圖。詳細描述現在參考附圖1A-14來描述本專利技術的技術的各實施例，這些實施例一般涉及用于提供將交互式游戲方面組合到線性故事中的交互式故事體驗的系統和方法。提供用于運行交互式故事應用的NUI系統。如果在沒有用戶交互的情況下運行，故事應用從頭到尾向用戶提供線性故事。或者，用戶可經由NUI系統與故事應用交互以執行各種動作。在一個實施例中，用戶可通過執行預定義的探索姿勢來更改線性故事。這一姿勢向系統發出信號用戶期望踏入并探索向用戶顯示的三維(3-D)虛擬世界。取決于所執行的探索姿勢，所顯示的圖像改變為創建用戶正進入3-D虛擬世界的印象，以允許用戶在場景內四處移動，并且從場景中的不同視角來探索和檢查虛擬對象。用戶還可在場景中環顧凝視虛擬對象后方以查看這些虛擬對象的背面，或者更仔細地檢查被前景對象遮擋的其他對象。·盡管在3-D虛擬世界中進行探索，或者通過執行其他姿勢或移動來進行探索，但用戶還可更改線性故事的情節。在這些實施例中，故事應用可分支到其他子情節以及可能的其他故事結尾。最初參考圖1A-2，用于實現本專利技術的技術的硬件包括目標識別、分析和跟蹤系統10，該系統可用于識別、分析和/或跟蹤諸如用戶18等的人類目標。目標識別、分析和跟蹤系統10的各個實施例包括用于執行游戲或諸如交互式故事本文檔來自技高網...

【技術保護點】

【技術特征摘要】
【國外來華專利技術】2010.06.21 US 12/819,9831.一種在包括計算環境的系統中的將交互式游戲方面組合到線性故事中的方法，所述計算環境耦合到用于捕捉用戶運動的捕捉設備以及用于顯示圖像和/或提供音頻的視聽設備，所述方法包括 a)經由所述視聽設備使用圖像和音頻敘述中的至少一個來呈現所述線性故事，所述線性故事具有在用戶不與所述故事交互的情況下向用戶呈現的圖像和/或敘述的默認集合； b)經由所述捕捉設備來檢測用戶的移動和語音命令中的至少一個； c)標識在所述步驟b)中檢測到的所述移動和/或所述語音命令是否是與所述線性故事的交互，所述交互更改所述線性故事以包括具有未被包括在圖像和/或敘述的默認集合中的附加圖像和附加敘述中的至少一個的故事分支；以及 d)通過經由所述視聽設備來向用戶呈現所述附加圖像和附加敘述中的至少一個來更改所述線性故事。2.如權利要求I所述的方法，其特征在于，所述線性故事包括具有由虛擬機器空間中的場景的三維描述定義的故事場景的圖像，更改所述線性故事的所述步驟d)包括呈現從所述虛擬機器空間內的不同的三維視角來示出圖像的默認集合的場景的附加圖像的步驟e)。3.如權利要求2所述的方法，其特征在于，所述步驟e)中呈現的附加圖像創建用戶移動入所述場景的印象。4.如權利要求2所述的方法，其特征在于，所述步驟e)中呈現的附加圖像創建用戶從不同視角檢查來自所述場景的對象的印象。5.如權利要求2所述的方法，其特征在于，所述步驟e)中呈現的附加圖像創建用戶查看所述場景內的對象后方的印象。6.如權利要求I所述的方法，其特征在于，所述線性故事包括音頻敘述和圖像，呈現所述線性故事的所述步驟a)包括以下步驟 al)用戶用語音發出所述敘述， a2)將用戶用語音發出的敘述與所述線性故事的對應圖像匹配，以及 a3)以所述用戶用語音發出的敘述的節奏所確定的節奏來呈現所述圖像。7.如權利要求I所述的方法，其特征在于，所述線性故事包括呈現給用戶的音頻敘述和圖像，呈現所述線性故事的所述步驟a)包括以下步驟 al)第三方用語音發出所述敘述，所述第三方不與用戶一起出現并且所述第三方的語音經由揚聲器在所述用戶的附近作為所述敘述來提供， a2)將所述第三方用語音發出的敘述與所述線性故事的對應圖像匹配，以及 a3)以所述第三方用語音發出的敘述的節奏所確定的節奏來呈現所述圖像。8.一種用于對處理器編程以執行將交互式游戲方面組合到線性故事中的方法的處理器可讀存儲介質，包括 a)經由視聽設備使用圖像和音頻敘述中的至少一個來呈現所述線性故事，在監視用戶移動的捕捉設備沒有感知到用戶交互的情況下，所述線性故事從頭到尾被呈現為完整的故事，并且包括圖像的默認集合； b)...

【專利技術屬性】
技術研發人員：A·福勒，R·波特，A·AA·基普曼，K·S·佩雷斯，
申請(專利權)人：微軟公司，
類型：
國別省市：