用于不受限制的SLAM的基于傳感器的相機運動檢測制造技術

本發明專利技術呈現用于基于以下操作而進行單眼視覺同時定位與地圖繪制SLAM的技術：在相機執行全景SLAM的同時使用至少一個運動傳感器在所述相機的移動中檢測平移運動，并且初始化三維地圖以用于追蹤有限特征。運動傳感器可以包含一或多個傳感器，包含慣性(陀螺儀、加速計)、磁性(指南針)、視覺(相機)或構建到移動裝置中的任何其它傳感器。

【技術實現步驟摘要】
【國外來華專利技術】相關案件的交叉參考本申請案是專利合作條約申請案并且主張2014年3月14日遞交的標題為“用于不受限制的SLAM的基于傳感器的相機運動檢測(SENSOR-BASED CAMERA MOTION DETECTION FOR UNCONSTRAINED SLAM)”的第61/953,122號美國臨時申請案以及2015年3月12日遞交的標題為“用于不受限制的SLAM的基于傳感器的相機運動檢測(SENSOR-BASED CAMERA MOTION DETECTION FOR UNCONSTRAINED SLAM)”的第14/645,675號非臨時申請案的權益和優先權，所述申請案以引用的方式并且出于所有目的全文并入本文中。本申請案還以引用的方式全文并入2014年1月9日遞交的且標題為“具有常規及全景相機移動的單眼視覺SLAM”的美國申請案14/151,766。
本文中所揭示的標的物通常涉及位置檢測并且確切地說涉及同時定位與地圖繪制(SLAM)。
技術介紹
視覺同時定位與地圖繪制(VSLAM)系統可以處理耦合到裝置的單個相機的輸入并且隨著相機的移動連續地累積環境的圖(也稱為模型)。視覺SLAM系統同時追蹤相對于圖的裝置的位置及定向(姿態)。視覺SLAM系統可以不同模式操作以用于追蹤裝置并且基于裝置的移動構造所述圖。舉例來說，雖然裝置經歷包含平移運動的一般運動，但是裝置可過渡到一般運動模式并且構造用于一般運動的圖。類似地，當裝置僅旋轉而未從一個位置移動到另一個位置時，裝置可切換到僅旋轉模式并且構造僅旋轉圖。本專利技術的某些方面論述用于穩健地從僅旋轉模式切換到一般運動模式的技術。
技術實現思路
本文中所揭示的標的物通常涉及相機運動檢測并且確切地說涉及同時定位與地圖繪制(SLAM)。本專利技術的各方面提供用于穩健地檢測一般和僅旋轉相機運動之間的過渡的技術和對應的全景/3D追蹤和地圖繪制模式。不正確的過渡可能通過錯誤地測量的特征破壞3D和全景圖并且引起追蹤失敗。與例如模型選擇算法的現有僅視覺方法相比，本專利技術的各方面可以使用一或多個傳感器，包含慣性(陀螺儀、加速計)、磁性(指南針)和視覺(相機)傳感器。本專利技術的某些方面使用3DOF旋轉運動模型在從全景圖中追蹤相機時檢測從僅旋轉模式到一般運動模式的過渡。在僅旋轉模式時，視覺全景圖追蹤器將平移運動編碼為其旋轉運動估計中的額外的虛擬旋轉。同時，測量來自運動傳感器的旋轉。視差角度通過計算可以在確定平移運動中使用的視覺與運動傳感器旋轉估計之間的差異衍生。可靠地確定視差角度且因此確定平移運動允許觸發新3D地圖的初始化，其允許全部6DOF中的相機的連續追蹤。本專利技術的方面描述用于在追蹤全景同時定位與地圖繪制(SLAM)模式中的裝置時檢測平移運動的實例方法、設備、非暫時性計算機可讀媒體和裝置，檢測平移運動包含確定裝置的基于視覺的旋轉運動角度，其中基于視覺的旋轉運動角度通過以下項確定：在多個關鍵幀上執行圖像處理；在所述多個關鍵幀之間確定裝置的基于傳感器的旋轉運動角度，其中基于傳感器的旋轉運動角度是使用耦合到裝置的一或多個運動傳感器確定的；確定裝置的視差角度，其中視差角度通過比較基于視覺的旋轉運動角度與基于傳感器的旋轉運動角度確定；將視差角度與閾值進行比較；以及基于高于所述閾值的視差角度檢測平移運動。在某些方面，運動傳感器可以包含陀螺儀、加速計、磁力計、相機或用于檢測運動的任何其它合適的傳感器。在某些方面，非暫時性計算機可讀儲存媒體可以包含可由處理器執行的指令以用于執行如本文所述的同時定位與地圖繪制(SLAM)的方面。此外，用于在全景同時定位與地圖繪制(SLAM)模式中追蹤裝置時檢測平移運動的裝置或設備可以包含用于存儲圖和其它數據結構的存儲器、耦合到裝置/設備以用于獲得關于物理場景的信息的一或多個相機，以及耦合到存儲器并且經配置以執行本文中描述的本專利技術的方面的一或多個處理器。本專利技術的方面進一步包含使用所述多個關鍵幀之間的至少視差角度確定平移運動。本專利技術的某些方面還可以包含確定相對于裝置的一或多個特征的深度信息，方法是使用至少平移運動三角計算一或多個特征與裝置的距離。并且，本專利技術的某些方面進一步包含至少基于平移運動的檢測初始化三維(3D)圖以用于追蹤一般運動模式中的裝置。某些方面可以包含基于檢測平移運動切換到六個自由度(6DOF)SLAM地圖繪制。本專利技術的某些方面包含至少基于平移運動的檢測使用兩個關鍵幀初始化三維(3D)圖以用于使用3D地圖的立體初始化追蹤裝置。在本專利技術的某些方面，基于視覺的旋轉運動角度和基于傳感器的旋轉運動角度是針對在第一時間處采集的參考關鍵幀與在第二時間處采集的當前關鍵幀之間的運動檢測的。前文已經相當廣泛地概述了實例的特征和技術優點，以便使以下的具體實施方式可以得到更好理解。將在下文中描述額外特征和優點。所揭示的概念和具體實例可以容易地用作用于修改或設計用于執行本專利技術的相同目的的其它結構的基礎。此類等效構造不脫離所附權利要求書的精神和范圍。當結合附圖考慮時，關于本專利技術的組織和操作方法兩者的被認為是本文中所揭示的概念的特性的特征連同相關聯的優點一起將從以下描述得到更好理解。圖式中的每一者都僅出于說明和描述的目的提供且并不提供為對權利要求書的限制的界定。附圖說明本專利技術的各方面借助于實例來說明。參考圖式提供以下描述，其中相同的參考標號始終用以指代相同的元件。盡管本文中描述一或多種技術的各種細節，但其它技術也是可能的。在一些情況下，以框圖形式示出熟知結構和裝置以便有助于描述各種技術。可參照說明書及圖式的剩余部分來實現對由本專利技術提供的實例的性質及優點的進一步理解，其中貫穿若干圖式使用類似參考標號來指代類似組件。在一些情況下，子標簽與參考標號相關聯以表示多個類似組件中的一者。當在無說明書的情況下將參考標號與現有子標簽進行參考時，參考標號是指全部此類類似組件。圖1是根據本專利技術的某些方面的系統的框圖。圖2說明根據本專利技術的某些方面用于產生例子SLAM系統的圖的流程圖。圖3說明根據本專利技術的某些方面在時間t處包含有限3D特征的全局SLAM圖表示。圖4說明根據本專利技術的某些方面在時間t+1處包含有限3D特征和無限3D特征的全局SLAM圖表示。圖5說明根據本專利技術的某些方面在時間t+2處包含有限3D特征和無限3D特征的全局SLAM圖表示。圖6說明根據本專利技術的某些方面在時間t+3處包含有限3D特征和無限3D特征的全局SLAM圖表示。圖7說明根據本專利技術的某些方面在時間t+4處包含有限3D特征和無限3D特征的全局SLAM圖表示。圖8說明根據本專利技術的某些方面在時間t+5處包含有限3D特征和無限3D特征的全局SLAM圖表示。圖9是說明根據本專利技術的某些方面的實例平移SLAM模塊的方面的框圖。圖10說明用于執行根據本專利技術的一或多個方面的方法的流程圖。具體實施方式現將關于形成本文的一部分的附圖來描述若干說明性實施例。雖然下文描述可以實施本專利技術的一或多個方面的特定實施例，但可以使用其它實施例，且可以在不脫離本專利技術的范圍或所附權利要求書的精神的情況下進行各種修改。現將關于形成本文的一部分的附圖來描述若干說明性實施例。雖然下文描述可以實施本專利技術的一或多個方面的特定實施例，但可以使用其它實施例，且可以在不脫離本專利技術的范圍本文檔來自技高網...

【技術保護點】
一種用于在追蹤全景同時定位與地圖繪制SLAM模式中的裝置時檢測平移運動的方法，所述方法包括：確定所述裝置的基于視覺的旋轉運動角度，其中所述基于視覺的旋轉運動角度通過在多個關鍵幀上執行圖像處理確定；在所述多個關鍵幀之間確定所述裝置的基于傳感器的旋轉運動角度，其中所述基于傳感器的旋轉運動角度是使用耦合到所述裝置的一或多個運動傳感器確定的；確定所述裝置的視差角度，其中所述視差角度通過比較所述基于視覺的旋轉運動角度與所述基于傳感器的旋轉運動角度確定；將所述視差角度與閾值進行比較；以及基于所述視差角度高于所述閾值檢測所述平移運動。

【技術特征摘要】
【國外來華專利技術】2014.03.14 US 61/953,122;2015.03.12 US 14/645,6751.一種用于在追蹤全景同時定位與地圖繪制SLAM模式中的裝置時檢測平移運動的方法，所述方法包括：確定所述裝置的基于視覺的旋轉運動角度，其中所述基于視覺的旋轉運動角度通過在多個關鍵幀上執行圖像處理確定；在所述多個關鍵幀之間確定所述裝置的基于傳感器的旋轉運動角度，其中所述基于傳感器的旋轉運動角度是使用耦合到所述裝置的一或多個運動傳感器確定的；確定所述裝置的視差角度，其中所述視差角度通過比較所述基于視覺的旋轉運動角度與所述基于傳感器的旋轉運動角度確定；將所述視差角度與閾值進行比較；以及基于所述視差角度高于所述閾值檢測所述平移運動。2.根據權利要求1所述的方法，其進一步包括在所述多個關鍵幀之間使用至少所述視差角度確定所述平移運動。3.根據權利要求2所述的方法，其進一步包括確定相對于所述裝置的一或多個特征的深度信息，方法是使用至少所述平移運動三角計算所述一或多個特征與所述裝置的距離。4.根據權利要求1所述的方法，其進一步包括至少基于所述平移運動的檢測初始化三維3D地圖以用于追蹤在所述一般運動模式中的所述裝置。5.根據權利要求1所述的方法，其進一步包括基于檢測平移運動切換到六個自由度6DOF SLAM地圖繪制。6.根據權利要求1所述的方法，其進一步包括至少基于所述平移運動的檢測使用兩個關鍵幀初始化三維3D地圖以用于使用所述3D地圖的立體初始化追蹤所述裝置。7.根據權利要求1所述的方法，其中所述基于視覺的旋轉運動角度和所述基于傳感器的旋轉運動角度是針對在第一時間處采集的參考關鍵幀與在第二時間處采集的當前關鍵幀之間的運動檢測的。8.根據權利要求1所述的方法，其中所述運動傳感器包含陀螺儀、加速計或磁力計中的一或多個。9.一種用于在追蹤全景同時定位與地圖繪制SLAM模式中的裝置時檢測平移運動的裝置，所述裝置包括：存儲器；相機，其耦合到所述裝置以用于獲得關于所述物理場景的信息；以及處理器，其耦合到所述存儲器且經配置以：確定所述裝置的基于視覺的旋轉運動角度，其中所述基于視覺的旋轉運動角度通過在多個關鍵幀上執行圖像處理確定；在所述多個關鍵幀之間確定所述裝置的基于傳感器的旋轉運動角度，其中所述基于傳感器的旋轉運動角度是使用耦合到所述裝置的一或多個運動傳感器確定的；確定所述裝置的視差角度，其中所述視差角度通過比較所述基于視覺的旋轉運動角度與所述基于傳感器的旋轉運動角度確定；將所述視差角度與閾值進行比較；以及基于所述視差角度高于所述閾值檢測所述平移運動。10.根據權利要求11所述的裝置，其進一步包括所述處理器經配置以在所述多個關鍵幀之間使用至少所述視差角度確定所述平移運動。11.根據權利要求10所述的裝置，其進一步包括所述處理器經配置以確定相對于所述裝置的一或多個特征的深度信息，方法是使用至少所述平移運動三角計算一或多個特征與所述裝置的距離。12.根據權利要求9所述的裝置，其進一步包括所述處理器至少基于所述平移運動的檢測初始化三維3D地圖以用于追蹤在所述一般運動模式中的所述裝置。13.根據權利要求9所述的裝置，其進一步包括所述處理器切換到六個自由度6DOFSLAM地圖繪制。14.根據權利要求9所述的裝置，...

【專利技術屬性】
技術研發人員：克里斯蒂安·皮爾基海姆，克萊門斯·阿斯，迪特爾·施馬爾施蒂格，
申請(專利權)人：高通股份有限公司，
類型：發明
國別省市：美國;US