手持式便攜光學掃描器及其使用方法技術

一種用于使用手持式便攜設備實時或近乎實時地處理和后處理RGB-D圖像數據并且將結果用于各種應用的系統和方法。本公開是基于能夠使用高度優化的計算機視覺算法來實行復雜空間推理任務的自給式單元中的現成裝備（例如RGB-D相機和智能電話/平板計算機）的組合。公開了使用獲得的即時結果和用于遠程協作的主設備的無線連通性的新應用。一種方法包括如下步驟：將點圖案從光源投影到場景上多個點上，測量到所述點的距離，以及數字重構場景的一個或多個圖像，諸如場景的3D視圖。多個圖像也可以被拼接在一起來重新定位場景視圖的取向。

【技術實現步驟摘要】
【國外來華專利技術】本申請要求于2013年4月16日提交的具有相同題目的臨時申請61/812,580的優先權和權益，該申請通過引用整體結合于本文。
本公開的領域是用于經由手持式便攜光學成像掃描器獲得圖像數據的系統和方法以及針對經由各種方法處理圖像和深度數據的方法的領域。
技術介紹
該技術在成像系統中找到它的根源。
技術實現思路
一個實施例是一種用于實時捕捉場景的多重圖像并且確定每個圖像中的多個點在坐標系中的精確位置的手持式成像系統。該系統包括用于捕捉和儲存多個數字圖像的圖像捕捉設備、用于實時導出圖像中多個任意點的深度信息的深度計算系統、手持式計算機系統，該手持式計算機系統具有處理器、帶有用戶接口控制裝置的顯示器、以及通信模塊，其中處理器與所述圖像捕捉設備和深度計算系統進行通信。該系統也包括非臨時性計算機可讀介質，其上具有經編碼的一組指令，該指令可通過處理器執行以使圖像捕捉設備、點定位系統和通信模塊執行一個或多個操作，該指令包括從圖像捕捉設備以及從深度計算系統捕捉場景的以數字數據形式的多個數字圖像并且捕捉針對所述場景中的多個點的位置，儲存所述數字數據，將多個圖像組合在一起以形成單個3D模型，在移動手持設備中顯示單個3D模型，以及根據對處理和控制系統的基于用戶的輸入來操縱單個3D模型的數字文件數據。另一個實施例是一種用于取得多個圖像的方法。該方法包括如下步驟：從圖像捕捉設備以及從點定位系統捕捉場景的以數字數據形式的多個數字圖像并且捕捉針對所述場景中的多個點的位置，儲存所述數字數據，將多個圖像組合在一起以形成單個3D模型，在移動手持式設備中顯示單個3D模型，以及根據對處理和控制系統的基于用戶的輸入來操縱數字文件數據。又一個實施例是一種用于實時捕捉場景的多重圖像并且確定每個圖像中的多個點在坐標系中的精確位置的手持式成像系統。該系統包括用于捕捉和儲存多個數字圖像的圖像捕捉設備、用于實時導出圖像中多個任意點的深度信息的深度計算系統、手持式計算機系統，該手持式計算機系統具有處理器、帶有用戶接口控制裝置的顯示器、以及通信模塊，其中處理器與所述圖像捕捉設備和點定位系統進行通信。該系統也包括非臨時性計算機可讀介質，其上具有經編碼的一組指令，該指令可通過處理器執行以使圖像捕捉設備、點定位系統和通信模塊執行一個或多個操作，該指令用于從圖像捕捉設備以及從點定位系統捕捉場景的以數字數據形式的多個數字圖像以及捕捉針對所述場景中的多個任意點的位置，儲存所述數字數據，將多個圖像組合在一起以形成單個3D模型，以及根據對處理和控制系統的基于用戶的輸入來操縱數字文件數據，其中所述操縱步驟包括使相機位置和姿態與真實世界坐標參考系相關。另一個實施例是一種方法。該方法包括如下步驟：利用相機捕捉以數字數據形式的圖像，在非臨時性計算機可讀介質上儲存圖像的數字數據，從圖像數字數據的圖像顏色通道提取灰度值，根據灰度值并且根據數字數據的深度數據來創建圖像金字塔以及使用圖像金字塔來計算場景擬合度值。該方法也包括如下步驟：預測相機姿態，將圖像與所選擇的關鍵幀的第一子集的每個元素對準，產生經對準的姿態以及也產生關于所選擇的關鍵幀的一定數量的姿態和對應數量的重疊值，使用經對準的圖像以及該數量的姿態和該數量的重疊值來計算新的相機姿態估計，以及當期望時使用新的相機姿態估計來根據圖像的數字數據創建關鍵幀。該方法也包括：在創建關鍵幀后，選擇與關鍵幀的第一子集不同的關鍵幀的第二子集，以及利用關鍵幀的第二子集中的每個關鍵幀來重復對準步驟以產生多個姿態值和重疊值，針對關鍵幀的所選擇的第一子集和關鍵幀的所選擇的第二子集中的每個元素而判定在關鍵幀姿態圖表中對于關鍵幀是否需要新鏈接，以及鏈接所述關鍵幀。該方法的其他實施例包括一種方法，其中關鍵幀基于下述各項來創建：來自數字圖像數據的用戶命令，和現有關鍵幀的集合為空的情況下與單位矩陣（identitymatrix）等同的相機姿態或者現有關鍵幀的集合為非空的情況下與估計的相機姿態等同的相機姿態。在本方法的另一個實施例中，用來創建關鍵幀的數字圖像數據包括紅-綠-藍和深度通道（RGB-D）圖像。該方法的另一個步驟包括從相機或從非臨時性計算機可讀介質請求和加載新的數字圖像以及使用新的數字圖像來重復先前段落的步驟。使用此方法，人們也可以通過空間定位和取向的關鍵幀的集合來表示3D模型。另一個實施例進一步包括根據相機校準針對相機的特性來校正所儲存圖像的數字數據。在另一個實施例中，使用來自包括如下各項的組的轉動數據來預測相機姿態：基于圖像光學流的視覺預測器；來自數字陀螺儀的數據；線性運動模型；以及這些數據源的組合。用于表示3D模型的方法可以進一步包括將用于數字圖像的可視化的數據和3D模型的數據發送到圖形處理單元。在另一個實施例中，在計算新的對準姿態的步驟之后，該方法可以包括檢查對準中的失敗以及如果存在對準中的失敗，執行再局部化過程。如果沒有對準中的失敗，則該方法可以進一步包括為用戶準備在所保存的3D模型的空間中實時正確取向的可視化。在另一個實施例中，該方法可以進一步包括計算經對準圖像與關鍵幀的選擇之間的重疊的估計以確定是否創建新關鍵幀。為了完成此方法，對于創建新關鍵幀的判定是根據包括經對準圖像和關鍵幀的選擇之間的重疊值和包括來自關鍵幀的選擇的數字深度數據的數據來確定的。在另一個實施例中，該方法進一步包括將來自數字圖像的深度數據再投影到多個關鍵幀中，每個再投影使用相機的校準模型和由深度數據與關鍵幀的對準步驟產生的相對姿態的估計。該方法也可以包括使用再投影的深度數據和關鍵幀的現有深度數據的組合來重新計算針對關鍵幀的深度數據。在另一實施例中，表示3D模型的方法可以包括使用利用該圖像所獲取的物理目標的數字圖像來將3D模型從局部坐標系變換到另一個坐標系，其中該目標從包括如下各項的組中選擇：棋盤式目標；QR碼或類QR碼；以及用戶選擇的點。該方法可以進一步包括利用通過使用用于在空間中對相機進行定位和取向的可視目標的空間姿態而從相機獲取的數據來添加、更新、差分或改善預先存在的3D模型的幾何結構，該可視目標也在3D模型中呈現，該3D模型從包括如下各項的組中選擇：多個數字圖像或關鍵幀，空間數據集和CAD文件。該方法也可以包括下述步驟，其中基于使用最小化幾何和光度對準誤差的對準算法的局部化過程來確定針對現有3D模型的相機的位置和取向。在使用3D模型的方法中，可以從數字儲存介質或者從可通過計算機網絡訪問的另一個計算機來加載預先存在的3D模型。在另一個實施例中，該方法可以進一步包括將附加圖像添加到經鏈接的關鍵幀的集合，從包括以下各項的組中選擇所述附加圖像：利用相機捕捉的3D數據；由激光掃描器捕捉的3D數據；以及來自3D模型或CAD軟件的數據。在其中利用3D模型來表示圖像的另一個實施例中，該方法可以進一步包括通過將關鍵幀的數字圖像數據壓縮成無損格式來以壓縮的方式表示3D模型。本公開的另一個實施例是一種裝置。該裝置對于執行上文所描述的方法以及對于收集多個空間定位和取向的關鍵幀以及將空間定位和定向的關鍵幀的集合表示為3D模型是有用的。該裝置可以包括用于捕捉和儲存多個數字圖像的RGB-D相機本文檔來自技高網...

【技術保護點】
一種方法，包括：利用相機捕捉以數字數據形式的圖像；在非臨時性計算機可讀介質上儲存所述圖像的數字數據；從圖像數字數據的圖像顏色通道提取灰度值；根據灰度值以及根據數字數據的深度數據來創建圖像金字塔；使用所述圖像金字塔來計算場景擬合度值；預測相機姿態；將圖像與所選擇的關鍵幀的第一子集中的每個元素對準，產生經對準的姿態以及也產生關于所選擇的關鍵幀的一定數量的姿態和對應數量的重疊值；使用經對準的圖像以及該數量的姿態和該數量的重疊值來計算新的相機姿態估計；當期望時使用新的相機姿態估計根據圖像的數字數據來創建關鍵幀；在創建關鍵幀之后，選擇與關鍵幀的所述第一子集不同的關鍵幀的第二子集，以及利用關鍵幀的所述第二子集中的每個關鍵幀重復對準步驟以產生多個姿態值和重疊值；針對關鍵幀的所選擇的第一子集和關鍵幀的所選擇的第二子集中的每個元素而判定在關鍵幀姿態圖表中對于關鍵幀是否需要新鏈接；以及鏈接所述關鍵幀。

【技術特征摘要】
【國外來華專利技術】2013.04.16 US 61/8125801.一種方法，包括：
利用相機捕捉以數字數據形式的圖像；
在非臨時性計算機可讀介質上儲存所述圖像的數字數據；
從圖像數字數據的圖像顏色通道提取灰度值；
根據灰度值以及根據數字數據的深度數據來創建圖像金字塔；
使用所述圖像金字塔來計算場景擬合度值；
預測相機姿態；
將圖像與所選擇的關鍵幀的第一子集中的每個元素對準，產生經對準的姿態以及也產生關于所選擇的關鍵幀的一定數量的姿態和對應數量的重疊值；
使用經對準的圖像以及該數量的姿態和該數量的重疊值來計算新的相機姿態估計；
當期望時使用新的相機姿態估計根據圖像的數字數據來創建關鍵幀；
在創建關鍵幀之后，選擇與關鍵幀的所述第一子集不同的關鍵幀的第二子集，以及利用關鍵幀的所述第二子集中的每個關鍵幀重復對準步驟以產生多個姿態值和重疊值；
針對關鍵幀的所選擇的第一子集和關鍵幀的所選擇的第二子集中的每個元素而判定在關鍵幀姿態圖表中對于關鍵幀是否需要新鏈接；以及
鏈接所述關鍵幀。
2.根據權利要求1所述的方法，其中關鍵幀基于下述各項來創建：來自數字圖像數據的用戶命令，和現有關鍵幀的集合為空的情況下與單位矩陣等同的相機姿態或者現有關鍵幀的集合為非空的情況下與估計的相機姿態等同的相機姿態。
3.根據權利要求2所述的方法，其中用來創建關鍵幀的數字圖像數據包括紅-綠-藍和深度通道（RGB-D）圖像。
4.根據權利要求1所述的方法，進一步包括從相機或從非臨時性計算機可讀介質請求和加載新的數字圖像以及使用新的數字圖像來重復權利要求1的步驟。
5.根據權利要求4所述的方法，進一步包括通過空間定位和取向的關鍵幀的集合來表示3D模型。
6.根據權利要求1所述的方法，進一步包括根據相機校準針對相機的特性來校正所儲存圖像的數字數據。
7.根據權利要求1所述的方法，其中使用來自包括如下各項的組的轉動數據來預測相機姿態：基于圖像光學流的視覺預測器；來自數字陀螺儀的數據；線性運動模型；以及這些數據源的組合。
8.根據權利要求5所述的方法，進一步包括將用于數字圖像的可視化的數據和3D模型的數據發送到圖形處理單元。
9.根據權利要求1所述的方法，進一步包括在計算新的對準姿態的步驟之后，檢查對準中的失敗以及如果存在對準中的失敗，執行再局部化過程。
10.根據權利要求9所述的方法，如果沒有對準中的失敗，則為用戶準備在所保存的3D模型的空間中實時正確取向的可視化。
11.根據權利要求1所述的方法，進一步包括計算經對準圖像與關鍵幀的選擇之間的重疊的估計以確定是否創建新關鍵幀。
12....

【專利技術屬性】
技術研發人員：M克盧薩，R斯普林，
申請(專利權)人：點積公司，
類型：發明
國別省市：美國;US