一種基于圖像識別的擴增實境實現方法技術

本發明專利技術公開了一種基于圖像識別的擴增實境實現方法，包括以下步驟，初始化擴增實境系統；獲取真實場景圖像；檢測并匹配目標標志物，提取目標標志物的ORB特征點，并對每一個ORB特征點生成相應的描述子以生成用于上傳到云端圖像數據庫的該目標標志物的ORB描述子序列，接收云端圖像數據庫識別后返回的圖像編號；獲取目標標志物的初始位姿矩陣；渲染3D引擎動畫特效；開啟追蹤執行線程，確定目標標志物新的位姿矩陣；根據新的位姿矩陣更新擴增實境動畫特效；直至目標標志物在屏幕中消失、重新獲取真實場景圖像或擴增實境系統停止運作；采用該方法相比于現有直接上傳圖片進行識別的方式，在圖像庫增大的情況下，提高檢索速度和精度。

An implementation method of augmented reality based on image recognition

The invention discloses a method to realize the amplification of reality based on image recognition, which includes the following steps: initialization of augmented reality system; access to the real scene image; detection and matching target, target extraction of ORB feature points, and for each ORB feature points to generate the corresponding descriptors to generate for upload to the target sign the ORB descriptor sequence cloud image database, image identification number of receiving cloud image database after the return of the target marker; initial position matrix; rendering 3D animation engine; opening track thread of execution, determine the target marker position matrix; according to the pose matrix update of the augmented reality animation effects until the target; the screen disappeared, re acquisition of real scene images or augmented reality system to stop operation; using the method. Compared with the existing method of directly uploading pictures, the search speed and accuracy can be improved under the condition that the image library is enlarged.

【技術實現步驟摘要】
一種基于圖像識別的擴增實境實現方法
本專利技術涉及計算器視覺領域，具體涉及一種基于圖像識別的擴增實境實現方法。
技術介紹
擴增實境技術即AR，全稱為AugmentedReality，其將虛擬世界的視效、音效及空間信息等信息整合至真實環境信息的技術，擴增實境技術不僅展現真實環境的信息，亦同時將虛擬的信息顯示出來，藉由兩種信息相互補充、迭加，藉此讓使用者可獲得更豐富的感知信息，通常，搭載擴增實境技術的電子裝置可透過配置于其上的攝像鏡頭捕捉真實環境的影像，并實時地計算所捕捉影像的位置、角度，同時加上相應虛擬圖像，其目的是在顯示屏幕上把虛擬世界信息套在現實環境信息中，讓用戶透過所捕捉的影像與虛擬世界的信息進行互動?，F今擴增實境技術主要應用于智能手機、平板計算機等移動裝置，近年來由于虛擬現實(VirtualReality，VR)技術的發展，也開始將擴增實境技術應用于智能頭盔、智能眼鏡等穿戴式設備上。透過3D圖像動畫的渲染，多媒體視頻、音頻的播放，擴增實境技術被廣泛地應用于電玩游戲、媒體傳播及教育等領域。擴增實境技術利用虛擬特效增強真實環境中的場景，將需要被展示或被突顯的目標事物更加生動且具體，帶給用戶強烈鮮明的視覺效果。在實時圖像搜索時，為了避免用戶將龐大的圖像數據庫下載到本地，一般利用云端對圖像進行存儲，通過上傳目標圖像進行識別。隨著擴增實境被大范圍應用，用戶需要更大的圖片庫來進行標志物的識別。在擴增實境中，利用現有的方式對標志物進行識別即存在以下問題：在無線網絡較差的情況下，用戶實時上傳圖像的速度會受到很大影響。
技術實現思路
本專利技術為了解決上述技術問題提供一種基于圖像識別的擴增實境實現方法。本專利技術通過下述技術方案實現：一種基于圖像識別的擴增實境實現方法，包括以下步驟，1)、初始化擴增實境系統；2)、獲取真實場景圖像；3)、檢測并匹配目標標志物，提取目標標志物的ORB特征點，并對每一個ORB特征點生成相應的描述子以生成用于上傳到云端圖像數據庫的該目標標志物的ORB描述子序列，接收云端圖像數據庫識別后返回的圖像編號；獲取目標標志物的初始位姿矩陣；4)、渲染3D引擎動畫特效；5)、開啟追蹤執行線程，確定目標標志物新的位姿矩陣；6)、根據新的位姿矩陣更新擴增實境動畫特效；7)、重復4)至6)直至目標標志物在屏幕中消失、重新獲取真實場景圖像或擴增實境系統停止運作。本專利技術的擴增實境實現方案在現有技術的基礎上做了改進，即在圖像識別時，對ORB特征點的提取獲得圖像的ORB描述子序列，通過上傳ORB描述子序列實現對圖像的識別，相比于現有直接上傳圖片進行識別的方式，其上傳的數據量小，對網絡的要求低。在追蹤執行線程時采用模板匹配、矢量運動模型預測、卡爾曼濾波算法的方法，有效的解決現有圖像追蹤方法在圖像位移量較大時追蹤計算量增大、實時性下降甚至丟失的情況。所述模板匹配的方法為：擴增實境系統根據上一幀的位姿矩陣將跟蹤組的點投影至屏幕上，在點附近的一定范圍內做模板匹配，譬如在該點周圍15*15像素方形范圍內，判斷模板是否匹配的分數由模板所有像素值的歸一化互相關系數決定。當匹配分數超過閾值時即為匹配。采用矢量運動模型預測的方法為：當讀入的影像大于兩幀，利用前兩幀位姿矩陣計算一個預測矩陣，預先將跟蹤組的點從上一幀的位置投影到預測矩陣的位置范圍，再在預測矩陣的位置范圍內搜索模板。采用卡爾曼濾波算法的方法為：對之前的數幀位姿矩陣進行加權，之后對當前幀求得的新的位姿矩陣做最優化估計處理。所述云端圖像數據庫得生成方法包括：描述子生成步驟：收集圖像，提取每張圖像的ORB特征點，并對每個ORB特征點生成相應的描述子以得到描述子樣本；樹狀模型生成步驟：根據描述子樣本生成圖像數據庫的樹狀模型；數據庫生成步驟：向樹狀模型中添加圖像，建立樹狀結構的圖像數據庫。所述描述子生成步驟具體為：收集圖像，分別對每張圖像進行縮放以建立一個圖像金字塔，對圖像的各個尺度使用ORB算法提取所有ORB特征點，并對每一個ORB特征點生成相應的描述子。現有的圖像匹配是圖像和圖像之間的匹配，檢索的時間的增加隨著圖像的增加線性增長。一個特征描述子到數據庫里匹配所有特征描述子，數據庫里的描述子越多，匹配的時間就越長，因為暴力匹配是一一匹配，最后尋找距離最短的匹配組。在保證一定準確度的前提下，其檢索速度和廣度存在矛盾，這兩點都與云端圖像數據庫的大小密切相關。而采用上述方法，由于數據庫中的描述子已經進行樹狀分類，在進行匹配的時候，待匹配的描述子會尋找與其最相似的分支，而不需要遍歷真個數據庫，即樹狀檢索結構可以讓待匹配的特征描述子不用一一匹配所有的描述子，檢索時間主要跟經過的節點數有關系，數據庫中的描述子多不代表檢索經過的節點數越多。所以檢索時間不是按數據庫的大小線性增加，而是對數增長，解決檢索廣度與速度之間的矛盾。而對于新加入圖像描述子會加入相應的分支，而不是單純的增加，因此在廣度上也能很好的解決大數據庫的檢索情況。所述樹狀模型生成步驟具體為：A1、定義一個樹狀結構，其最大層數為L，每層最大子節點數為K；A2、對描述子樣本用K-means算法做聚合分類，得到子節點分類結果，將每個子節點內所有描述子的平均描述子作為該子節點的描述子；A3、若該子節點內描述子樣本的數量大于K的兩倍，則對該子節點內的描述子樣本作進一步的K-means分類，重復該步驟，直至樹狀結構的最大層數小于等于L或者沒有子節點的描述子樣本數量大于K的兩倍；A4、對所有的子節點依次排序標號，生成圖像數據庫的樹狀模型。所述數據庫生成步驟為：B1、給圖像一個唯一的編號；B2、對該圖像進行縮放以建立一個圖像金字塔，對圖像的各個尺度使用ORB算法提取所有ORB特征點，并對每一個ORB特征點生成相應的描述子；B3、將該圖像的所有描述子利用樹狀模型進行分類，并將每個描述子的分類結果關聯其分配到的子節點上；B3、對每一張圖像做B1至B3的步驟，得到具有樹狀結構的圖像數據庫。云端圖像數據庫識別的方法包括以下步驟，云端圖像數據庫利用檢索詞匯樹的檢索算法對圖像進行匹配并返回編號結果。本專利技術與現有技術相比，具有如下的優點和有益效果：本專利技術的擴增實境實現方法在識別圖像時，對ORB特征點的提取獲得圖像的ORB描述子序列，通過上傳ORB描述子序列實現對圖像的識別，相比于現有直接上傳圖片進行識別的方式，在圖像庫增大的情況下，提高檢索速度和精度。具體實施方式為使本專利技術的目的、技術方案和優點更加清楚明白，下面結合實施例，對本專利技術作進一步的詳細說明，本專利技術的示意性實施方式及其說明僅用于解釋本專利技術，并不作為對本專利技術的限定。實施例1一種基于圖像識別的擴增實境實現方法，包括以下步驟，1)、初始化擴增實境系統；2)、獲取真實場景圖像；3)、檢測并匹配目標標志物，提取目標標志物的ORB特征點，并對每一個ORB特征點生成相應的描述子以生成用于上傳到云端圖像數據庫的該目標標志物的ORB描述子序列，接收云端圖像數據庫識別后返回的圖像編號；獲取目標標志物的初始位姿矩陣；4)、渲染3D引擎動畫特效；5)、開啟追蹤執行線程，確定目標標志物新的位姿矩陣；6)、根據新的位姿矩陣更新擴增實境動畫特效；7)、重復4)至6)直至目標標志物在屏幕中消失、重新獲取真實場景圖像或擴增實境系統停止本文檔來自技高網...

【技術保護點】
一種基于圖像識別的擴增實境實現方法，其特征在于，包括以下步驟，1)、初始化擴增實境系統；2)、獲取真實場景圖像；3)、檢測并匹配目標標志物，提取目標標志物的ORB特征點，并對每一個ORB特征點生成相應的描述子以生成用于上傳到云端圖像數據庫的該目標標志物的ORB描述子序列，接收云端圖像數據庫識別后返回的圖像編號；獲取目標標志物的初始位姿矩陣；4)、渲染3D引擎動畫特效；5)、開啟追蹤執行線程，確定目標標志物新的位姿矩陣；6)、根據新的位姿矩陣更新擴增實境動畫特效；7)、重復4)至6)直至目標標志物在屏幕中消失、重新獲取真實場景圖像或擴增實境系統停止運作。

【技術特征摘要】
1.一種基于圖像識別的擴增實境實現方法，其特征在于，包括以下步驟，1)、初始化擴增實境系統；2)、獲取真實場景圖像；3)、檢測并匹配目標標志物，提取目標標志物的ORB特征點，并對每一個ORB特征點生成相應的描述子以生成用于上傳到云端圖像數據庫的該目標標志物的ORB描述子序列，接收云端圖像數據庫識別后返回的圖像編號；獲取目標標志物的初始位姿矩陣；4)、渲染3D引擎動畫特效；5)、開啟追蹤執行線程，確定目標標志物新的位姿矩陣；6)、根據新的位姿矩陣更新擴增實境動畫特效；7)、重復4)至6)直至目標標志物在屏幕中消失、重新獲取真實場景圖像或擴增實境系統停止運作。2.根據權利要求1所述的一種基于圖像識別的擴增實境實現方法，其特征在于，在追蹤執行線程時采用模板匹配、矢量運動模型預測、卡爾曼濾波算法的方法。3.根據權利要求2所述的一種基于圖像識別的擴增實境實現方法，其特征在于，所述模板匹配的方法為：擴增實境系統根據上一幀的位姿矩陣將跟蹤組的點投影至屏幕上，在點附近的一定范圍內做模板匹配，判斷模板是否匹配的分數由模板所有像素值的歸一化互相關系數決定。4.根據權利要求2所述的一種基于圖像識別的擴增實境實現方法，其特征在于，采用矢量運動模型預測的方法為：當讀入的影像大于兩幀，利用前兩幀位姿矩陣計算一個預測矩陣，預先將跟蹤組的點從上一幀的位置投影到預測矩陣的位置范圍，再在預測矩陣的位置范圍內搜索模板。5.根據權利要求2所述的一種基于圖像識別的擴增實境實現方法，其特征在于，采用卡爾曼濾波算法的方法為：對之前的數幀位姿矩陣進行加權，之后對當前幀求得的新的位姿矩陣做最優化估計處理。6.根據權利要求1所述的一種基于圖像識別的擴增實境實現方法，其特征在于，所述云端圖像數據庫得生成方法包括：描述子生成步驟：收集圖像，提取每張圖像的ORB特征點，并對每個OR...

【專利技術屬性】
技術研發人員：施茂燊，
申請(專利權)人：深圳前海大造科技有限公司，
類型：發明
國別省市：廣東,44