相機重定位方法及裝置制造方法及圖紙

本公開涉及一種相機重定位方法及裝置。該相機重定位方法包括：通過共享層從相機獲取的圖像中提取圖像特征；通過第一專門層根據圖像特征確定并輸出相機在第一坐標系中的位移；通過第二專門層根據圖像特征確定并輸出相機在第一坐標系中的姿態。本公開的相機重定位方法及裝置，通過對神經網絡進行分支，能夠較好地處理相機重定位任務中的位移預測和姿態預測兩個子任務之間的關系，達到位移預測和姿態預測兩個子任務互不干擾的目的，能夠大大地提高相機重定位的精度。

Camera repositioning method and apparatus

The present invention relates to a camera repositioning method and apparatus. Including the camera relocation method: by sharing image feature extraction of image layers from the camera; through the first special layer according to the displacement image feature determines and outputs in the first camera in the coordinate system; through the second special layer according to the characteristics of the image and determine the output of the camera in the coordinate system of attitude. The disclosed camera relocation method and device, through the branches of the neural network can well deal with the displacement prediction and re positioning task in camera attitude to predict the relationship between the two sub tasks, achieve the displacement prediction and attitude prediction two sub tasks do not interfere with each other at the same time, can greatly improve the accuracy of camera positioning.

【技術實現步驟摘要】
相機重定位方法及裝置
本公開涉及計算機視覺
，尤其涉及一種相機重定位方法及裝置。
技術介紹
近年來，除了通過GPS(GlobalPositionSystem，全球定位系統)、基站、藍牙和Wi-Fi(WirelessFidelity，無線保真技術)進行定位外，越來越多的定位系統使用了視覺傳感器。視覺傳感器是指利用光學元件和成像裝置獲取外部環境圖像信息的儀器。視覺傳感器獲取的視覺圖像中包含底層的顏色、紋理特征以及高層的物體、場景特征，且視覺傳感器價格低廉、使用廣泛，越來越多地受到定位系統的青睞。近年來，借助計算機視覺技術的高速發展，基于視覺圖像的定位技術得到了廣泛的應用。相機重定位是指通過對相機拍攝的圖像進行分析，計算相機在圖像拍攝場景坐標系的位移和姿態。圖1是相關技術示出的相機重定位的坐標系示意圖。如圖1所示，相機的位移可以通過向量r＝[X,Y,Z]來表示，相機的姿態可以通過xyz坐標系(全局坐標系)與x’y’z’坐標系(局部坐標系)之間的關系來表示。相關技術中，主要的相機重定位方法可以分為基于點特征的相機重定位方法和基于全圖特征的相機重定位方法?；邳c特征的相機重定位方法通過像素點特征來進行點坐標匹配，例如通過卷積神經網絡進行點匹配，從而計算相機的姿態。基于全圖特征的相機重定位方法通過將全圖特征映射到高維特征空間來獲得更好的對于相機位移、姿態的連續映射。利用卷積神經網絡也可以不進行點匹配，直接處理圖像回歸得到相機的姿態。這類基于神經網絡的相機重定位方法就是基于全圖特征的相機重定位方法。相關技術中，基于神經網絡實現端到端學習的相機重定位方法可以包括PoseNet網絡結構(例如GoogLeNet、VGG-16網絡結構等)，即可以通過在輸入端讀取一張相機拍攝的圖像，而在輸出端直接輸出相機的位移和姿態。圖2是相關技術中的GoogLeNet網絡結構的示例性的框圖。圖3是相關技術中的VGG-16網絡結構的示例性的框圖。如圖2和圖3所示，GoogLeNet網絡結構和VGG-16網絡結構的每一層均以前一層的輸出為輸入，最終的表示位移和姿態的向量由同一個全連接層生成并輸出。相機重定位方法可以認為是解決相機的位移預測和相機的姿態預測兩個子任務。通過計算不同圖像的位移和姿態，例如計算不同圖像的3個位移變量和3個姿態變量之間的相關程度，可以發現兩組變量(一組為位移變量，另一組為姿態變量)中，組內相關性要顯著高于組間相關性。由此可以說明，盡管相機的位移和姿態之間是有關聯的，但是位移和姿態之間也是有顯著的差異性的。采用同一個全連接層同時預測相機的位移和姿態，這使得在神經網絡的訓練過程中，位移和姿態兩組變量的訓練效果的均衡變得非常重要，提高其中之一的預測效果往往使得另一者的效果降低。
技術實現思路
有鑒于此，本公開提出了一種相機重定位方法及裝置，以準確地預測相機的位移和姿態。根據本公開的第一方面，提供了一種相機重定位方法，所述方法基于卷積神經網絡，所述卷積神經網絡包括共享層、第一專門層和第二專門層，所述方法包括：通過所述共享層從相機獲取的圖像中提取圖像特征；通過所述第一專門層根據所述圖像特征確定并輸出所述相機在第一坐標系中的位移；通過所述第二專門層根據所述圖像特征確定并輸出所述相機在所述第一坐標系中的姿態。對于所述的相機重定位方法，在一種可能的實現方式中，所述共享層包括圖像特征卷積層、圖像特征池化層和圖像特征生成模塊中的至少一項。對于所述的相機重定位方法，在一種可能的實現方式中，所述第一專門層包括位移卷積層、位移池化層和位移特征生成模塊中的至少一項，所述第一專門層還包括位移全連接層。對于所述的相機重定位方法，在一種可能的實現方式中，所述第二專門層包括姿態卷積層、姿態池化層和姿態特征生成模塊中的至少一項，所述第二專門層還包括姿態全連接層。根據本公開的第二方面，提供了一種相機重定位裝置，所述裝置基于卷積神經網絡，所述卷積神經網絡包括共享層、第一專門層和第二專門層，所述裝置包括：圖像特征提取模塊，用于通過所述共享層從相機獲取的圖像中提取圖像特征；位移確定模塊，用于通過所述第一專門層根據所述圖像特征確定并輸出所述相機在第一坐標系中的位移；姿態確定模塊，用于通過所述第二專門層根據所述圖像特征確定并輸出所述相機在所述第一坐標系中的姿態。對于所述的相機重定位裝置，在一種可能的實現方式中，所述共享層包括圖像特征卷積層、圖像特征池化層和圖像特征生成模塊中的至少一項。對于所述的相機重定位裝置，在一種可能的實現方式中，所述第一專門層包括位移卷積層、位移池化層和位移特征生成模塊中的至少一項，所述第一專門層還包括位移全連接層。對于所述的相機重定位裝置，在一種可能的實現方式中，所述第二專門層包括姿態卷積層、姿態池化層和姿態特征生成模塊中的至少一項，所述第二專門層還包括姿態全連接層。根據本公開的第三方面，提供了一種相機重定位裝置，所述裝置基于卷積神經網絡，所述卷積神經網絡包括共享層、第一專門層和第二專門層，所述裝置包括：處理器；用于存儲處理器可執行指令的存儲器；其中，所述處理器被配置為：通過所述共享層從相機獲取的圖像中提取圖像特征；通過所述第一專門層根據所述圖像特征確定并輸出所述相機在第一坐標系中的位移；通過所述第二專門層根據所述圖像特征確定并輸出所述相機在所述第一坐標系中的姿態。根據本公開的第四方面，提供了一種非易失性計算機可讀存儲介質，當所述存儲介質中的指令由終端和/或服務器的處理器執行時，使得終端和/或服務器能夠執行一種相機重定位方法，所述方法基于卷積神經網絡，所述卷積神經網絡包括共享層、第一專門層和第二專門層，所述方法包括：通過所述共享層從相機獲取的圖像中提取圖像特征；通過所述第一專門層根據所述圖像特征確定并輸出所述相機在第一坐標系中的位移；通過所述第二專門層根據所述圖像特征確定并輸出所述相機在所述第一坐標系中的姿態。本公開的相機重定位方法及裝置，通過共享層從相機獲取的圖像中提取圖像特征，通過第一專門層根據圖像特征確定并輸出相機在第一坐標系中的位移，通過第二專門層根據圖像特征確定并輸出相機在第一坐標系中的姿態，由此通過對神經網絡進行分支，能夠較好地處理相機重定位任務中的位移預測和姿態預測兩個子任務之間的關系，達到位移預測和姿態預測兩個子任務互不干擾的目的，能夠大大地提高相機重定位的精度。根據下面參考附圖對示例性實施例的詳細說明，本公開的其它特征及方面將變得清楚。附圖說明包含在說明書中并且構成說明書的一部分的附圖與說明書一起示出了本公開的示例性實施例、特征和方面，并且用于解釋本公開的原理。圖1是相關技術示出的相機重定位的坐標系示意圖。圖2是相關技術中的GoogLeNet網絡結構的示例性的框圖。圖3是相關技術中的VGG-16網絡結構的示例性的框圖。圖4是根據本公開一實施例的相機重定位方法的卷積神經網絡的框圖。圖5是根據本公開一實施例的相機重定位方法的流程圖。圖6是根據本公開一實施例的基于GoogLeNet的分支網絡結構的一示例性的框圖。圖7是根據本公開一實施例的基于VGG-16的分支網絡結構的一示例性的框圖。圖8是根據本公開一實施例的相機重定位裝置的框圖。圖9是根據本公開一實施例的相機重定位裝置的框圖。具體實施方式以下將參考附圖詳細說明本公本文檔來自技高網...

【技術保護點】
一種相機重定位方法，其特征在于，所述方法基于卷積神經網絡，所述卷積神經網絡包括共享層、第一專門層和第二專門層，所述方法包括：通過所述共享層從相機獲取的圖像中提取圖像特征；通過所述第一專門層根據所述圖像特征確定并輸出所述相機在第一坐標系中的位移；通過所述第二專門層根據所述圖像特征確定并輸出所述相機在所述第一坐標系中的姿態。

【技術特征摘要】
1.一種相機重定位方法，其特征在于，所述方法基于卷積神經網絡，所述卷積神經網絡包括共享層、第一專門層和第二專門層，所述方法包括：通過所述共享層從相機獲取的圖像中提取圖像特征；通過所述第一專門層根據所述圖像特征確定并輸出所述相機在第一坐標系中的位移；通過所述第二專門層根據所述圖像特征確定并輸出所述相機在所述第一坐標系中的姿態。2.根據權利要求1所述的相機重定位方法，其特征在于，所述共享層包括圖像特征卷積層、圖像特征池化層和圖像特征生成模塊中的至少一項。3.根據權利要求1所述的相機重定位方法，其特征在于，所述第一專門層包括位移卷積層、位移池化層和位移特征生成模塊中的至少一項，所述第一專門層還包括位移全連接層。4.根據權利要求1所述的相機重定位方法，其特征在于，所述第二專門層包括姿態卷積層、姿態池化層和姿態特征生成模塊中的至少一項，所述第二專門層還包括姿態全連接層。5.一種相機重定位裝置，其特征在于，所述裝置基于卷積神經網絡，所述卷積神經網絡包括共享層、第一專門層和第二專門層，所述裝置包括：圖像特征提取模塊，用于通過所述共享層從相機獲取的圖像中提取圖像特征；位移確定模塊，用于通過所述第一...

【專利技術屬性】
技術研發人員：胡曉林，吳健，
申請(專利權)人：清華大學，
類型：發明
國別省市：北京,11