一種魚眼全景相機自然環境下標定方法技術

本發明專利技術公開了一種魚眼全景相機自然環境下標定方法。包括獲取雙魚眼圖像，建立理論參數模型，提取魚眼圖像特征點，用最優化算法計算模型參數，將參數帶入模型迭代篩選，獲得魚眼圖像到球體表面的映射關系并以球體表面圖像顯示；本發明專利技術圖像特征點提取方法能應用于大畸變的魚眼圖像，并能進一步保證提取到的特征點的準確性，本發明專利技術還提出了一種篩選特征點的迭代模型，利用本發明專利技術的方法可以準確地在自然、隨機的環境下標定全景相機；不需要為了獲得映射關系而搭建特殊的場景，本發明專利技術采用一種自主化的方法，自主求得每幅魚眼圖像到球體表面的映射關系，降低了全景相機使用門檻，擴大了全景相機使用范圍。

A natural environment calibration method for fish eye panoramic camera

The invention discloses a method for calibrating a fish eye panoramic camera in a natural environment. This includes obtaining eye image, establish the theory of parameter model, extracting the fisheye image feature points, the model parameters were calculated by optimization algorithm, the model parameters into iterative screening, get to the spherical surface of the fisheye image mapping and display based on sphere surface image; image the fisheye image feature extraction method can be applied to large distortion. The accuracy of feature points and can further guarantee to extract, the invention also provides a model of iterative filtering feature points, using the method of the invention can accurately calibrate panoramic camera in a natural, random environment; do not need to obtain the mapping relationship and build special scenes, the invention adopts a method of self the independent of each piece of the fisheye image to obtain the mapping relationship between the surface of the ball, reducing the threshold using the panoramic camera, expanding panoramic camera Range of use.

【技術實現步驟摘要】
一種魚眼全景相機自然環境下標定方法
本專利技術屬于計算機圖像處理應用
，涉及一種魚眼全景相機自然環境下標定方法。
技術介紹
全景相機一般由兩個或兩個以上光學成像系統組成，然后將采集到的圖像通過數學計算映射到一個球體表面上。這一過程涉及到每幅圖像到球體表面的映射關系，標定的目的就是獲得各圖像間匹配對應的映射關系，以便在顯示裝置中正確顯示獲得的圖像。一般現有的標定方法只能標定沒有畸變，或是畸變很小的圖像，其方法是通過尋找圖像間冗余部分的對應特征點，推算每幅圖像的映射關系。但是此方法不適用魚眼圖像，畸變較大的魚眼鏡頭成像圖像只能在特殊布置的場景下進行標定，不能適用隨機、任意的應用環境。
技術實現思路
為了解決魚眼全景相機自然環境下標定問題，獲得無縫、均勻的全景畫面，本專利技術采用一種自主化的方法估計每幅魚眼圖像到球體表面的映射關系。本專利技術采取的魚眼全景相機自然環境下標定方法是通過建立理論參數模型，提取魚眼圖像特征點，利用最優化算法計算模型參數，將參數帶入模型迭代篩選，求得每幅魚眼圖像到球體表面的映射關系。本專利技術通過以下技術方案實現：獲取雙魚眼圖像：通過雙魚眼鏡頭獲得雙魚眼圖像F1,、F2；建立理論參數模型：魚眼圖像到球面坐標映射公式：魚眼圖像F(u,v)，球Q，球面坐標經緯度表示Q(θ,φ)(θ∈[0,360],φ∈[0,180])；M為映射關系矩陣；球到平面球的平面展開映射關系公式：球Q，球面坐標經緯度表示Q(θ,φ)(θ∈[0,360],φ∈[0,180])，球Q的平面展開為S(x,y)x＝θ；提取魚眼圖像特征點：目前的特征點提取算法例如SFIT、SURF都不能有效的從魚眼圖像中提取特征點，本專利技術中通過以下公式獲得：S(x，y)-F(u，v)·Mf2s；F(u，v)＝S(x，y)·Ms2f；其中Mf2s為魚眼圖像到球的平面展開映射參數，Ms2f為球的平面展開到魚眼圖像映射參數。獲取方法包括：先獲取魚眼圖像F1、F2，通過Mf2s將F1、F2映射到球的平面展開S1、S2上，然后利用SFIT算法從S1、S2提取并匹配特征點得到PS1i(i＝0，1….N)(N為自然正整數，下同)、PS2i(i＝0，1….N)，然后將PS1i(i＝0，1….N)、PS2i(i＝0，1….N)與Ms2f進行運算得到PF1i(i＝0，1….N)、PF2i(i＝0，1….N)。PF1i(i＝0，1….N)、PF2i(i＝0，1….N)即魚眼圖像上匹配的特征點。用最優化算法計算模型參數：[M1，M2]＝L(PF1i，PF2i)；i∈(0，1，2，......，N)；L為優化算法，M1、M2為優化后得到的魚眼圖像F1、F2到球體Q表面的映射關系。將參數帶入模型迭代篩選PQ1i＝PF1i·M1；i∈(0，1，2，......，N)；PQ2i＝PF2i·M2；i∈(0，1，2，......，N)；δi＝(PQ1i-PQ2i)2；i∈(0，1，2，......，N)；PF1k＝PF1i；δi＜T1，i∈(0，1，2，......，N)；PF2k＝PF2i；δi＜T1，i∈(0，1，2，......，N)；PQ1i、PQ2i為全景圖像上坐標點、δi為對應的點坐標的歐拉距離，T1為特征點篩選閾值，PQ1i、PQ2i為每次篩選剩下的標定點。按照上面公式進行迭代，當滿足下面公式停止迭代，(PQ1i·Ms2f-PQ2i·Ms2f)2＜T2T2為停止迭代閾值。多次迭代后計算得到的M1、M2即為魚眼圖像到球體表面的映射關系。本專利技術為解決現有的特征提取方法不能應用于大畸變的魚眼圖像，提出了一種魚眼圖像的特征點提取方法，該方法可以有效的提取出一對魚眼圖像中匹配的特征點，為進一步保證提取到的特征點的準確性，本專利技術還提出了一種篩選特征點的迭代模型，利用本專利技術的方法可以準確地在自然、隨機的環境下標定全景相機。本專利技術的有益效果是，不需要為了獲得映射關系而搭建特殊的場景，適用于隨機、任意的應用環境；本專利技術采用一種自主化的方法，自主求得每幅魚眼圖像到球體表面的映射關系，降低了全景相機使用門檻，擴大了全景相機使用范圍。附圖說明圖1是本專利技術方法流程圖。圖2是本專利技術獲取魚眼鏡頭成像示意圖。圖3是本專利技術獲取特征點示意圖。具體實施方式下面通過實施例對本專利技術進行具體的描述，本實施例只用于對本專利技術進行進一步的說明，但不能理解為對本專利技術保護范圍的限制，本領域的技術人員根據上述本專利技術的內容作出的一些非本質的改進和調整也屬于本專利技術保護的范圍。為實現魚眼全景相機自然環境下標定，本專利技術無需搭建特殊的場景，通過獲得的雙魚眼圖像，建立理論參數模型，提取魚眼圖像特征點，利用最優化算法計算模型參數，將參數帶入模型迭代篩選，求得每幅魚眼圖像到球體表面的映射關系。下面對本專利技術方法進行描述。獲取雙魚眼圖像：通過雙魚眼鏡頭獲得雙魚眼圖像F1,、F2；建立理論參數模型：魚眼圖像到球面坐標映射公式：魚眼圖像F(u,v)，球Q，球面坐標經緯度表示Q(θ,φ)(θ∈[0,360],φ∈[0,180])；M為映射關系矩陣；球到平面球的平面展開映射關系公式：球Q，球面坐標經緯度表示Q(θ,φ)(θ∈[0,360],φ∈[0,180])，球Q的平面展開為S(x,y)x＝θ；提取魚眼圖像特征點：目前的特征點提取算法例如SFIT、SURF都不能有效的從魚眼圖像中提取特征點，本專利技術中通過以下公式獲得：S(x，y)＝F(u，v)·Mf2s；(1)F(u，v)＝S(x，y)·Ms2f；(2)其中Mf2s為魚眼圖像到球的平面展開映射參數，Ms2f為球的平面展開到魚眼圖像映射參數。獲取方法包括：先獲取魚眼圖像F1、F2，通過Mf2s將F1、F2映射到球的平面展開S1、S2上，然后利用SFIT算法從S1、S2提取并匹配特征點得到PS1i(i＝0，1….N)(N為自然正整數，下同)、PS2i(i＝0，1….N)，然后將PS1i(i＝0，1….N)、PS2i(i＝0，1….N)與Ms2f進行運算得到PF1i(i＝0，1….N)、PF2i(i＝0，1….N)。PF1i(i＝0，1….N)、PF2i(i＝0，1….N)即魚眼圖像上匹配的特征點。用最優化算法計算模型參數：[M1，M2]＝L(PF1i，PF2i)；i∈(0，1，2，......，N)；L為優化算法，M1、M2為優化后得到的魚眼圖像F1、F2到球體Q表面的映射關系。將參數帶入模型迭代篩選PQ1i＝PF1i·M1；i∈(0，1，2，......，N)；PQ2i＝PF2i·M2；i∈(0，1，2，......，N)；δi＝(PQ1i-PQ2i)2；i∈(0，1，2，......，N)；PF1k＝PF1i；δi＜T1，i∈(0，1，2，......，N)；PF2k＝PF2i；δi＜T1，i∈(0，1，2，......，N)；PQ1i、PQ2i為全景圖像上坐標點、δi為對應的點坐標的歐拉距離，T1為特征點篩選閾值，PQ1i、PQ2i為每次篩選剩下的標定點。按照上面公式進行迭代，當滿足下面公式停止迭代，(PQ1i·Ms2f-PQ2i·Ms2f)2＜T2T2為停止迭代閾值。多次迭代后計算得到的M1、M2即為魚眼圖像到球體表面的映射關系。具體實施舉例：結合附圖1至圖3；首先通過帶有魚眼鏡頭的全本文檔來自技高網...

【技術保護點】
一種魚眼全景相機自然環境下標定方法，其特征在于包括以下步驟：(1)獲取雙魚眼圖像通過雙魚眼鏡頭獲得雙魚眼圖像F1,、F2；(2)建立理論參數模型魚眼圖像到球面坐標映射公式：魚眼圖像F(u,v)，球Q，球面坐標經緯度表示Q(θ,φ)(θ∈[0,360],φ∈[0,180])；

【技術特征摘要】
1.一種魚眼全景相機自然環境下標定方法，其特征在于包括以下步驟：(1)獲取雙魚眼圖像通過雙魚眼鏡頭獲得雙魚眼圖像F1,、F2；(2)建立理論參數模型魚眼圖像到球面坐標映射公式：魚眼圖像F(u,v)，球Q，球面坐標經緯度表示Q(θ,φ)(θ∈[0,360],φ∈[0,180])；M為映射關系矩陣；球到平面球的平面展開映射關系公式：球Q，球面坐標經緯度表示Q(θ,φ)(θ∈[0,360],φ∈[0,180])，球Q的平面展開為S(x,y)；x＝θ；(3)提取魚眼圖像特征點通過以下公式獲得：S(x，y)-F(u，v)·Mf2s；F(x，v)＝S(x，y)·Ms2f；其中Mf2s為魚眼圖像到球的平面展開映射參數，Ms2f為球的平面展開到魚眼圖像映射參數；獲取方法包括：先獲取魚眼圖像F1、F2，通過Mf2s將F1、F2映射到球的平面展開S1、S2上，然后利用SFIT算法從S1、S2提取并匹配特征點得到PS1i、PS2i，然后將PS1i、PS2i與Ms2f進行運算得到PF1i、PF2i；PF1i、PF2i即為魚眼圖像上匹配的特征點，其中i＝0.1….N，N為自然正整數；(4)用最優化算法計算模型參數[M1，M2]＝L(...

【專利技術屬性】
技術研發人員：張恩澤，賴文杰，胡志發，成茵，余黎，
申請(專利權)人：成都易瞳科技有限公司，
類型：發明
國別省市：四川,51