一種全景攝像機(jī)標(biāo)定方法技術(shù)

本發(fā)明專利技術(shù)提出了一種全景攝像機(jī)標(biāo)定方法，首先在同一電子顯示屏上制作兩個(gè)標(biāo)定板，通過設(shè)計(jì)不同的標(biāo)定圖形或不同尺寸的棋盤格來區(qū)分左右標(biāo)定板；然后基于標(biāo)定板建立一個(gè)標(biāo)定參考坐標(biāo)系，分別計(jì)算左右像機(jī)坐標(biāo)系與標(biāo)定參考坐標(biāo)系之間的相對(duì)位置姿態(tài)轉(zhuǎn)移關(guān)系；獲取同一標(biāo)定參考坐標(biāo)系下，“背對(duì)式”雙目攝像機(jī)進(jìn)行標(biāo)定的相對(duì)關(guān)系矩陣；攝取多組圖像，以重投影像點(diǎn)與實(shí)際像點(diǎn)誤差最小作為目標(biāo)函數(shù)，進(jìn)行迭代優(yōu)化，實(shí)現(xiàn)精確標(biāo)定。本發(fā)明專利技術(shù)方法可推廣到多個(gè)像機(jī)，用于背靠背雙目像機(jī)、環(huán)形布置多像機(jī)等應(yīng)用場(chǎng)景的標(biāo)定。

A panoramic camera calibration method

The invention provides a method for calibrating panoramic camera, the first two calibration board in the same electronic screen production, to distinguish between left and right plate through the design of different calibration graphics or different sizes of checkerboard calibration plate; then establish a calibration reference coordinate system based on the calculated about like machine coordinates and relative calibration position and attitude between the reference coordinate system transfer relationship; for the same calibration reference coordinates, back relative relation matrix calibration of binocular camera; \eat group image, to re projection image point and actual image point error as the objective function, iterative optimization, to achieve accurate calibration. The method of the invention can be extended to a plurality of image machines, and is used for the calibration of application scenes such as back to back binocular images, circular arrangement, multi image machines, etc..

【技術(shù)實(shí)現(xiàn)步驟摘要】

本專利技術(shù)屬于攝像測(cè)量
，涉及攝像機(jī)標(biāo)定方法，特指一種全景攝像機(jī)標(biāo)定方法。
技術(shù)介紹
在攝像測(cè)量中，為了從圖像中定量提取和測(cè)量空間物體的幾何信息或運(yùn)動(dòng)信息，必須建立空間物點(diǎn)和圖像中像點(diǎn)位置的相互對(duì)應(yīng)關(guān)系，這種對(duì)應(yīng)關(guān)系由攝像系統(tǒng)成像模型及攝像機(jī)參數(shù)決定，但攝像機(jī)的光心、光軸、焦距等并非物理實(shí)體，通常利用實(shí)驗(yàn)和數(shù)學(xué)模型分析確定參數(shù)，這一過程被稱為攝像測(cè)量系統(tǒng)標(biāo)定。攝像測(cè)量中像機(jī)標(biāo)定的任務(wù)主要包括內(nèi)參數(shù)、外參數(shù)和像差系數(shù)的確定，在計(jì)算機(jī)視覺研究中多用像機(jī)采集標(biāo)定參照物的圖像，再通過分析圖像來求解像機(jī)參數(shù)。研究者們提出了多種多樣的像機(jī)標(biāo)定方法。這些方法大致可分為三類：傳統(tǒng)標(biāo)定方法、基于主動(dòng)視覺的標(biāo)定方法和自標(biāo)定方法。傳統(tǒng)像機(jī)標(biāo)定方法有直接非線性優(yōu)化法，基于控制點(diǎn)的三維坐標(biāo)與其對(duì)應(yīng)圖像點(diǎn)之間的非線性關(guān)系，通過對(duì)某些代價(jià)函數(shù)最小化直接搜索像機(jī)參數(shù)。該算法的優(yōu)點(diǎn)是獲得參數(shù)精度高，可求取各類像差，但參數(shù)個(gè)數(shù)太多、計(jì)算量大，算法穩(wěn)定性差。直接線性變換解法，由Abdel和Karara提出采用線性解法得到一組中間參數(shù)，然后分解得到最終參數(shù)，該方法通過線性變換直接求解，簡(jiǎn)單快速，但未對(duì)鏡頭像差修正，精度較差。以Tsai和Weng提出和改進(jìn)的“兩步法”標(biāo)定，對(duì)大部分標(biāo)定參數(shù)采用線性求解，少部分參數(shù)采用非線性優(yōu)化或迭代求解，該方法具有簡(jiǎn)單方便、精度較高的特點(diǎn)，同時(shí)考慮了像差，算法穩(wěn)定。基于主動(dòng)視覺的標(biāo)定方法需要控制相機(jī)做某些可控運(yùn)動(dòng)，如繞光心旋轉(zhuǎn)或純平移等，利用這種運(yùn)動(dòng)的特殊性計(jì)算像機(jī)參數(shù)，多用于機(jī)器人視覺標(biāo)定。像機(jī)自標(biāo)定方法與三維結(jié)構(gòu)重建聯(lián)系緊密，F(xiàn)augeras等首先提出了像機(jī)自標(biāo)定的思想，描述多次成像之間約束關(guān)系的Kruppa方程，但直接求解方程非常復(fù)雜。研究者又提出了分層逐步標(biāo)定的思想，首先對(duì)圖像序列做攝影重建，再進(jìn)行仿射標(biāo)定和歐氏標(biāo)定，以QR分解法、模約束法等為代表，主要用于序列圖像三維重建標(biāo)定方法中。基于空間坐標(biāo)精確已知的控制點(diǎn)標(biāo)定像機(jī)的方法是經(jīng)典的像機(jī)標(biāo)定方法。這類標(biāo)定方法需要構(gòu)造若干控制點(diǎn)，然后用待標(biāo)定像機(jī)采集這些控制點(diǎn)的圖像并提取各控制點(diǎn)的像點(diǎn)，再根據(jù)控制點(diǎn)的空間坐標(biāo)和對(duì)應(yīng)像點(diǎn)的圖像坐標(biāo)計(jì)算像機(jī)的參數(shù)。現(xiàn)有的大多數(shù)雙目攝像機(jī)標(biāo)定方法都是基于這種經(jīng)典標(biāo)定方法，同時(shí)依賴兩個(gè)相機(jī)之間存在的公共視場(chǎng)區(qū)域，當(dāng)雙目像機(jī)間不存在共同視場(chǎng)或視場(chǎng)交叉范圍較小時(shí)，則無法求取雙目攝像機(jī)的外部參數(shù)。
技術(shù)實(shí)現(xiàn)思路
針對(duì)現(xiàn)有技術(shù)存在的缺陷，本專利技術(shù)提供一種全景攝像機(jī)標(biāo)定方法。本專利技術(shù)其創(chuàng)新性在于克服公共視場(chǎng)限制，通過對(duì)左右標(biāo)定板的設(shè)計(jì)，求取全景像機(jī)坐標(biāo)系下像點(diǎn)與參考坐標(biāo)系下物點(diǎn)的對(duì)應(yīng)關(guān)系，自動(dòng)提取特征角點(diǎn)，優(yōu)化目標(biāo)函數(shù)，得到穩(wěn)定的參數(shù)。本專利技術(shù)方法可推廣到多個(gè)像機(jī)，用于背靠背雙目像機(jī)、環(huán)形布置多像機(jī)等應(yīng)用場(chǎng)景的標(biāo)定。本專利技術(shù)的技術(shù)方案是，一種全景攝像機(jī)標(biāo)定方法，包括以下步驟：S1：設(shè)置左、右兩塊標(biāo)定板M1和M2，兩標(biāo)定板位于同一電子顯示屏上，兩標(biāo)定板的棋盤格上每個(gè)格子的長(zhǎng)度相同均為1。S2：建立一個(gè)標(biāo)定參考坐標(biāo)系W，全景相機(jī)的兩個(gè)具有廣角鏡頭的左側(cè)攝像機(jī)和右側(cè)攝像機(jī)分別對(duì)左、右標(biāo)定板M1和M2拍攝，以左、右標(biāo)定板M1和M2作為標(biāo)定參照物，左、右標(biāo)定板M1和M2的棋盤格上的網(wǎng)格角點(diǎn)為控制點(diǎn)；C1為左側(cè)攝像機(jī)的像機(jī)坐標(biāo)系，C2為右側(cè)攝像機(jī)的像機(jī)坐標(biāo)系，在標(biāo)定參考坐標(biāo)系W下，分別建立像機(jī)坐標(biāo)系C1、C2與圖像坐標(biāo)系下像點(diǎn)的中心透視投影成像關(guān)系。S3：對(duì)左、右標(biāo)定板M1和M2上的控制點(diǎn)作投影變換得到像點(diǎn)，將投影變換得到的像點(diǎn)與圖像檢測(cè)的實(shí)際像點(diǎn)(x,y)作差，得到圖像的殘差，利用最小二乘法求解殘差最小值，作為目標(biāo)函數(shù)最優(yōu)解，并通過極大似然估計(jì)計(jì)算映射矩陣H；其中，目標(biāo)函數(shù)如下：其中：(xi,yi)是第i個(gè)控制點(diǎn)的實(shí)際像點(diǎn)坐標(biāo)，第i個(gè)控制點(diǎn)通過投影變換得到的像點(diǎn)坐標(biāo)。S4：利用求解得到的映射矩陣H作為已知量，分別對(duì)左側(cè)攝像機(jī)和右側(cè)攝像機(jī)求解線性參數(shù)，得到左側(cè)攝像機(jī)定標(biāo)的外參矩陣即其旋轉(zhuǎn)矩陣R1和平移矩陣T1和右側(cè)攝像機(jī)定標(biāo)的外參矩陣即其旋轉(zhuǎn)矩陣R2平移矩陣T2。S5：根據(jù)全景攝像機(jī)其兩像機(jī)坐標(biāo)系C1、C2對(duì)應(yīng)的幾何關(guān)系，獲取同一標(biāo)定參考坐標(biāo)系下兩像機(jī)坐標(biāo)系標(biāo)定的相對(duì)關(guān)系中的旋轉(zhuǎn)矩陣R和平移矩陣T：S6：以步驟S5得到的旋轉(zhuǎn)矩陣R和平移矩陣T為初始值，將全景相機(jī)拍攝的多組圖像代入映射矩陣，進(jìn)行迭代優(yōu)化，提高標(biāo)定精度。在步驟S1中，通過設(shè)計(jì)不同的標(biāo)定圖形或尺寸大小來區(qū)分左、右標(biāo)定板M1和M2，如在兩標(biāo)定板上的棋盤格中添加不同顏色或不同形狀的標(biāo)記塊。對(duì)于非彩色相機(jī)，可以設(shè)置不同尺寸的左、右標(biāo)定板來予以區(qū)分兩標(biāo)定板，比如左標(biāo)定板的尺寸大小設(shè)置為7*9(即7行9列)，右標(biāo)定板尺寸設(shè)置為5*7(即5行7列)。在步驟S2中，任取空間一點(diǎn)為坐標(biāo)原點(diǎn)，根據(jù)右手定則建立一個(gè)標(biāo)定參考坐標(biāo)系W。由于左、右標(biāo)定板M1和M2的棋盤格上各格子的長(zhǎng)寬度均為1，因此左、右標(biāo)定板M1和M2上的控制點(diǎn)在標(biāo)定參考坐標(biāo)系W中的三維坐標(biāo)已知。全景相機(jī)中的兩個(gè)攝像鏡頭是相同且對(duì)稱設(shè)置的，像機(jī)坐標(biāo)系C1、C2與圖像坐標(biāo)系下像點(diǎn)的中心透視投影成像關(guān)系是相同的。以全景相機(jī)中的一個(gè)攝像鏡頭為例，依據(jù)中心透視投影模型的基本關(guān)系，建立像機(jī)坐標(biāo)系與圖像坐標(biāo)系之間的關(guān)系，方法如下：設(shè)C-XcYcZc為像機(jī)坐標(biāo)系C1或C2，為圖像物理坐標(biāo)系，S為像平面，點(diǎn)O為像平面和光軸的交點(diǎn)，稱為圖像主點(diǎn)。圖像坐標(biāo)系為I-xy，其是以圖像左上角點(diǎn)I為原點(diǎn)，以像素為坐標(biāo)單位的直角坐標(biāo)系。圖像坐標(biāo)系下的坐標(biāo)為圖像像素坐標(biāo)。點(diǎn)P為物點(diǎn)，點(diǎn)p為其對(duì)應(yīng)的像點(diǎn)。設(shè)點(diǎn)P在空間內(nèi)物點(diǎn)坐標(biāo)為P(X,Y,Z)，點(diǎn)P在像機(jī)坐標(biāo)系C-XcYcZc下坐標(biāo)為P(Xc,Yc,Zc)，像點(diǎn)p的圖像物理坐標(biāo)為像點(diǎn)p對(duì)應(yīng)的圖像像素坐標(biāo)為建立像機(jī)坐標(biāo)系C-XcYcZc與圖像坐標(biāo)系的關(guān)系，得到像點(diǎn)p的圖像像素坐標(biāo)與物點(diǎn)P在像機(jī)坐標(biāo)系C-XcYcZc下坐標(biāo)(Xc,Yc,Zc)的關(guān)系式為：其中，圖像主點(diǎn)即光軸與像平面交點(diǎn)O的圖像坐標(biāo)為(Cx,Cy)，dx、dy分別為攝像機(jī)的單個(gè)像元在與方向上的物理尺寸，定義焦距f與像元的橫縱尺寸dx、dy之比分別為等效焦距(Fx,Fy)。根據(jù)中心透視投影模型線性關(guān)系，定義一個(gè)3×4階矩陣M來描述空間點(diǎn)到圖像點(diǎn)的中心透視投影關(guān)系，M由攝像機(jī)的內(nèi)參數(shù)矩陣和外參數(shù)矩陣組成，稱為投影矩陣。外參數(shù)矩陣即旋轉(zhuǎn)矩陣和平移矩陣。可描述為：其中：r0至r8都是旋轉(zhuǎn)矩陣R中的元素值。對(duì)于平面場(chǎng)景成像，平面內(nèi)所有點(diǎn)由Z恒為零(平面場(chǎng)景成像，不涉及到第三維Z方向，因此平面內(nèi)所有點(diǎn)的Z方向上坐標(biāo)值為0)，則投影矩陣M可簡(jiǎn)化為映射矩陣H，有：在S3中，已知左、右標(biāo)定板上各控制點(diǎn)的坐標(biāo)和攝像機(jī)的內(nèi)參數(shù)矩陣，要確定外參數(shù)矩陣，即只需得到投影模型中的映射矩陣H，則可求出攝像機(jī)的各參數(shù)。通過極大似然估計(jì)計(jì)算映射矩陣H，由于像差、圖像噪聲、像點(diǎn)提取誤差等問題的存在，實(shí)際上圖像點(diǎn)與實(shí)際點(diǎn)并不嚴(yán)格滿足映射矩陣的對(duì)應(yīng)變換關(guān)系，因此對(duì)對(duì)控制點(diǎn)進(jìn)行重投影得到像點(diǎn)，通過極大似然估計(jì)的方法求取投影變換得到的像點(diǎn)與實(shí)際像點(diǎn)(x,y)之間的殘差，根據(jù)H的估計(jì)值最小化目標(biāo)函數(shù)，得到映射矩陣H。極大似然估計(jì)過程就是使根據(jù)H的估計(jì)值對(duì)控制點(diǎn)重投影得到的像點(diǎn)與實(shí)際像點(diǎn)之間的殘差最小化過程，本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種全景攝像機(jī)標(biāo)定方法，其特征在于，包括以下步驟：S1：設(shè)置左、右兩塊標(biāo)定板M1和M2，兩標(biāo)定板位于同一電子顯示屏上，兩標(biāo)定板的棋盤格上每個(gè)格子的長(zhǎng)度相同均為1；S2：建立一個(gè)標(biāo)定參考坐標(biāo)系W，全景相機(jī)的兩個(gè)具有廣角鏡頭的左側(cè)攝像機(jī)和右側(cè)攝像機(jī)分別對(duì)左、右標(biāo)定板M1和M2拍攝，以左、右標(biāo)定板M1和M2作為標(biāo)定參照物，左、右標(biāo)定板M1和M2的棋盤格上的網(wǎng)格角點(diǎn)為控制點(diǎn)；C1為左側(cè)攝像機(jī)的像機(jī)坐標(biāo)系，C2為右側(cè)攝像機(jī)的像機(jī)坐標(biāo)系，在標(biāo)定參考坐標(biāo)系W下，分別建立像機(jī)坐標(biāo)系C1、C2與圖像坐標(biāo)系下像點(diǎn)的中心透視投影成像關(guān)系；S3：對(duì)左、右標(biāo)定板M1和M2上的控制點(diǎn)作投影變換得到像點(diǎn)，將投影變換得到的像點(diǎn)與圖像檢測(cè)的實(shí)際像點(diǎn)(x,y)作差，得到圖像的殘差，利用最小二乘法求解殘差最小值，作為目標(biāo)函數(shù)最優(yōu)解，并通過極大似然估計(jì)計(jì)算映射矩陣H；其中，目標(biāo)函數(shù)如下：其中：(xi,yi)是第i個(gè)控制點(diǎn)的實(shí)際像點(diǎn)坐標(biāo)，第i個(gè)控制點(diǎn)通過投影變換得到的像點(diǎn)坐標(biāo)；S4：利用求解得到的映射矩陣H作為已知量，分別對(duì)左側(cè)攝像機(jī)和右側(cè)攝像機(jī)求解線性參數(shù)，得到左側(cè)攝像機(jī)定標(biāo)的外參矩陣和右側(cè)攝像機(jī)定標(biāo)的外參矩陣；S5：根據(jù)全景攝像機(jī)其兩像機(jī)坐標(biāo)系C1、C2對(duì)應(yīng)的幾何關(guān)系，獲取同一標(biāo)定參考坐標(biāo)系下兩像機(jī)坐標(biāo)系標(biāo)定的相對(duì)關(guān)系中的旋轉(zhuǎn)矩陣R和平移矩陣T；S6：以步驟S5得到的旋轉(zhuǎn)矩陣R和平移矩陣T為初始值，將全景相機(jī)拍攝的多組圖像代入映射矩陣，進(jìn)行迭代優(yōu)化，提高標(biāo)定精度。...

【技術(shù)特征摘要】
1.一種全景攝像機(jī)標(biāo)定方法，其特征在于，包括以下步驟：S1：設(shè)置左、右兩塊標(biāo)定板M1和M2，兩標(biāo)定板位于同一電子顯示屏上，兩標(biāo)定板的棋盤格上每個(gè)格子的長(zhǎng)度相同均為1；S2：建立一個(gè)標(biāo)定參考坐標(biāo)系W，全景相機(jī)的兩個(gè)具有廣角鏡頭的左側(cè)攝像機(jī)和右側(cè)攝像機(jī)分別對(duì)左、右標(biāo)定板M1和M2拍攝，以左、右標(biāo)定板M1和M2作為標(biāo)定參照物，左、右標(biāo)定板M1和M2的棋盤格上的網(wǎng)格角點(diǎn)為控制點(diǎn)；C1為左側(cè)攝像機(jī)的像機(jī)坐標(biāo)系，C2為右側(cè)攝像機(jī)的像機(jī)坐標(biāo)系，在標(biāo)定參考坐標(biāo)系W下，分別建立像機(jī)坐標(biāo)系C1、C2與圖像坐標(biāo)系下像點(diǎn)的中心透視投影成像關(guān)系；S3：對(duì)左、右標(biāo)定板M1和M2上的控制點(diǎn)作投影變換得到像點(diǎn)，將投影變換得到的像點(diǎn)與圖像檢測(cè)的實(shí)際像點(diǎn)(x,y)作差，得到圖像的殘差，利用最小二乘法求解殘差最小值，作為目標(biāo)函數(shù)最優(yōu)解，并通過極大似然估計(jì)計(jì)算映射矩陣H；其中，目標(biāo)函數(shù)如下：其中：(xi,yi)是第i個(gè)控制點(diǎn)的實(shí)際像點(diǎn)坐標(biāo)，第i個(gè)控制點(diǎn)通過投影變換得到的像點(diǎn)坐標(biāo)；S4：利用求解得到的映射矩陣H作為已知量，分別對(duì)左側(cè)攝像機(jī)和右側(cè)攝像機(jī)求解線性參數(shù)，得到左側(cè)攝像機(jī)定標(biāo)的外參矩陣和右側(cè)攝像機(jī)定標(biāo)的外參矩陣；S5：根據(jù)全景攝像機(jī)其兩像機(jī)坐標(biāo)系C1、C2對(duì)應(yīng)的幾何關(guān)系，獲取同一標(biāo)定參考坐標(biāo)系下兩像機(jī)坐標(biāo)系標(biāo)定的相對(duì)關(guān)系中的旋轉(zhuǎn)矩陣R和平移矩陣T；S6：以步驟S5得到的旋轉(zhuǎn)矩陣R和平移矩陣T為初始值，將全景相機(jī)拍攝的多組圖像代入映射矩陣，進(jìn)行迭代優(yōu)化，提高標(biāo)定精度。2.根據(jù)權(quán)利要求1所述的全景攝像機(jī)標(biāo)定方法，其特征在于，在S1中，通過設(shè)計(jì)不同的標(biāo)定圖形或尺寸大小來區(qū)分左、右標(biāo)定板M1和M2。3.根據(jù)權(quán)利要求1所述的全景攝像機(jī)標(biāo)定方法，其特征在于，在S2中，標(biāo)定參考坐標(biāo)系W是任取空間一點(diǎn)為坐標(biāo)原點(diǎn)，然后根據(jù)右手定則建立的坐標(biāo)系。4.根據(jù)權(quán)利要求1所述的全景攝像機(jī)標(biāo)定方法，其特征在于，在S2中，像機(jī)坐標(biāo)系C1、C2與圖像坐標(biāo)...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：向北海，
申請(qǐng)(專利權(quán))人：湖南優(yōu)象科技有限公司，
類型：發(fā)明
國(guó)別省市：湖南;43