信息處理設(shè)備和信息處理方法技術(shù)

本發(fā)明專利技術(shù)提供一種信息處理設(shè)備和信息處理方法。標(biāo)志檢測單元(110)從拍攝圖像中檢測標(biāo)志的圖像坐標(biāo)。標(biāo)志配置信息更新單元(160)使用標(biāo)志的圖像坐標(biāo)和這些標(biāo)志各自的配置信息來計算攝像設(shè)備的位置和方位。此外，標(biāo)志配置信息更新單元(160)對具有表示配置信息不可靠的可靠度的不可靠標(biāo)志的配置信息進(jìn)行再校準(zhǔn)。標(biāo)志配置信息更新單元(160)將由標(biāo)志配置信息保持單元(140)與不可靠標(biāo)志相關(guān)聯(lián)地保持的配置信息更新為再校準(zhǔn)后的配置信息和表示配置信息可靠的可靠度。

【技術(shù)實現(xiàn)步驟摘要】
(本申請是申請日為2008年4月24日、申請?zhí)枮?00810093557.9、專利技術(shù)名稱為“”的申請的分案申請。)
本專利技術(shù)一般地涉及，并特別地涉及測量攝像設(shè)備的位置和方位的技術(shù)。
技術(shù)介紹
已大規(guī)模進(jìn)行關(guān)于將文字和CG圖片重疊在現(xiàn)實空間上并呈現(xiàn)重疊結(jié)果的混合真實感的研究。呈現(xiàn)混合真實感的呈現(xiàn)設(shè)備可以實現(xiàn)為這樣的設(shè)備，該設(shè)備將根據(jù)攝像設(shè)備的位置和方位而生成的圖像重疊并繪制在由該攝像設(shè)備拍攝的圖像上，并顯示所生成的圖像。為了實現(xiàn)這種技術(shù)，需要實時測量在現(xiàn)實空間中定義的基準(zhǔn)坐標(biāo)系和照相機(jī)坐標(biāo)系之間的相對位置和方位。例如，以下將說明這樣的情況將虛擬物體重疊在室內(nèi)或桌上等現(xiàn)實環(huán)境中的預(yù)定位置處。在這種情況下，將基準(zhǔn)坐標(biāo)系定義在該環(huán)境中的合適位置(例如房間的地面或桌面)，并可以測量基準(zhǔn)坐標(biāo)系中的照相機(jī)的位置和方位。為了實現(xiàn)這種測量，一般的做法是使用由照相機(jī)連續(xù)拍攝的時間系列圖像來依次測量照相機(jī)的 位置和方位(參見非專利文獻(xiàn)1、2和3)。例如，可以通過以下序列來計算基準(zhǔn)坐標(biāo)系中的照相機(jī)的位置和方位。(I)將基準(zhǔn)坐標(biāo)系中的位置(基準(zhǔn)坐標(biāo))給定的多個標(biāo)志配置或設(shè)置在室內(nèi)的地板、墻壁、桌面等上。(2)檢測由照相機(jī)拍攝的拍攝圖像中的標(biāo)志的圖像坐標(biāo)。(3)基于檢測到的標(biāo)志的圖像坐標(biāo)和這些標(biāo)志的基準(zhǔn)坐標(biāo)之間的對應(yīng)關(guān)系來計算照相機(jī)的位置和方位。注意，標(biāo)志可以是為了測量目的而有意設(shè)置的人為的標(biāo)記，或者可以是在該環(huán)境中原本存在的特征(自然特征)等。為了通過上述序列來計算照相機(jī)的位置和方位，作為預(yù)備處理，需要預(yù)先獲取各標(biāo)志的配置信息。注意，各標(biāo)志的配置信息表示基準(zhǔn)坐標(biāo)系中的該標(biāo)志的位置。以下，根據(jù)需要將計算標(biāo)志的配置信息的處理稱作標(biāo)志的校準(zhǔn)。通常，使用測量儀、量角器等來人工進(jìn)行標(biāo)志的校準(zhǔn)。另外，使用基于由照相機(jī)預(yù)先拍攝的多個圖像來估計標(biāo)志的配置信息的方法(參見非專利文獻(xiàn)4)。此外，已提出了一種在依次執(zhí)行照相機(jī)的位置和方位的測量的同時校準(zhǔn)標(biāo)志的方法(參見非專利文獻(xiàn)5)。在非專利文獻(xiàn)5中公開的設(shè)備具有在校準(zhǔn)未知的標(biāo)志的同時測量照相機(jī)的位置和方位的自動映射模式、以及在各標(biāo)志的配置信息給定的同時僅測量照相機(jī)的位置和方位的跟蹤模式。用戶根據(jù)需要選擇性地使用這些模式。Sato, Uchiyama, and Yamamoto:^UG+B:A RegistrationFramework Using User’s View, Gyroscope, and Birdi s-Eye View^j Transactions of the Virtual Reality Society of Japan，vol. 10，no. 3，pp. 391-400，2005Sato，Uchiyama，and Tamura:"Registration method in augmented reality'Transactions of the Virtual Reality S ociety of Japan, vol. 8 ，no. 2，pp. 171-180，2003M. A. Fischler and R. C. Bolles (June 1981) : Random Sample Consensus:A paradigm for model fitting with applications to image analysis and automated cartography, Comm, of the ACM, vol. 24，no. 6，pp. 381-395，1981Kotake，Uchiyama，and Yamamoto:Marker Calibration Method Utilizing A Priori Knowledge on Marker Arrangement"，Transactions of the Virtual Reality Society of Japan，vol. 10，no. 3，pp. 401-410，2005Leonid Naimark and Eric Foxlin:Circular data matrix fiducial system and robust image processing for a wearable vision-1nertial self-tracker,Proc. 1st International Symposium on Mixed and Augmented RealitydSMAR 2002)，pp. 27-36，2002R. Hartley and A. Zissermanj Multiple view geometry in computer vision:Second Edition, Cambridge University Press在預(yù)先測量標(biāo)志的配置信息時，需要標(biāo)志從其校準(zhǔn)時刻起在當(dāng)前時刻絲毫不移動。例如，如果僅使用附著在墻壁、地板、天花板等固定結(jié)構(gòu)物體上的標(biāo)記，則基本上滿足這一條件。然而，當(dāng)包括其配置有可能變化的標(biāo)志時，如果原樣使用預(yù)先測得的配置信息，則當(dāng)標(biāo)志的配置發(fā)生變化時不能正確地測量照相機(jī)的位置和方位。例如，當(dāng)標(biāo)記被配置在壁柜的門或帶輪的桌子等可活動物體上時，用戶需要憑視覺來確認(rèn)標(biāo)志的校準(zhǔn)時刻的狀況在當(dāng)前時刻處未變化。另一方面，當(dāng)使用與照相機(jī)的位置和方位測量同時依次更新各標(biāo)志的配置信息的方法(在非專利文獻(xiàn)5中公開)時，在原理上可處理各標(biāo)志的配置信息的變化。然而，由于視野內(nèi)不能作為固定標(biāo)志來處理的全部標(biāo)志的全部配置信息總是持續(xù)更新的，因而計算負(fù)荷很重。因此，非專利文獻(xiàn)5公開的設(shè)備僅當(dāng)用戶判斷為需要自動映射模式時才使用該模式。結(jié)果，用戶必須決定是否需要對標(biāo)志進(jìn)行再校準(zhǔn)。S卩，現(xiàn)有技術(shù)沒有了解是否應(yīng)該執(zhí)行標(biāo)志的再校準(zhǔn)的手段。因此，用戶必須基于自身的經(jīng)驗知識來決定是否執(zhí)行再校準(zhǔn)。盡管在多數(shù)實際情景中僅有一部分標(biāo)志移動，但并未準(zhǔn)備僅對需要再校準(zhǔn)的標(biāo)志進(jìn)行校準(zhǔn)的手段。
技術(shù)實現(xiàn)思路
、考慮到上述現(xiàn)有技術(shù)的問題而做出本專利技術(shù)。即，本專利技術(shù)的目的是提供一種攝像設(shè)備的位置和方位的測量技術(shù)，該測量技術(shù)不需要由用戶基于自身的經(jīng)驗知識來決定各標(biāo)志的配置信息是否正確以及是否需要進(jìn)行再校準(zhǔn)，并且可以容易地管理和維護(hù)。本專利技術(shù)的另一目的是提供一種僅對需要再校準(zhǔn)的標(biāo)志進(jìn)行校準(zhǔn)的技術(shù)。根據(jù)本專利技術(shù)的第一方面，一種信息處理設(shè)備，包括保持單元，用于針對配置在現(xiàn)實空間中的多個標(biāo)志中的每個標(biāo)志，保持配置信息和所述配置信息的可靠度；獲取單元，用于從拍攝所述現(xiàn)實空間的攝像設(shè)備獲取拍攝圖像；檢測單元，用于從所述拍攝圖像檢測標(biāo)志的圖像坐標(biāo)；計算單元，用于使用由所述檢測單元檢測到的所述標(biāo)志的圖像坐標(biāo)、以及由所述保持單元以與所述標(biāo)志相關(guān)聯(lián)的方式保持的配置信息，來計算所述攝像設(shè)備的位置和方位；再校準(zhǔn)單元，用于對具有表示配置信息不可靠的可靠度的不可靠標(biāo)志的配置信息進(jìn)行再校準(zhǔn)；以及更新單元，用于將由所述保持單元以與所述不可靠標(biāo)志相關(guān)聯(lián)的方式保持的配置信息和該配置信息的可靠度更新為由所述再校準(zhǔn)單元再校準(zhǔn)后的配置信息和表示該配置信息可靠的可靠度。根據(jù)本專利技術(shù)的第二方面，一種信息處理設(shè)備，包括保持單元，用于針對配置在現(xiàn)實空間中的多本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點】
一種信息處理設(shè)備，包括：保持單元，用于針對配置在現(xiàn)實空間中的多個標(biāo)志中的每個標(biāo)志，保持配置信息和所述配置信息的可靠度；獲取單元，用于從拍攝所述現(xiàn)實空間的攝像設(shè)備獲取拍攝圖像；檢測單元，用于從所述拍攝圖像檢測多個標(biāo)志的圖像坐標(biāo)；計算單元，用于使用由所述檢測單元檢測到的多個標(biāo)志的圖像坐標(biāo)、以及由所述保持單元以與圖像坐標(biāo)被檢測到的多個標(biāo)志中的每個標(biāo)志相關(guān)聯(lián)的方式保持的配置信息，來計算所述攝像設(shè)備的位置和方位，以及計算圖像坐標(biāo)被檢測到的多個標(biāo)志中的每個標(biāo)志的可靠度；以及通知單元，用于通知與具有表示配置信息不可靠的可靠度的不可靠標(biāo)志相關(guān)聯(lián)的信息。

【技術(shù)特征摘要】
...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：佐藤清秀，內(nèi)山晉二，
申請(專利權(quán))人：佳能株式會社，
類型：發(fā)明
國別省市：