作業(yè)輔助用數(shù)據(jù)生成程序制造技術(shù)

提供一種技術(shù)，容易地進行作業(yè)步驟與基于實際的作業(yè)區(qū)域的狀態(tài)的三維模型的對應(yīng)、作業(yè)視點圖像向三維模型的追加/登錄、既有的作業(yè)步驟中的作業(yè)項目向三維模型的登錄。一種數(shù)據(jù)生成程序，其使計算機執(zhí)行以下步驟：根據(jù)從包含多個作業(yè)對象的多個全景圖像生成的三維模型，生成改變視點后的全景圖像即變形全景圖像的步驟；根據(jù)將從進行作業(yè)的視線拍攝到的圖像即作業(yè)視點圖像與變形全景圖像進行比較而得到的相似度來求出作業(yè)視點圖像的位置，在全景圖像上登錄與進行作業(yè)的對象即作業(yè)對象相關(guān)聯(lián)的信息的步驟；根據(jù)作業(yè)視點圖像相對于全景圖像的位置關(guān)系來檢索與登錄的作業(yè)對象對應(yīng)的作業(yè)視點圖像，并將檢索到的作業(yè)視點圖像與作業(yè)對象對應(yīng)起來的步驟。

【技術(shù)實現(xiàn)步驟摘要】
【國外來華專利技術(shù)】
本專利技術(shù)涉及一種生成作業(yè)輔助用數(shù)據(jù)的程序以及方法，該作業(yè)輔助用數(shù)據(jù)在用于對進行施工或設(shè)備的維護/檢查等各種作業(yè)的作業(yè)者進行輔助的裝置等中使用。
技術(shù)介紹
通常，在執(zhí)行施工或設(shè)備的維護/檢查等各種作業(yè)時，會準(zhǔn)備記載了作業(yè)內(nèi)容和順序的作業(yè)步驟書。在作業(yè)步驟書的形式中存在各種各樣的形式，一般來說，很多時候按照執(zhí)行的順序，順次將表示各個作業(yè)的作業(yè)項目所相關(guān)的內(nèi)容和根據(jù)需要表示實際狀況的照片和圖畫等一起進行記載(一覽形式作業(yè)步驟書)。作業(yè)者按照這樣的作業(yè)步驟書的內(nèi)容執(zhí)行作業(yè)，由此可正確地完成目標(biāo)作業(yè)。另一方面，近年來，通過在反映真實世界的影像上的適當(dāng)位置提示其他的圖像或文字等虛擬信息，來輔助使用者理解真實世界的技術(shù)，即稱為增強現(xiàn)實的技術(shù)受到關(guān)注。通過使用增強現(xiàn)實，可將適當(dāng)?shù)亩〞r、位置、內(nèi)容提示給作業(yè)者，因此期待通過增強現(xiàn)實技術(shù)向作業(yè)者賦予指示的作業(yè)引導(dǎo)有助于防止人為錯誤。為了在作業(yè)引導(dǎo)中利用增強現(xiàn)實技術(shù)，一般來說，需要準(zhǔn)備與進行作業(yè)的空間(作業(yè)區(qū)域)以及在該空間中設(shè)置的儀表和閥、開關(guān)類等作業(yè)對象物(作業(yè)對象)相關(guān)的三維信息(三維模型)，并且保存為將作業(yè)項目與三維模型對應(yīng)起來的數(shù)據(jù)(增強現(xiàn)實用作業(yè)步驟數(shù)據(jù))。作為將各種信息在三維模型上對應(yīng)起來的技術(shù)，在專利文獻1中記載了在畫面上顯示三維模型，并且通過鼠標(biāo)等輸入單元來指定對象的位置，將圖像等對應(yīng)起來的技術(shù)。另外，在專利文獻2中記載了顯示三維模型，并且通過菜單形式來顯示三維模型中包含的部件信息，通過菜單選擇成為對象的部件，并且將關(guān)聯(lián)的信息鏈接起來的技術(shù)。現(xiàn)有技術(shù)文獻專利文獻專利文獻1：日本特開2010-9479號公報專利文獻2：日本特開2001-356813號公報
技術(shù)實現(xiàn)思路
專利技術(shù)所要解決的課題在上述的專利技術(shù)中，雖然記載了將信息在三維模型上對應(yīng)起來的方法，但是沒有考慮將具有順序關(guān)系的作業(yè)步驟所相關(guān)的信息與三維模型對應(yīng)起來的方法。為了生成增強現(xiàn)實用作業(yè)步驟數(shù)據(jù)，需要能夠容易地將包含順序關(guān)系的作業(yè)步驟與三維模型對應(yīng)起來。另外，雖然增強現(xiàn)實用作業(yè)步驟數(shù)據(jù)適合于向使用利用了增強現(xiàn)實的系統(tǒng)的作業(yè)者提供信息，但是考慮到不適合于不使用利用了增強現(xiàn)實的系統(tǒng)的監(jiān)督者確認作業(yè)的內(nèi)容和作業(yè)的流程，而原有的一覽形式作業(yè)步驟書適合。因此，希望從與增強現(xiàn)實用作業(yè)步驟數(shù)據(jù)相同的數(shù)據(jù)還能夠輸出一覽形式作業(yè)步驟書。另外在上述的專利技術(shù)中，生成與作業(yè)區(qū)域相關(guān)的盡可能正確的三維模型成為前提，但是三維模型的構(gòu)建并不容易。近年來，雖然基于三維模型的設(shè)計成為主流，但是也存在設(shè)計中的三維模型和實際的作業(yè)區(qū)域的狀態(tài)不一致的情況。因此，希望能更容易地生成基于實際作業(yè)區(qū)域的狀態(tài)的增強現(xiàn)實用作業(yè)步驟數(shù)據(jù)。另外，很多時候在一覽形式作業(yè)步驟書中附加從進行作業(yè)的視點拍攝到的圖像(作業(yè)視點圖像)，但是由于考慮到作業(yè)視點圖像在使用增強現(xiàn)實的系統(tǒng)中也有用，因此希望能夠?qū)⒆鳂I(yè)視點圖像登錄到增強現(xiàn)實用作業(yè)步驟數(shù)據(jù)中。通常，考慮在實施作業(yè)的現(xiàn)場拍攝作業(yè)視點圖像，在帶回辦公室等后追加到作業(yè)步驟中的方法，但是因為作業(yè)視點圖像只是對特定的作業(yè)對象關(guān)注的圖像，所以還預(yù)想到難以判斷是與作業(yè)區(qū)域的哪里相對應(yīng)的圖像。因此，希望能夠容易地在增強現(xiàn)實用作業(yè)步驟數(shù)據(jù)中追加/登錄作業(yè)視點圖像。并且，考慮到根據(jù)既有的作業(yè)步驟的內(nèi)容來構(gòu)筑增強現(xiàn)實用作業(yè)步驟數(shù)據(jù)的情況，此時，希望容易地將各個作業(yè)項目和相關(guān)聯(lián)的作業(yè)對象對應(yīng)起來。本專利技術(shù)的目的在于，提供一種技術(shù)，能夠?qū)⑦€包含順序關(guān)系的作業(yè)步驟與基于實際的作業(yè)區(qū)域的狀態(tài)的三維模型對應(yīng)起來，并且高效地生成增強現(xiàn)實用作業(yè)步驟數(shù)據(jù)和可輸出一覽形式作業(yè)步驟書的數(shù)據(jù)。本專利技術(shù)的其他目的在于，提供一種技術(shù)，容易地進行作業(yè)視點圖像向三維模型的追加/登錄、既有的作業(yè)步驟中的各個作業(yè)項目向三維模型的登錄。解決課題的手段為了解決上述課題，例如采用權(quán)利要求書記載的結(jié)構(gòu)。本申請包含多個解決上述課題的手段，下面舉出其中一個例子：一種作業(yè)輔助用數(shù)據(jù)生成裝置，其具有：輸入部，其輸入包含多個作業(yè)對象的多個全景圖像；模型生成部，其從輸入的全景圖像生成三維模型；圖像轉(zhuǎn)換部，其根據(jù)三維模型生成改變了視點的全景圖像即變形全景圖像；位置確定部，其根據(jù)將從進行作業(yè)的視線拍攝到的圖像即作業(yè)視點圖像與變形全景圖像進行比較而得到的相似度來求出作業(yè)視點圖像相對于全景圖像的位置關(guān)系；作業(yè)對象登錄部，其在全景圖像上登錄與進行作業(yè)的對象即作業(yè)對象相關(guān)聯(lián)的信息；對應(yīng)部，其根據(jù)作業(yè)視點圖像相對于全景圖像的位置關(guān)系來檢索與登錄的作業(yè)對象對應(yīng)的作業(yè)視點圖像，并將檢索到的作業(yè)視點圖像與作業(yè)對象對應(yīng)起來；存儲部，其將作業(yè)對象以及與作業(yè)對象對應(yīng)的作業(yè)視點圖像與三維模型對應(yīng)起來進行保存。或者，一種記錄了作業(yè)輔助用數(shù)據(jù)生成程序的信息記錄介質(zhì)，該程序使計算機執(zhí)行以下步驟：從包含多個作業(yè)對象的多個全景圖像生成三維模型的步驟；根據(jù)三維模型生成改變了視點的全景圖像即變形全景圖像的步驟；根據(jù)將從進行作業(yè)的視線拍攝到的圖像即作業(yè)視點圖像與變形全景圖像進行比較而得到的相似度來求出作業(yè)視點圖像相對于全景圖像的位置關(guān)系的步驟；在全景圖像上登錄與進行作業(yè)的對象即作業(yè)對象相關(guān)聯(lián)的信息的步驟；根據(jù)作業(yè)視點圖像相對于全景圖像的位置關(guān)系來檢索與登錄的作業(yè)對象對應(yīng)的作業(yè)視點圖像，并將檢索到的作業(yè)視點圖像與作業(yè)對象對應(yīng)起來的步驟；將作業(yè)對象以及與作業(yè)對象對應(yīng)的作業(yè)視點圖像與三維模型對應(yīng)起來進行保存的步驟。專利技術(shù)的效果根據(jù)本專利技術(shù)，能夠?qū)⑦€包含順序關(guān)系的作業(yè)步驟與基于實際的作業(yè)區(qū)域的狀態(tài)的三維模型對應(yīng)起來，并且高效地生成增強現(xiàn)實用作業(yè)步驟數(shù)據(jù)和可輸出一覽形式作業(yè)步驟書的數(shù)據(jù)。附圖說明圖1是通過一般的計算機執(zhí)行應(yīng)用本專利技術(shù)的實施例的程序時的計算機的結(jié)構(gòu)圖。圖2是通過作業(yè)對象登錄程序106執(zhí)行的處理的流程圖。圖3表示作業(yè)區(qū)域的一個例子。圖4表示拍攝作業(yè)區(qū)域得到的全景圖像的一個例子。圖5表示三維模型的數(shù)據(jù)格式的一個例子。圖6表示保存照相機的內(nèi)部參數(shù)和外部參數(shù)的數(shù)據(jù)格式的一個例子。圖7說明在全景圖像上指定作業(yè)對象的位置的方法的一個例子。圖8表示保存在全景圖像上登錄的作業(yè)對象信息的數(shù)據(jù)格式的一個例子。圖9是通過新作業(yè)項目追加程序108執(zhí)行的處理的流程圖。圖10表示保存與作業(yè)項目相關(guān)的信息的數(shù)據(jù)格式的一個例子。圖11是通過全景圖像-作業(yè)視點圖像對應(yīng)程序109執(zhí)行的處理本文檔來自技高網(wǎng)...

【技術(shù)保護點】
一種記錄了程序的信息記錄介質(zhì)，其特征在于，所述程序使計算機執(zhí)行以下步驟：從包含多個作業(yè)對象的多個全景圖像生成三維模型的步驟；根據(jù)所述三維模型生成改變了視點的全景圖像即變形全景圖像的步驟；根據(jù)將從進行作業(yè)的視線拍攝到的圖像即作業(yè)視點圖像與所述變形全景圖像進行比較而得到的相似度，求出所述作業(yè)視點圖像相對于所述全景圖像的位置關(guān)系的步驟；在所述全景圖像上登錄與進行作業(yè)的對象即作業(yè)對象相關(guān)聯(lián)的信息的步驟；根據(jù)所述作業(yè)視點圖像相對于所述全景圖像的位置關(guān)系，檢索與已登錄的所述作業(yè)對象對應(yīng)的所述作業(yè)視點圖像，并將檢索到的所述作業(yè)視點圖像與所述作業(yè)對象對應(yīng)起來的步驟；將所述作業(yè)對象以及與所述作業(yè)對象對應(yīng)的作業(yè)視點圖像與所述三維模型對應(yīng)起來進行保存的步驟。

【技術(shù)特征摘要】
【國外來華專利技術(shù)】1.一種記錄了程序的信息記錄介質(zhì)，其特征在于，
所述程序使計算機執(zhí)行以下步驟：
從包含多個作業(yè)對象的多個全景圖像生成三維模型的步驟；
根據(jù)所述三維模型生成改變了視點的全景圖像即變形全景圖像的步驟；
根據(jù)將從進行作業(yè)的視線拍攝到的圖像即作業(yè)視點圖像與所述變形全景
圖像進行比較而得到的相似度，求出所述作業(yè)視點圖像相對于所述全景圖像的
位置關(guān)系的步驟；
在所述全景圖像上登錄與進行作業(yè)的對象即作業(yè)對象相關(guān)聯(lián)的信息的步
驟；
根據(jù)所述作業(yè)視點圖像相對于所述全景圖像的位置關(guān)系，檢索與已登錄的
所述作業(yè)對象對應(yīng)的所述作業(yè)視點圖像，并將檢索到的所述作業(yè)視點圖像與所
述作業(yè)對象對應(yīng)起來的步驟；
將所述作業(yè)對象以及與所述作業(yè)對象對應(yīng)的作業(yè)視點圖像與所述三維模
型對應(yīng)起來進行保存的步驟。
2.根據(jù)權(quán)利要求1所述的記錄了程序的信息記錄介質(zhì)，其特征在于，
在檢索到與所述作業(yè)對象對應(yīng)的所述作業(yè)視點圖像時，所述程序使計算機
執(zhí)行以下步驟：
針對按照執(zhí)行作業(yè)的順序排列了多個表示作業(yè)內(nèi)容的信息即作業(yè)項目而
得到的信息即作業(yè)步驟，將檢索到的所述作業(yè)視點圖像和所述作業(yè)對象作為新
的作業(yè)項目追加到所述作業(yè)步驟的步驟；
在已追加的所述作業(yè)項目中登錄表示作業(yè)內(nèi)容的信息的步驟。
3.根據(jù)權(quán)利要求1所述的記錄了程序的信息記錄介質(zhì)，其特征在于，
還具有以下步驟：
根據(jù)已登錄的所述作業(yè)對象的信息，從預(yù)先存儲的所述作業(yè)步驟的內(nèi)容中
檢索關(guān)聯(lián)的所述作業(yè)項目，并將檢索到的所述作業(yè)項目與所述全景圖像上的所
述作業(yè)對象對應(yīng)起來的步驟；
根據(jù)所述作業(yè)視點圖像相對于所述全景圖像的位置關(guān)系，檢索與所述作業(yè)

\t項目對應(yīng)的所述作業(yè)對象所對應(yīng)的所述作業(yè)視點圖像的步驟；
將檢索到的所述作業(yè)視點圖像與所述作業(yè)項目對應(yīng)起來的步驟。
4.根據(jù)權(quán)利要求1所述的記錄了程序的信息記錄介質(zhì)，其特征在于，
還具有根據(jù)所述作業(yè)視點圖像相對于所述全景圖像的位置關(guān)系，在所述全
景圖像上顯示所述作業(yè)視點圖像的位置的步驟。
5.根據(jù)權(quán)利要求2所述的記錄了程序的信息記錄介質(zhì)，其特征在于，
還具有以下步驟：
對已登錄的所述作業(yè)對象附加表示順序的順序信息的步驟；
根據(jù)所述順序信息，修正所述作業(yè)步驟中的所述作業(yè)項目的順序的步驟。
6.根據(jù)權(quán)利要求1所述的記錄了程序的信息記錄介質(zhì)，其特征在于，
還具有以下步驟：
根據(jù)所述全景圖像和所述三維模型的對應(yīng)關(guān)系，求出所述作業(yè)對象在所述
三維模型上的位置的步驟；
將...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：佐川浩彥，
申請(專利權(quán))人：株式會社日立制作所，
類型：發(fā)明
國別省市：日本;JP