模擬裝置以及模擬方法制造方法及圖紙

在工件等圖像數據預先存在的情況下，期望高效地實現模擬的結構。模擬裝置包括：構筑機構，其用于在三維假想空間內假想地構筑模擬對象的系統；測量機構，其通過對預先獲取的圖像數據進行由視覺傳感器執行的圖像測量處理，輸出測量結果；接受機構，其接受視覺傳感器的拍攝區域的設定，所述視覺傳感器的拍攝區域與構筑的系統相關聯；計算機構，其基于構筑的系統與設定的拍攝區域之間的相對位置關系計算出變換參數；執行機構，其將通過變換參數變換由測量機構生成的測量結果所得到的結果作為輸入，并按照與系統相關聯的控制程序執行控制運算。

Analog device and analog method

In the presence of image data such as artifacts, the structure of the simulation is expected to be efficiently implemented. The simulation device includes: to build a mechanism, which is used in 3D space to construct imaginary imaginary system simulation object; the measuring mechanism, based on image data acquired in advance by image processing of visual sensor measurement performed, output measurement results; acceptance mechanism, its acceptance of the shooting area of the visual sensor setting associated shooting area the visual sensor and build system; calculation mechanism, which is based on the architecture of the system and set the shooting position relative to the relationship between the regions to calculate the transformation parameters; executive mechanism, obtained by the measurement results through the transformation parameters by measuring transformation mechanism generated by the input, and in accordance with the related system and associated control program the implementation of the control operation.

【技術實現步驟摘要】
模擬裝置以及模擬方法
本專利技術涉及用于推定包括視覺傳感器的系統的動作的模擬裝置以及模擬方法。
技術介紹
在工廠自動化(FA：FactoryAutomation)領域中，使用視覺傳感器的自動控制技術被廣泛的利用。例如，通過對工件等的對象物進行拍攝并對該拍攝的圖像執行圖形匹配等的圖像測量處理，實現用于操作各種的控制設備的自動化處理。在使用這樣的視覺傳感器的情況下，為了將視覺傳感器的測量結果向控制裝置輸出，需要進行校準。例如，日本特開2007-017424號公報(專利文獻1)公開了如下技術，即，一邊測量裝載于XYθ工作臺的工件上的基準標記，一邊自動地進行位置校正。但是，在上述那樣的自動控制技術的對象的系統的設計或檢討等階段，需要預先評價系統整體的性能。針對這樣的需求，假想地構筑系統來實現模擬動作的技術。例如，日本特開2013-191128號公報(專利文獻2)公開了進行包含與假想拍攝部對應的實際空間的視覺傳感器的機械系統的綜合模擬的技術。在專利文獻2公開的技術中，通過聯合3D模擬器與視覺傳感器模擬器，假想地生成各時刻的3D空間內的工件的拍攝圖像。在專利文獻2公開的技術中，假想地拍攝配置于規定校準位置的樣品對象來執行校準。日本特開2015-136770號公報(專利文獻3)公開了如下技術，與專利文獻2相同，通過在假想空間內規定機械手、視覺傳感器、對象物的三維模型，并且利用視覺傳感器假想地拍攝對象物，來生成對象物的計算機圖形圖像。在專利文獻3公開的技術中，通過計算出機械手坐標系與傳感器坐標系之間的位置關系，而不進行機械手與視覺傳感器相關聯的校準。專利文獻1：日本特開2007-017424號公報專利文獻2：日本特開2013-191128號公報專利文獻3：日本特開2015-136770號公報在上述的專利文獻2以及專利文獻3公開的技術中，需要對工件或對象物預先定義。因此，例如，在檢討現有的系統等的改造的情況、檢討現有的系統的替換等的情況下，包括工件都需要模型化。因此，在工件等的圖像數據預先存在的情況下，期望高效地實現模擬的結構。
技術實現思路
本專利技術的一個技術方案，提供一種推定包括視覺傳感器的系統的動作的模擬裝置。模擬裝置包括：構筑機構，其用于在三維假想空間內假想地構筑模擬對象的系統；測量機構，其通過對預先獲取的圖像數據進行由視覺傳感器執行的圖像測量處理，輸出測量結果；接受機構，其接受視覺傳感器的拍攝區域的設定，所述視覺傳感器的拍攝區域與構筑的系統相關聯；計算機構，其基于構筑的系統與設定的拍攝區域之間的相對位置關系計算出變換參數；執行機構，其將通過變換參數變換由測量機構生成的測量結果所得到的結果作為輸入，并按照與系統相關聯的控制程序執行控制運算。優選地，構筑的系統包括根據控制運算的結果進行動作的機械手，變換參數是將作為測量結果輸出的攝像頭坐標系的坐標值變換為定義機械手的動作的機械手坐標系坐標值的參數。優選地，模擬裝置還具有再現機構，該再現機構使用由執行機構輸出的涉及控制運算的時間序列數據，再現構筑的系統的動作。在本說明書中“再現”是指，模擬裝置進行在假想空間所構筑的系統的運算而使系統假想地動作。“再現”包括模擬。更優選地，圖像測量處理包括基于預先登記的圖像圖形來識別工件的處理，再現機構將由測量機構識別而存在的各個工件顯示在構筑的系統上，并且伴隨著時間的經過更新各個工件的位置。更優選地，再現機構將經過圖像測量處理所得的工件的坐標值變換為定義構筑的系統的世界坐標系的坐標值，并將各個工件顯示在構筑的系統上。更優選地，計算機構計算構筑的系統中使工件移動的裝置的單位移動量與構筑的系統中的工件的移動速度的換算系數。更優選地，圖像測量處理包括判斷被輸入的圖像數據是否適合預先登記的條件的處理，再現機構附加用于表示在構筑的系統上所顯示的各個工件是否適合預先登記的條件的信息。優選地，再現機構將測量機構的測量結果與構筑的系統的動作一同，在輸出該測量結果的時刻相對應地輸出。更優選地，再現機構一同輸出測量機構的測量結果和該測量結果的對象的圖像數據。本專利技術的其他技術方案提供一種模擬方法，由計算機來執行，該模擬方法用于推定包括視覺傳感器的系統的動作。模擬方法包括：用于在三維假想空間內假想地構筑模擬對象的系統的步驟；通過對預先獲取的圖像數據進行由視覺傳感器執行的圖像測量處理，輸出測量結果的步驟；接受視覺傳感器的拍攝區域的設定的步驟，其中，所述視覺傳感器的拍攝區域與構筑的系統相關聯；基于構筑的系統與設定的拍攝區域之間的相對位置關系計算出變換參數的步驟；將由變換參數變換測量結果所得到的結果作為輸入，并按照與系統相關聯的控制程序執行控制運算的步驟。根據本專利技術，在工件等的圖像數據預先存在的情況下，能夠高效地實現模擬。附圖說明圖1是表示成為本實施方式的模擬裝置中的模擬的前提的系統結構例的示意圖。圖2是表示對圖1所示的制造系統添加新的機械手的制造系統的結構例的示意圖。圖3是用于說明使用了本實施方式的模擬裝置的模擬方法的示意圖。圖4是表示本實施方式的模擬裝置的硬件結構的示意圖。圖5是表示本實施方式的模擬裝置的功能結構的一個例子示意圖。圖6是表示本實施方式的模擬裝置的功能結構的變形例的示意圖。圖7是表示使用了本實施方式的模擬裝置的模擬的處理順序的流程圖。圖8是表示本實施方式的模擬裝置提供的系統模型的構筑的用戶界面畫面的一個例子的圖。圖9是用于說明由本實施方式的模擬裝置提供的三維假想空間內定義的坐標系的示意圖。圖10是表示對本實施方式的模擬裝置提供的系統模型設定拍攝區域的用戶界面畫面的一個例子圖。圖11是表示本實施方式的模擬裝置的視覺傳感器模擬器的測量結果的一個例子的圖。圖12是表示本實施方式的模擬裝置提供的三維假想空間內定義的拍攝區域的攝像頭坐標系以及基準坐標系的關系例的示意圖。圖13是表示本實施方式的模擬裝置中的校準參數的計算順序的流程圖。圖14是用于說明圖13所示的校準參數的計算順序的步驟S81中的處理內容的示意圖。圖15是用于說明圖13所示的校準參數的計算順序的步驟S82中的處理內容的示意圖。圖16是用于說明本實施方式的模擬裝置中的每個脈沖的移動量的計算順序的示意圖。圖17是表示再現本實施方式的模擬裝置提供的系統的動作的用戶界面畫面的一個例子的圖。圖18是用于說明與本實施方式的模擬裝置中的攝像頭坐標系相對應的工件的姿勢的顯示方式的圖。圖19是表示再現本實施方式的模擬裝置提供的系統的動作的用戶界面畫面的其他例子的圖。圖20是用于說明圖19所示的用戶界面畫面中的顯示時刻的圖。圖21是表示再現本實施方式的模擬裝置提供的系統的動作的用戶界面畫面的另一其他例子的圖。其中，附圖標記說明如下：1、2制造系統100模擬裝置102處理器104主存儲器106輸入部108顯示部110網絡接口112光驅114光盤116通信接口118內部總線120硬盤122操作系統(OS)124模擬程序140圖像數據群150視覺傳感器模擬器152設定參數160控制模擬器162控制程序170再現模塊172三維設計數據180用戶界面模塊182模型構筑模塊184拍攝區域設定接受模塊186校準參數計算模塊200控制裝置202網絡210、311、313機械手220視覺傳感器222拍攝部230、301、30本文檔來自技高網...

【技術保護點】
一種模擬裝置，用于推定包括視覺傳感器的系統的動作，其中，具有：構筑機構，其用于在三維假想空間內假想地構筑模擬對象的系統，測量機構，其通過對預先獲取的圖像數據進行由所述視覺傳感器執行的圖像測量處理，輸出測量結果，接受機構，其接受所述視覺傳感器的拍攝區域的設定，所述視覺傳感器的拍攝區域與構筑的所述系統相關聯，計算機構，其基于構筑的所述系統與設定的所述拍攝區域之間的相對位置關系計算出變換參數，執行機構，其將通過所述變換參數變換由所述測量機構生成的測量結果所得到的結果作為輸入，并按照與所述系統相關聯的控制程序執行控制運算。

【技術特征摘要】
2015.11.18 JP 2015-2257821.一種模擬裝置，用于推定包括視覺傳感器的系統的動作，其中，具有：構筑機構，其用于在三維假想空間內假想地構筑模擬對象的系統，測量機構，其通過對預先獲取的圖像數據進行由所述視覺傳感器執行的圖像測量處理，輸出測量結果，接受機構，其接受所述視覺傳感器的拍攝區域的設定，所述視覺傳感器的拍攝區域與構筑的所述系統相關聯，計算機構，其基于構筑的所述系統與設定的所述拍攝區域之間的相對位置關系計算出變換參數，執行機構，其將通過所述變換參數變換由所述測量機構生成的測量結果所得到的結果作為輸入，并按照與所述系統相關聯的控制程序執行控制運算。2.如權利要求1所述的模擬裝置，其中，構筑的所述系統包括根據所述控制運算的結果進行動作的機械手，所述變換參數是將作為所述測量結果輸出的攝像頭坐標系的坐標值變換為定義所述機械手的動作的機械手坐標系坐標值的參數。3.如權利要求1或2所述的模擬裝置，其中，還具有再現機構，該再現機構使用由所述執行機構輸出的涉及所述控制運算的時間序列數據，再現構筑的所述系統的動作。4.如權利要求3所述的模擬裝置，其中，所述圖像測量處理包括基于預先登記的圖像圖形來識別工件的處理，所述再現機構將由所述測量機構識別而存在的各個所述工件顯示在構筑的所述系統上，并且伴隨著時間的經過更新各個所述工件的位置。5.如權利要求4所述的模擬裝置，其中，所述再現機構將...

【專利技術屬性】
技術研發人員：阪口泰規，島川春奈，大貫克重，土井雄一，
申請(專利權)人：歐姆龍株式會社，
類型：發明
國別省市：日本,JP