機器人系統技術方案

本發明專利技術的機器人系統具備：控制裝置，其用于控制機器人；以及影像顯示裝置，其與控制裝置連接。影像顯示裝置具備：顯示部，其用于實時地顯示由照相機拍攝到的包含機器人的真實空間的圖像；以及增強現實圖像處理部，其用于將機器人的末端執行器或機器人周邊裝置的虛擬圖像疊加于由照相機拍攝到的機器人的真實圖像并使顯示部顯示。根據這樣的機器人系統，即使沒有末端執行器、機器人周邊裝置也能夠視為它們存在來實施機器人示教作業。

Robot system

The robot system of the invention comprises a control device used for controlling the robot; and an image display device which is connected with the control device. The image display device includes a display unit, which is used for the display of real-time image of real space contains the robot camera; and augmented reality image processing, which is used for the real image of the manipulator end effector robot or peripheral device virtual image overlay on the camera to the robot and the display display. According to such a robot system, even if there is no end effector, the robot peripheral device can also be regarded as their presence to carry out the robot teaching operation.

【技術實現步驟摘要】
機器人系統
本專利技術涉及一種具備影像顯示裝置的機器人系統，該影像顯示裝置利用增強現實(AugmentedReality)處理技術來將虛擬物體的圖像疊加在機器人的影像上進行顯示。
技術介紹
在制造現場的工業用機器人系統中，機器手、加工工具等末端執行器安裝于機器人的臂部的前端。并且，帶式輸送機、軌道式輸送臺車等機器人周邊裝置配置于機器人的周邊。然而，存在在向機器人示教作業動作的階段尚無法準備上述那樣的末端執行器、機器人周邊裝置的情況。在該情況下，直至準備好末端執行器、機器人周邊裝置為止，作業者不能實施適當的機器人示教作業。因此，期望即使在還沒有準備末端執行器、機器人周邊裝置的情況下也能夠視為它們存在來實施機器人示教作業。作為有可能解決上述問題的技術，能夠想到將虛擬圖像疊加在實時的影像上進行顯示這樣的增強現實處理技術。另外，近年來，公開了一種利用這種增強現實處理技術來提高機器人示教作業時的操作性的裝置。例如，專利第4850984號公報公開了一種利用增強現實處理來將按照動作計劃進行動作的機器人的動作空間疊加在真實機器人的圖像上進行顯示的技術。并且，日本特開2014-180707號公報公開了一種利用增強現實處理來將基于動作程序的機器人的動作軌跡疊加在真實機器人的圖像上進行顯示的技術。然而，在專利第4850984號公報和日本特開2014-180707號公報中，并沒有提出使用增強現實處理技術來將上述那樣的末端執行器、機器人周邊裝置的影像疊加在真實機器人的圖像上進行顯示的技術。
技術實現思路
本專利技術提供一種即使沒有末端執行器、機器人周邊裝置也能夠視為它們存在來實施機器人示教作業的機器人系統。根據本專利技術的第一方式，提供一種機器人系統，該機器人系統具備：控制裝置，其用于控制機器人；以及影像顯示裝置，其與控制裝置連接，其中，影像顯示裝置具備：顯示部，其用于實時地顯示由照相機拍攝到的包含機器人的真實空間的圖像；以及增強現實圖像處理部，其用于將機器人的末端執行器或機器人周邊裝置的虛擬圖像疊加于由照相機拍攝到的機器人的真實圖像并使顯示部顯示。根據本專利技術的第二方式，提供一種機器人系統，該機器人系統是上述第一方式的機器人系統，影像顯示裝置具備虛擬物體圖像生成部，該虛擬物體圖像生成部基于機器人與照相機之間的相對的位置和角度，來生成要疊加于由照相機拍攝到的機器人的真實圖像的末端執行器或機器人周邊裝置的虛擬圖像。根據本專利技術的第三方式，提供一種機器人系統，該機器人系統是上述第一方式或第二方式的機器人系統，增強現實圖像處理部基于由控制裝置控制的機器人的位置姿勢數據或來自控制裝置的模擬信號，來使末端執行器或機器人周邊裝置的虛擬圖像移動并且使顯示部顯示。根據本專利技術的第四方式，提供一種機器人系統，該機器人系統是上述第一方式至第三方式中的任一方式的機器人系統，控制裝置具備示教操作板，該示教操作板用于進行機器人的示教操作。根據本專利技術的第五方式，提供一種機器人系統，該機器人系統是上述第一方式至第四方式中的任一方式的機器人系統，影像顯示裝置是具備照相機的頭戴式顯示器(HeadMountDisplay)。附圖說明基于附圖所示的本專利技術的典型的實施方式的詳細說明，會使本專利技術的這些目的、特征和優點以及其它目的、特征和優點更加明確。圖1是示出本專利技術的一個實施方式的機器人系統的框圖。圖2是示出將虛擬物體的圖像疊加于真實機器人的圖像進行顯示時的處理流程的流程圖。圖3是示意性地示出第一實施例的處理的情形的圖。圖4是示意性地示出在使機器人進行動作時在支持增強現實的顯示器的顯示部所顯示的圖像的情形的圖。圖5是示意性地示出第二實施例的處理的情形的圖。具體實施方式接著，參照附圖來說明本專利技術的實施方式。在參照的附圖中，對相同的構件或功能部標注相同的參照附圖標記。而且，設在不同的附圖中被標注相同的參照附圖標記的結構要素是指具有相同功能的結構要素。另外，為了易于理解，這些附圖適當變更了比例尺。圖1是示出本專利技術的一個實施方式的機器人系統的框圖。如圖1所示，本實施方式的機器人系統10具備機器人11、控制機器人11的機器人控制裝置12、與機器人控制裝置12連接的作為影像顯示裝置的支持增強現實的顯示器(日語：拡張現実対応ディスプレイ)13、以及與機器人控制裝置12連接來進行機器人11的示教操作的示教操作板14。機器人11例如是多關節垂直型操縱器。在機器人11的各關節軸設置有伺服電動機(未圖示)。并且，對機器人11設置有對各伺服電動機的軸位置(旋轉角度)進行檢測的位置檢測傳感器15、例如脈沖編碼器。在機器人11的臂部的前端設置有用于安裝機器手、加工工具等裝卸自如的末端執行器的安裝部(未圖示)。機器人控制裝置12具有基于動作程序來生成控制信號并驅動機器人11的功能。另外，機器人控制裝置12向機器人11輸出控制信號并且接收來自支持增強現實的顯示器13和示教操作板14的信號。并且，機器人控制裝置12具有保持機器人11的動作程序的程序保持部16、以及生成機器人11的位置姿勢數據的位置姿勢數據生成部17。從示教操作板14向程序保持部16輸入機器人11的動作程序。另外，示教操作板14能夠重寫程序保持部16內的動作程序。機器人控制裝置12按照程序保持部16內的動作程序來向伺服電動機提供位置指令，并且對伺服電動機進行控制使得由位置檢測傳感器15檢測的伺服電動機的位置與位置指令匹配。由此，機器人11依照程序保持部16內的動作程序進行動作。位置姿勢數據生成部17基于從位置檢測傳感器15輸出的伺服電動機的位置信號來生成機器人11的位置姿勢數據，向支持增強現實的顯示器13輸出該位置姿勢數據。在實施機器人示教作業的情況下，作業者一邊對支持增強現實的顯示器13進行目視確認，一邊通過示教操作板14來操作機器人11。此時，從示教操作板14經由機器人控制裝置12向機器人11示教期望的作業動作。由此，期望的作業動作記錄于機器人控制裝置12的程序保持部16。在進行上述機器人示教作業時，存在無法準備要安裝于機器人11的臂部的前端的機器手、加工工具等末端執行器的情況。另外，也存在無法將用于輸送工件的帶式輸送機、軌道式輸送臺車等機器人周邊裝置配置于機器人11的周邊的情況。本實施方式的機器人系統10構成為在這樣的情況下也將末端執行器或機器人周邊裝置設為虛擬圖像而顯示于支持增強現實的顯示器13。具體來說，如圖1所示，支持增強現實的顯示器13具備用于拍攝包含機器人11的真實空間的照相機18、用于實時顯示由照相機18拍攝到的包含機器人11的真實空間的圖像的顯示部19、以及計算機20。支持增強現實的顯示器13例如是頭戴式顯示器(參照圖3和圖5)。在該情況下，優選的是，顯示部19具有為眼鏡片程度的大小且以與人的兩個眼睛分別對應的方式配置的顯示畫面。此外，支持增強現實的顯示器13只要使作業者能夠一邊拿著示教操作板14一邊對照相機18的影像進行目視確認即可，并不限定于頭戴式顯示器。如圖1所示，支持增強現實的顯示器13的計算機20具備照相機位置姿勢估計部21、虛擬物體數據保持部22、虛擬物體圖像生成部23以及增強現實圖像處理部24。但是，虛擬物體數據保持部22和虛擬物體圖像生成部23也可以內置于機器人控制裝置12。照相機位置姿勢估計部21估計機器人本文檔來自技高網...

【技術保護點】
一種機器人系統，具備：控制裝置，其用于控制機器人；以及影像顯示裝置，其與所述控制裝置連接，其中，所述影像顯示裝置具備：顯示部，其用于實時地顯示由照相機拍攝到的包含所述機器人的真實空間的圖像；以及增強現實圖像處理部，其用于將所述機器人的末端執行器或機器人周邊裝置的虛擬圖像疊加于由所述照相機拍攝到的所述機器人的真實圖像并使所述顯示部顯示。

【技術特征摘要】
2015.12.10 JP 2015-2410071.一種機器人系統，具備：控制裝置，其用于控制機器人；以及影像顯示裝置，其與所述控制裝置連接，其中，所述影像顯示裝置具備：顯示部，其用于實時地顯示由照相機拍攝到的包含所述機器人的真實空間的圖像；以及增強現實圖像處理部，其用于將所述機器人的末端執行器或機器人周邊裝置的虛擬圖像疊加于由所述照相機拍攝到的所述機器人的真實圖像并使所述顯示部顯示。2.根據權利要求1所述的機器人系統，其特征在于，所述影像顯示裝置具備虛擬物體圖像生成部，該虛擬物體圖像生成部基于所述機器人與所述照相機之間的相對...

【專利技術屬性】
技術研發人員：加茂井敏晃，
申請(專利權)人：發那科株式會社，
類型：發明
國別省市：日本,JP