圖像處理裝置、圖像處理方法和程序制造方法及圖紙

這里公開(kāi)了一種圖像處理裝置，包括：圖像處理部分，被配置為在拍攝的用戶圖像包括構(gòu)成衣服區(qū)域的由所述用戶穿著的衣服的圖像的情況下，如果要用構(gòu)成虛擬衣服區(qū)域的事先準(zhǔn)備的虛擬衣服的圖像替換所述衣服的圖像，并且如果被所述虛擬衣服區(qū)域覆蓋的所述衣服區(qū)域具有從所述虛擬衣服區(qū)域突出的突出區(qū)域，則所述圖像處理部分進(jìn)行使所述虛擬衣服區(qū)域與所述衣服區(qū)域一致的處理。

【技術(shù)實(shí)現(xiàn)步驟摘要】

本公開(kāi)涉及一種圖像處理裝置、圖像處理方法和程序。更具體地，本公開(kāi)涉及一種用于防止在用戶的衣服比虛擬衣服大的情況下用戶所穿著的并且覆蓋有虛擬衣服的衣服的難看的顯示的圖像處理裝置、圖像處理方法和程序。
技術(shù)介紹
存在被稱為AR (增強(qiáng)現(xiàn)實(shí))的技術(shù)，用來(lái)通過(guò)計(jì)算機(jī)虛擬地增強(qiáng)現(xiàn)實(shí)世界。AR的一個(gè)應(yīng)用是衣服的試穿。更具體地，根據(jù)該技術(shù)，用虛擬衣服替換通過(guò)照相機(jī)拍攝的用戶圖像中用戶所穿著的真實(shí)衣服，從而可以看到用戶穿著虛擬衣服(即，虛擬衣服被覆蓋在用戶的圖像上)。用于試穿用途的AR采用動(dòng)作捕獲技術(shù)，動(dòng)作捕獲技術(shù)使用諸如加速傳感器、地磁傳感器和范圍掃描器的各種傳感器來(lái)檢測(cè)用戶的動(dòng)作，以使虛擬衣服配合用戶的身體(即，其圖像)。具體地，檢測(cè)用戶的動(dòng)作意味著連續(xù)獲取作為要識(shí)別的目標(biāo)的用戶的關(guān)節(jié)的位置。動(dòng)作捕獲技術(shù)使用兩種技術(shù)中的任一種使用標(biāo)記的技術(shù)和不使用標(biāo)記的技術(shù)。使用標(biāo)記的技術(shù)涉及向用戶的關(guān)節(jié)附著可容易地檢測(cè)的標(biāo)記。檢測(cè)并獲取這些標(biāo)記的位置使得可以知道作為要識(shí)別的目標(biāo)的用戶的關(guān)節(jié)的位置。另一方面，不使用標(biāo)記的技術(shù)涉及對(duì)從各種傳感器獲得的值進(jìn)行處理以估計(jì)作為要識(shí)別的目標(biāo)的用戶的關(guān)節(jié)的位置。例如，存在用于根據(jù)由能夠檢測(cè)對(duì)象的深度距離的三維測(cè)量照相機(jī)拍攝的深度圖像(即指示深度信息的圖像)來(lái)識(shí)別用戶的姿勢(shì)(關(guān)節(jié)位置)的算法(例如參見(jiàn)2011年5月23日在因特網(wǎng)〈URL:http://research. microsoft. com/pubs/145347/BodyPartRecognition. pdef> 上訪問(wèn)的 “Real-Time Human Pose Recognition in Parts from Single Depth Images”，Microsoft Research)o對(duì)于不使用標(biāo)記的技術(shù)，準(zhǔn)確地估計(jì)用戶的關(guān)節(jié)的位置涉及獲取關(guān)節(jié)之間的距離。因此，在開(kāi)始動(dòng)作捕獲之前，通常進(jìn)行校準(zhǔn)過(guò)程以基于通過(guò)各種傳感器獲得的值來(lái)計(jì)算關(guān)節(jié)之間的距離。如果預(yù)先使用卷尺等測(cè)量了關(guān)節(jié)之間的距離，則省略校準(zhǔn)過(guò)程。在校準(zhǔn)過(guò)程中，如果三個(gè)或更多個(gè)要估計(jì)的用戶關(guān)節(jié)排列在直線上，則理論上無(wú)法計(jì)算關(guān)節(jié)之間的距離。在這種情況下，請(qǐng)求用戶將他或她的關(guān)節(jié)彎曲為被稱為校準(zhǔn)姿勢(shì)的特定姿勢(shì)。
技術(shù)實(shí)現(xiàn)思路
在將AR技術(shù)應(yīng)用于衣服試穿的情況下，用戶所穿著的衣服可能比覆蓋在用戶的衣服上的虛擬衣服大。在這種情況下，用戶的衣服從所覆蓋的虛擬衣服突出，可呈現(xiàn)出難看的顯示。鑒于上述情形作出了本公開(kāi)，本公開(kāi)提供用于防止用戶的衣服比虛擬衣服大的情況下用戶所穿著的并且覆蓋有虛擬衣服的衣服的難看顯示的配置。根據(jù)本公開(kāi)的一個(gè)實(shí)施例，提供一種圖像處理裝置，包括圖像處理部分，被配置為在拍攝的用戶圖像包括由所述用戶穿著并且構(gòu)成衣服區(qū)域的衣服的圖像的情況下，如果要用構(gòu)成虛擬衣服區(qū)域的事先準(zhǔn)備的虛擬衣服的圖像替換所述衣服的圖像，并且如果被所述虛擬衣服區(qū)域覆蓋的所述衣服區(qū)域具有從所述虛擬衣服區(qū)域突出的突出區(qū)域，則所述圖像處理部分進(jìn)行使所述虛擬衣服區(qū)域與所述衣服區(qū)域一致的處理。根據(jù)本公開(kāi)的另一實(shí)施例，提供一種圖像處理方法，包括在拍攝的用戶圖像包括由所述用戶穿著并且構(gòu)成衣服區(qū)域的衣服的圖像的情況下，如果要用構(gòu)成虛擬衣服區(qū)域的事先準(zhǔn)備的虛擬衣服的圖像替換所述衣服的圖像，并且如果被所述虛擬衣服區(qū)域覆蓋的所述衣服區(qū)域具有從所述虛擬衣服區(qū)域突出的突出區(qū)域，則進(jìn)行使所述虛擬衣服區(qū)域與所述衣服區(qū)域一致的處理。根據(jù)本公開(kāi)的再一實(shí)施例，提供一種使計(jì)算機(jī)執(zhí)行處理的程序，所述處理包括在拍攝的用戶圖像包括由所述用戶穿著并且構(gòu)成衣服區(qū)域的衣服的圖像的情況下，如果要用構(gòu)成虛擬衣服區(qū)域的事先準(zhǔn)備的虛擬衣服的圖像替換所述衣服的圖像，并且如果被所述虛擬衣服區(qū)域覆蓋的所述衣服區(qū)域具有從所述虛擬衣服區(qū)域突出的突出區(qū)域，則進(jìn)行使所述虛擬衣服區(qū)域與所述衣服區(qū)域一致的處理。根據(jù)如上面概述的那樣加以實(shí)施的本公開(kāi)，在拍攝的用戶圖像包括由該用戶穿著的并且構(gòu)成衣服區(qū)域的衣服的圖像的情況下，如果要用事先準(zhǔn)備的并且構(gòu)成虛擬衣服區(qū)域的虛擬衣服的圖像替換所述衣服的圖像，并且如果被所述虛擬衣服區(qū)域覆蓋的所述衣服區(qū)域具有從所述虛擬衣服區(qū)域突出的突出區(qū)域，則使所述虛擬衣服區(qū)域與所述衣服區(qū)域一致。附帶地，可以通過(guò)經(jīng)由傳輸介質(zhì)傳輸或者記錄在記錄介質(zhì)上來(lái)提供本公開(kāi)的程序。本公開(kāi)的圖像處理裝置可以是獨(dú)立裝置或者是構(gòu)成單個(gè)裝置的部分的內(nèi)部塊。因此，在實(shí)施時(shí)，本公開(kāi)使得能夠防止在用戶的衣服比虛擬衣服大的情況下用戶所穿著的并且與虛擬衣服重疊的衣服的難看顯示。附圖說(shuō)明在閱讀下面的描述和附圖后，本公開(kāi)的其它優(yōu)點(diǎn)將變得明顯，在附圖中圖1是示出作為本公開(kāi)的一個(gè)實(shí)施例的虛擬試穿系統(tǒng)的典型配置的示意圖；圖2是示出虛擬試穿系統(tǒng)的典型硬件配置的框圖；圖3是說(shuō)明由虛擬試穿系統(tǒng)進(jìn)行的處理的概要的流程圖；圖4是說(shuō)明校準(zhǔn)過(guò)程的詳細(xì)流程圖；圖5是示出校準(zhǔn)姿勢(shì)下的虛擬衣服的典型圖像的示意圖；圖6是說(shuō)明關(guān)節(jié)位置估計(jì)過(guò)程的詳細(xì)流程圖；圖7A、7B、7C、7D和7E是詳細(xì)說(shuō)明關(guān)節(jié)位置估計(jì)過(guò)程的示意圖；圖8是說(shuō)明覆蓋虛擬衣服的過(guò)程的詳細(xì)流程圖；圖9是說(shuō)明突出區(qū)域的示意圖；圖10是說(shuō)明突出區(qū)域的另一示意圖11是說(shuō)明第二突出區(qū)域調(diào)整過(guò)程的流程圖；圖12是說(shuō)明尺寸表示呈現(xiàn)過(guò)程的流程圖；以及圖13是說(shuō)明觸摸表示呈現(xiàn)過(guò)程的流程圖。具體實(shí)施例方式圖1示出了作為本公開(kāi)的一個(gè)實(shí)施例所實(shí)現(xiàn)的虛擬試穿系統(tǒng)I的典型配置。在圖1中，虛擬試穿系統(tǒng)I將AR (增強(qiáng)現(xiàn)實(shí))技術(shù)應(yīng)用于衣服的試穿。這是對(duì)用戶進(jìn)行成像并且顯示用虛擬衣服替換用戶所穿著的真實(shí)衣服的圖像的系統(tǒng)。虛擬試穿系統(tǒng)I包括用于對(duì)用戶進(jìn)行成像的成像部分11、用于將虛擬衣服覆蓋在由成像部分11拍攝的圖像上的圖像處理部分12以及用于顯示表示穿著虛擬衣服的用戶的圖像的顯示部分13。可以通過(guò)組合諸如用作成像部分11的成像設(shè)備、作為圖像處理部分12的圖像處理設(shè)備以及作為顯示部分13的顯示設(shè)備的不同專用硬件來(lái)構(gòu)成虛擬試穿系統(tǒng)I。可選地，可以使用單個(gè)通用個(gè)人計(jì)算機(jī)來(lái)構(gòu)成虛擬試穿系統(tǒng)。圖2是示出使用個(gè)人計(jì)算機(jī)構(gòu)成的虛擬試穿系統(tǒng)I的典型硬件配置的框圖。在圖2中的附圖標(biāo)記中，已經(jīng)在圖1中使用的附圖標(biāo)記指示相似或相應(yīng)的部分。在用作虛擬試穿系統(tǒng)I的個(gè)人計(jì)算機(jī)中，CPU (中央處理單元)、R0M (只讀存儲(chǔ)器)102和RAM (隨機(jī)存取存儲(chǔ)器)103經(jīng)由總線104互連。輸入/輸出接口 105也連接到總線104。輸入/輸出接口 105與成像部分11、輸入部分106、輸出部分107、存儲(chǔ)部分108、通信部分109和驅(qū)動(dòng)器110耦合。例如，成像部分11由諸如CXD (電荷耦合器件)或CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)傳感器的成像元件以及能夠獲取構(gòu)成成像元件的每個(gè)像素的深度信息的范圍掃描器構(gòu)成。成像部分11對(duì)作為要識(shí)別的目標(biāo)的用戶進(jìn)行成像，并且經(jīng)由輸入/輸出接口 105將拍攝的圖像和每個(gè)構(gòu)成像素的深度信息(即，數(shù)據(jù))饋送到CPU 101和其它部分。輸入部分106由鍵盤(pán)、鼠標(biāo)、麥克風(fēng)等形成。輸入部分106接收輸入的信息,并且經(jīng)由輸入/輸出接口 105將其傳送到CPU 101和其它部分。輸出部分107由諸如液晶顯示器的顯不部分13 (圖1)和用于輸出聲音的揚(yáng)聲器構(gòu)成。存儲(chǔ)部分108由硬盤(pán)和本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種圖像處理裝置，包括：圖像處理部分，被配置為在拍攝的用戶的圖像包括由所述用戶穿著并且構(gòu)成衣服區(qū)域的衣服的圖像的情況下，如果要用事先準(zhǔn)備的并且構(gòu)成虛擬衣服區(qū)域的虛擬衣服的圖像替換所述衣服的圖像，并且如果被所述虛擬衣服區(qū)域覆蓋的所述衣服區(qū)域具有從所述虛擬衣服區(qū)域突出的突出區(qū)域，則所述圖像處理部分進(jìn)行使所述虛擬衣服區(qū)域與所述衣服區(qū)域一致的處理。

【技術(shù)特征摘要】
...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：鈴木誠(chéng)司，笠原俊一，
申請(qǐng)(專利權(quán))人：索尼公司，
類型：發(fā)明
國(guó)別省市：