識別堆疊物體的方法和裝置制造方法及圖紙

本發(fā)明專利技術(shù)的實施例提供了一種識別堆疊物體的方法和裝置。根據(jù)本發(fā)明專利技術(shù)實施例的識別堆疊物體的方法，包括：獲得堆疊物體的深度圖；根據(jù)所獲得的深度圖將堆疊物體劃分為多個物體區(qū)域；對于每個物體區(qū)域確定頂部物體層的分割位置，以及根據(jù)所確定的分割位置提取該物體區(qū)域的頂部物體層；識別每個物體區(qū)域的頂部物體層中包含的物體。

Method and apparatus for identifying stacked objects

Embodiments of the present invention provide a method and apparatus for identifying stacked objects. According to the method of identifying stacked objects including, embodiments of the present invention: depth chart stacking objects; according to the depth map obtained by stacking objects into multiple object areas; to determine the top layer of the object segmentation position of each object region, and the top layer of the object segmentation to locate the object area according to the the top layer contains objects; the identification of each object in the object region.

【技術(shù)實現(xiàn)步驟摘要】
識別堆疊物體的方法和裝置
本專利技術(shù)涉及識別堆疊物體的方法和裝置。更具體地，本專利技術(shù)涉及識別堆疊物體的頂部物體層中的物體的方法和裝置。
技術(shù)介紹
隨著基于視覺的自動化技術(shù)的發(fā)展，大量的自動化系統(tǒng)和設(shè)備開始應(yīng)用于多個領(lǐng)域，比如水果質(zhì)量的分揀，藥片檢測與識別，細(xì)胞分析等。特別地機(jī)器人抓取這一技術(shù)逐步走出實驗室并應(yīng)用在了工業(yè)產(chǎn)品線上，將勞動者從復(fù)雜重負(fù)的工作里解放出來。通常可被機(jī)器手臂抓取的物品包括機(jī)電元器件，食品和農(nóng)產(chǎn)品等。為了讓機(jī)器系統(tǒng)能從雜亂堆疊物體里識別出每個物件，已經(jīng)提出了使用分層技術(shù)來從一堆雜亂堆放的物體里取出最頂層的物體并計算出最頂層的物體的位置以便于抓取。具體地，在現(xiàn)有的分層技術(shù)中，采用了單一的全局閾值來獲得最頂層的圖像。然而在這樣的分層技術(shù)中，只有最頂層物體能被處理，而其它的物體對象，即使它們也處在頂層并同樣完全暴露在相機(jī)的視野中而無遮擋，由于為它們并沒位于最頂層的位置因此也不能被從深度圖里抽取出來。此外，對于這種單一閾值分層的方法而言，處理各物體之間的粘連問題很難得到較好的效果，特別是當(dāng)上層物體和下層物體粘連較大時，難以準(zhǔn)確地分割出的堆疊物體最頂層。由于所有物體都是自由堆放而不是一個挨一個一層疊一層的規(guī)則放置，并每個單獨(dú)的物體都有它自身的大小和放置位置朝向的不同，因此通過單一閾值進(jìn)行分層很難滿足所有頂層物體正確分層的需求。
技術(shù)實現(xiàn)思路
本專利技術(shù)實施例的目的在于提供一種識別堆疊物體的方法和裝置，以有效地對堆疊物體進(jìn)行分割和識別。本專利技術(shù)的一個實施例提供了一種識別堆疊物體的方法，包括：獲得堆疊物體的深度圖；根據(jù)所獲得的深度圖將堆疊物體劃分為多個物體區(qū)域；對于每個物體區(qū)域確定頂部物體層的分割位置，以及根據(jù)所確定的分割位置提取該物體區(qū)域的頂部物體層；識別每個物體區(qū)域的頂部物體層中包含的物體。本專利技術(shù)的另一實施例提供了一種識別堆疊物體的裝置，包括：深度圖獲取單元，配置來獲得堆疊物體的深度圖；區(qū)域劃分單元，配置來根據(jù)所獲得的深度圖將堆疊物體劃分為多個物體區(qū)域；物體層提取單元，配置來對于每個物體區(qū)域確定頂部物體層的分割位置，以及根據(jù)所確定的分割位置提取該物體區(qū)域的頂部物體層；以及識別單元，配置來識別每個物體區(qū)域的頂部物體層中包含的物體。在根據(jù)本專利技術(shù)實施例的識別堆疊物體的方法和裝置中，通過將深度圖將堆疊物體劃分為多個物體區(qū)域，并對每個物體區(qū)域分別進(jìn)行頂部物體層分割和物體提取，可有效地識別出暴露在相機(jī)的視野中而無遮擋的、位于堆疊物體頂層的多個物體，從而大大提高了機(jī)器系統(tǒng)能從雜亂堆疊物體中識別并抓取物體的效率。附圖說明圖1是描述了根據(jù)本專利技術(shù)一個實施例的識別堆疊物體的方法的流程圖。圖2是示出了根據(jù)本專利技術(shù)的一個示例將堆疊物體劃分為多個物體區(qū)域的示意圖。圖3是描述了本專利技術(shù)一個實施例的確定物體區(qū)域的頂部物體層的分割位置的方法的流程圖。圖4是描述了本專利技術(shù)另一實施例的確定物體區(qū)域的頂部物體層的分割位置的方法的流程圖。圖5a示出了堆疊物體的一個示意性說明圖。圖5b是分別對應(yīng)各物體區(qū)域的深度直方圖。圖5c示出了對于堆疊物體的邊緣檢測結(jié)果。圖5d示出了掩碼圖所對應(yīng)著的各物體區(qū)域的邊緣深度直方圖。圖6是示出了根據(jù)本專利技術(shù)的一個實施例的識別堆疊物體的裝置的示范性結(jié)構(gòu)框圖。圖7是描述了本專利技術(shù)一個實施例的物體層提取單元的示范性結(jié)構(gòu)框圖。圖8是描述了本專利技術(shù)另一實施例的物體層提取單元的示范性結(jié)構(gòu)框圖。圖9是示出按照本專利技術(shù)實施例的識別堆疊物體的系統(tǒng)的總體硬件框圖。圖10示出了根據(jù)本公開實施例的物體分割方法的流程圖。圖11(a)例示了所獲取的包含待分割物體的圖像。圖11(b)例示了從圖11(a)所示的包含待分割物體的圖像轉(zhuǎn)換得到的二值圖像。圖11(c)例示了對圖11(b)所示的二值圖像進(jìn)行距離變換后得到距離圖。圖11(d)例示了在圖11(c)所示的距離圖中標(biāo)定出的初始聚類區(qū)域的示意圖。圖11(e)例示了利用分水嶺方法進(jìn)行區(qū)域增長后的增長結(jié)果。圖11(f)例示了圖11(c)所示的距離圖中與圖11(e)中所示的包含不止一個物體的區(qū)域?qū)?yīng)的部分。圖11(g)例示了在圖11(f)中用虛線標(biāo)出的部分地形圖中重新標(biāo)定出的初始聚類區(qū)域的示意圖。圖11(h)例示了采用根據(jù)本公開實施例的物體分割方法得到的最終的分割結(jié)果。圖12(a)和12(b)示出了根據(jù)本公開實施例的物體分割方法在水位線上進(jìn)行區(qū)域增長時的一個示例情形。圖13是以樹圖的方式展示迭代分割的示意圖。具體實施方式為了使本領(lǐng)域技術(shù)人員更好地理解本專利技術(shù)，將參考附圖詳細(xì)描述本專利技術(shù)的優(yōu)選實施例。注意，在本說明書和附圖中，具有基本上相同步驟和元素用相同的附圖標(biāo)記來表示，且對這些步驟和元素的重復(fù)解釋將被省略。根據(jù)本專利技術(shù)的實施例的識別堆疊物體的方法和裝置可應(yīng)用于包括相機(jī)設(shè)備的機(jī)器分揀系統(tǒng)。例如，相機(jī)設(shè)備可以是例如雙目相機(jī)之類的立體相機(jī)。此外，立體相機(jī)的具體形式不限于此，其還可以是例如三目相機(jī)或者由基于TOF或者主動光模式的相機(jī)等能夠獲得圖像中對象的深度信息的任何其他相機(jī)。此外在根據(jù)本專利技術(shù)的實施例中，相機(jī)設(shè)備可設(shè)置在堆疊物體的上方，以拍攝堆疊物體的頂部深度圖。圖1是描述了根據(jù)本專利技術(shù)一個實施例的識別堆疊物體的方法100的流程圖。下面，將參照圖1來描述根據(jù)本專利技術(shù)實施例的識別堆疊物體的方法。如圖1所示，在步驟S101中，獲得堆疊物體的深度圖。在根據(jù)本專利技術(shù)的實施例中，堆疊物體的深度圖可以是通過上述相機(jī)設(shè)備獲得的堆疊物體的頂部深度圖。在步驟S102中，根據(jù)所獲得的深度圖將堆疊物體劃分為多個物體區(qū)域。根據(jù)本專利技術(shù)的一個實例，可利用分水嶺方法，逐漸降低對應(yīng)于深度圖中的深度值大小的水位線，以根據(jù)深度圖將堆疊物體劃分為多個物體區(qū)域。具體地，可確定在各水位線上確定在所獲得的深度圖中是否出現(xiàn)了新的物體。例如，在逐漸降低水位線的過程中，新的物體可以獨(dú)立于在高于當(dāng)前水位線的水位線上已經(jīng)新的物體。當(dāng)在特定水位線上確定出現(xiàn)了新的物體并且當(dāng)不存在已經(jīng)確定的物體區(qū)域時，將新的物體標(biāo)定為新的物體區(qū)域。此外在逐漸降低水位線的過程中，在下一水位線上可圍繞該新的物體區(qū)域進(jìn)行區(qū)域增長標(biāo)定。另一方面，當(dāng)在特定水位線上確定出現(xiàn)了新的物體并且當(dāng)存在已經(jīng)確定的物體區(qū)域時，確定新的物體在深度圖中的位置與存在的已經(jīng)確定的物體區(qū)域的位置之間的距離是否大于或等于預(yù)定閾值。當(dāng)新的物體在深度圖中的位置與已經(jīng)確定的物體區(qū)域的位置之間的距離大于或等于預(yù)定閾值時，將新的物體標(biāo)定為新的物體區(qū)域，否則將新的物體確定為屬于已經(jīng)確定的物體區(qū)域。例如，可計算將新的物體中心位置與已經(jīng)確定的物體區(qū)域的中心位置之間的距離作為新的物體在深度圖中的位置與已經(jīng)確定的物體區(qū)域的位置之間的距離。此外在逐漸降低水位線的過程中，在下一水位線上可圍繞所有的確定物體區(qū)域各自進(jìn)行區(qū)域增長。并且在下一水位線上可將所確定的物體區(qū)域包含的所有物體用于該物體區(qū)域的增長。圖2是示出了根據(jù)本專利技術(shù)的一個示例將堆疊物體劃分為多個物體區(qū)域的示意圖。如圖2所示，如圖當(dāng)水位線下降到“p1”位置時,點(diǎn)“A”露出于水面，即，在“p1”位置確定出現(xiàn)了新的物體。由于此時不存在已經(jīng)確定的物體區(qū)域，因此將物體A標(biāo)定為新的物體區(qū)域，并開始在下一水位線上進(jìn)行區(qū)域增長。當(dāng)水位線下降到“p2”位置時，沒有出現(xiàn)獨(dú)立于物體A所在物體區(qū)域的新的物體，即，在“p2”位置確本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種識別堆疊物體的方法，包括：獲得堆疊物體的深度圖；根據(jù)所獲得的深度圖將堆疊物體劃分為多個物體區(qū)域；對于每個物體區(qū)域確定頂部物體層的分割位置，以及根據(jù)所確定的分割位置提取該物體區(qū)域的頂部物體層；識別每個物體區(qū)域的頂部物體層中包含的物體。

【技術(shù)特征摘要】
1.一種識別堆疊物體的方法，包括：獲得堆疊物體的深度圖；根據(jù)所獲得的深度圖將堆疊物體劃分為多個物體區(qū)域；對于每個物體區(qū)域確定頂部物體層的分割位置，以及根據(jù)所確定的分割位置提取該物體區(qū)域的頂部物體層；識別每個物體區(qū)域的頂部物體層中包含的物體。2.如權(quán)利要求1所述的方法，其中所述根據(jù)所獲得的深度圖將堆疊物體劃分為多個物體區(qū)域包括：利用分水嶺方法，逐漸降低對應(yīng)于深度圖中的深度值大小的水位線，以將堆疊物體劃分為多個物體區(qū)域，其中在各水位線上確定在所獲得的深度圖中是否出現(xiàn)了新的物體；當(dāng)在特定水位線上確定出現(xiàn)了新的物體并且當(dāng)不存在已經(jīng)確定的物體區(qū)域時，將新的物體標(biāo)定為新的物體區(qū)域；當(dāng)在特定水位線上確定出現(xiàn)了新的物體并且當(dāng)存在已經(jīng)確定的物體區(qū)域時，確定新的物體在深度圖中的位置與存在的已經(jīng)確定的物體區(qū)域的位置之間的距離是否大于或等于預(yù)定閾值，以及當(dāng)新的物體在深度圖中的位置與已經(jīng)確定的物體區(qū)域的位置之間的距離大于或等于預(yù)定閾值時，將新的物體標(biāo)定為新的物體區(qū)域，否則將新的物體確定為屬于已經(jīng)確定的物體區(qū)域。3.如權(quán)利要求1所述的方法，其中所述對于每個物體區(qū)域確定頂部物體層的分割位置包括：獲得堆疊物體中單個物體的平均高度；對于每個物體區(qū)域，根據(jù)單個物體的平均高度確定該物體區(qū)域的頂部物體層的分割位置。4.如權(quán)利要求3所述的方法，其中根據(jù)單個物體的平均高度確定該物體區(qū)域的頂部物體層的分割位置包括：根據(jù)在所述深度圖中該物體區(qū)域的最高點(diǎn)和單個物體的平均高度計算參考位置；生成所述深度圖的深度直方圖；以及在所述深度直方圖中，獲得所述參考位置附近的波谷點(diǎn)的位置作為該物體區(qū)域的頂部物體層的分割位置。5.如權(quán)利要求3所述的方法，其中所述根據(jù)單個物體的平均高度確定該物體區(qū)域的頂部物體層的分割位置包括：在所述深度圖中檢測該物體區(qū)域中的物體邊緣，以生成該物體區(qū)域的邊緣深度直方圖；對邊緣深度直方圖進(jìn)行聚類以獲得聚類點(diǎn)；根據(jù)在所述深度圖中該物體區(qū)域的最高點(diǎn)和單個物體的平均高度計算參考位置；以及根據(jù)在所獲得的聚類點(diǎn)中的、最接近所述參考位置的目標(biāo)聚類點(diǎn)確定該物體區(qū)域的頂部物體層的分割位置。6.如權(quán)利要求5所述的方法，其中所述根據(jù)在所獲得的聚類點(diǎn)中的、最接近所述參考位置的目標(biāo)聚類點(diǎn)確定該物體區(qū)域的頂部物體層的分割位置包括：生成所述深度圖的深度直方圖；在所述深度直方圖中，獲得所述目標(biāo)聚類點(diǎn)附近的波谷點(diǎn)的位置作為該物體區(qū)域的頂部物體層的分割位置。7.如權(quán)利要求5所述的方法，其中在所述深度圖中檢測該物體區(qū)域中的物體邊緣，以生成該物體區(qū)域的邊緣深度直方圖包括：在所述深度圖中檢測該物體區(qū)域中的物體邊緣；對檢測到的物體邊緣進(jìn)行膨脹以得到膨脹后的邊緣二值化圖；將所述膨脹邊緣二值化圖作為掩碼圖，根據(jù)所述深度圖獲得物體邊緣所對應(yīng)的深度,并計算出該物體區(qū)域的邊緣深度直方圖。8.如權(quán)利要求1所述的方法，其中所述識別每個物體區(qū)域的頂部物體層中包含的物體包括：a.獲取頂...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：熊懷欣，
申請(專利權(quán))人：株式會社理光，
類型：發(fā)明
國別省市：日本,JP