堆疊物體的識別方法、設備和機器分揀系統(tǒng)技術方案

提供了堆疊物體的識別方法、設備和機器分揀系統(tǒng)。該識別方法包括：獲取堆疊物體的深度圖；根據(jù)所述深度圖確定堆疊物體的頂部物體層的K個分割位置，并根據(jù)該K個分割位置從所述深度圖中提取K個頂部物體層深度圖，其中K為大于等于2的整數(shù)；針對K個頂部物體層深度圖分別進行物體分割以從所述頂部物體層中分割出候選物體；對K個所述物體分割的結(jié)果中的候選物體進行融合，以得到融合后的候選物體；根據(jù)預先確定的堆疊物體的大小和/或外形從所述融合后的候選物體中識別出頂部物體層中包含的物體。所述方法、設備和機器分揀系統(tǒng)能夠?qū)崿F(xiàn)非規(guī)則粘連物體的有效分割，準確地識別出位于堆疊物體頂層的多個物體，大大提高從雜亂堆疊物體中識別并抓取物體的效率。

Method, apparatus and machine sorting system for identifying stacked objects

A method, an apparatus, and a machine sorting system are provided for identifying stacked objects. Including the identification method: depth map acquisition of stacked objects; according to the depth map to determine the K position of the top layer stack object segmentation of the object, and according to the K K object segmentation position from the top layer depth map from the depth map, where K is an integer of 2 or more; for K the top layer depth map objects were segmented by object segmentation candidate objects from the top of the object layer; the fusion results of K candidate objects in the object segmentation, in order to get the candidate object after fusion; according to the object contains a stack of predetermined size and / or shape from the candidate object the fusion of the bottom layer in the recognition of objects in object. The effective segmentation method, equipment and machine sorting system can realize irregular adhesion of objects, multiple objects accurately identify the objects on the stack out of the top, greatly improve the efficiency of object recognition from clutter stacked and grab objects.

【技術實現(xiàn)步驟摘要】
堆疊物體的識別方法、設備和機器分揀系統(tǒng)
本公開總體涉及圖像與視頻處理領域，具體涉及堆疊物體的識別方法、設備和機器分揀系統(tǒng)。
技術介紹
隨著基于視覺的自動化技術的發(fā)展，大量的自動化系統(tǒng)和設備開始應用于多個領域，比如水果質(zhì)量的分揀、藥片檢測與識別、細胞分析等。特別地，機器人抓取這一技術逐漸走出實驗室并應用在了工業(yè)產(chǎn)品線上，將勞動者從復雜重負的工作中解放出來。通常可被機器人的手臂抓取的物品包括機電元器件、食品和農(nóng)產(chǎn)品等。為了使得機器人能夠從雜亂堆放的物體中識別出每個單獨物體，常規(guī)的方法是模板匹配法、形狀檢測法等等，但這些方法都不適合于非規(guī)則物體的識別，比如煎炸的雞塊的抓取等。對于非規(guī)則形狀的物體，最可行的方式是從包含該非規(guī)則形狀的物體的圖像中直接分割出每個物體并確定可抓取的位置。已經(jīng)提出了使用分層技術從雜亂堆放的物體里取出最頂層的物體并確定出最頂層的各個物體的位置以用于后續(xù)的抓取的方法。然而，在現(xiàn)有的分層技術中，均采用單一的全局閾值來獲得最頂層的圖像，而這種單一閾值分層方法在處理物體之間的粘連問題時往往效果不佳，特別是當上層物體和下層物體粘連較大時，難以準確地分割出堆疊物體的最頂層。這是因為堆疊物體中各物體都是自由堆放而不是一個挨一個、一層疊一層的規(guī)則放置的，并且每個單獨的物體自身的大小和放置位置朝向等也不相同，因此通過單一閾值進行分層很難正確分割出頂層物體并確定出其中的單個物體。
技術實現(xiàn)思路
鑒于以上問題而提出了本公開。根據(jù)本公開的一個方面的實施例，提供了一種堆疊物體的識別方法，包括：獲取堆疊物體的深度圖；根據(jù)所述深度圖確定堆疊物體的頂部物體層的K個分割位置，并根據(jù)該K個分割位置從所述深度圖中提取K個頂部物體層深度圖，其中K為大于等于2的整數(shù)；針對K個頂部物體層深度圖分別進行物體分割以從所述頂部物體層中分割出候選物體；對K個所述物體分割的結(jié)果中的候選物體進行融合，以得到融合后的候選物體；根據(jù)預先確定的堆疊物體的大小和/或外形從所述融合后的候選物體中識別出頂部物體層中包含的物體。根據(jù)本公開的另一個方面的實施例，提供了一種堆疊物體的識別設備，包括：圖像獲取部件，配置為獲取堆疊物體的深度圖；位置確定部件，配置為根據(jù)所述深度圖確定堆疊物體的頂部物體層的K個分割位置，并根據(jù)該K個分割位置從所述深度圖中提取K個頂部物體層深度圖，其中K為大于等于2的整數(shù)；分割部件，配置為針對K個頂部物體層深度圖分別進行物體分割以從所述頂部物體層中分割出候選物體；融合部件，配置為對K個所述物體分割的結(jié)果中的候選物體進行融合，以得到融合后的候選物體；識別部件，配置為根據(jù)預先確定的堆疊物體的大小和/或外形從所述融合后的候選物體中識別出頂部物體層中包含的物體。根據(jù)本公開的又一個方面的實施例，提供了一種堆疊物體的機器分揀系統(tǒng)，包括：處理器；存儲器；存儲在所述存儲器中的計算機程序指令，在所述計算機程序指令被所述處理器運行時執(zhí)行以下步驟：獲取堆疊物體的深度圖；根據(jù)所述深度圖確定堆疊物體的頂部物體層的K個分割位置，并根據(jù)該K個分割位置從所述深度圖中提取K個頂部物體層深度圖，其中K為大于等于2的整數(shù)；針對K個頂部物體層深度圖分別進行物體分割以從所述頂部物體層中分割出候選物體；對K個所述物體分割的結(jié)果中的候選物體進行融合，以得到融合后的候選物體；根據(jù)預先確定的堆疊物體的大小和/或外形從所述融合后的候選物體中識別出頂部物體層中包含的物體；和機械臂，用于抓取識別出的頂部物體層中包含的物體。根據(jù)本公開的上述方面的識別堆疊物體的方法、裝置和機器分揀系統(tǒng)能夠?qū)崿F(xiàn)非規(guī)則粘連物體的有效分割，準確地識別出位于堆疊物體頂層的多個物體，大大提高從雜亂堆疊物體中識別并抓取單個物體的效率。附圖說明通過結(jié)合附圖對本公開實施例進行更詳細的描述，本公開的上述以及其它目的、特征和優(yōu)勢將變得更加明顯。附圖用來提供對本公開實施例的進一步理解，并且構(gòu)成說明書的一部分，與本公開實施例一起用于解釋本公開，并不構(gòu)成對本公開的限制。在附圖中，相同的參考標號通常代表相同部件或步驟。圖1(a)示出了多個物體的示例堆疊情形；圖1(b)示出了對于采用第一閾值提取出的堆疊物體中的頂部物體層圖像進行分割后的示例結(jié)果；圖1(c)示出了對于采用第二閾值提取出的堆疊物體中的頂部物體層圖像進行分割后的示例結(jié)果；圖1(d)示出了對圖1(b)和圖1(c)的分割結(jié)果進行融合并進行物體識別后的示例結(jié)果。圖2示出了根據(jù)本公開實施例的堆疊物體的識別方法的流程圖。圖3(a)-(c)示出了根據(jù)本公開實施例進行候選物體融合的一個非限定性的具體示例。圖4(a)例示了堆疊物體的深度圖。圖4(b)例示了采用第一分割位置從圖4(a)所示的深度圖中提取的第一頂部物體層深度圖。圖4(c)例示了針對4(b)所示的第一頂部物體層深度圖進行物體分割后得到的頂部物體層中的候選物體。圖4(d)例示了采用第二分割位置從圖4(a)所示的深度圖中提取的第二頂部物體層深度圖。圖4(e)例示了針對4(d)所示的第二頂部物體層深度圖進行物體分割后得到的頂部物體層中的候選物體。圖4(f)示出了通過對圖4(c)和4(e)所示的分割得到的候選頂層物體進行融合處理后識別出頂層物體。圖5示出了根據(jù)本公開實施例的堆疊物體的識別設備的功能配置框圖。圖6示出了可用于實現(xiàn)本公開實施例的堆疊物體識別技術的機器分揀系統(tǒng)的框圖。具體實施方式下面將結(jié)合本公開實施例中的附圖，對本公開實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本公開的一部分實施例，而不是全部的實施例。基于本公開中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本公開保護的范圍。首先對根據(jù)本公開實施例的堆疊物體的識別技術的基本思想進行簡單介紹。如前所述，采用單一的頂部物體層閾值來獲得最頂層的圖像在處理物體之間的粘連問題時往往效果不佳。因此，在本公開實施例中，將采用多個頂部物體層閾值提取出多個頂部物體層圖像，并對提取出的頂部物體層圖像分別進行各自的物體分割，然后融合各個物體分割結(jié)果以基于多個不同的頂部物體層圖像的相關性去除頂層物體分割結(jié)果中存在的局部粘連。例如，圖1(a)-1(c)示意性地示出了利用該基本思想進行物體識別的示例情形。如圖1(a)所示，假設6個小球堆疊在一起形成3層，為了使機械臂取得最頂層的小球，采用例如2個用于頂層小球分層的深度閾值“A”和“B”來提取頂部物體層圖像。圖1(b)是對于采用閾值A提取出的頂部物體層圖像進行分割后的結(jié)果，圖1(c)是對于采用閾值B提取出的頂部物體層圖像進行分割后的結(jié)果。圖1(b)和1(c)中相同圖案(深色橢圓形)的部分代表它們是一個連通整體，不同圖案的部分代表不同的物體。如果按照合并相同部分的方式來融合圖1(b)和圖1(c)的分割結(jié)果，則能夠如圖1(d)所示成功的去除粘連，從而將頂層的小球與其它部分分割開。炸雞塊在食品自動化機械配送線上是配送最多的食品之一。炸雞塊是典型的非規(guī)則物體,并且多個炸雞塊堆放在一起時，由于色彩相近、形狀不規(guī)則，在視覺上易形成粘連不易區(qū)分狀態(tài)。下文中將以炸雞塊為例對根據(jù)本公開的實施例的堆疊物體的識別技術進行詳細的描述。圖2示出了根據(jù)本公開實施例的堆疊物體的識別方法的流程圖。如圖2所示本文檔來自技高網(wǎng)...

【技術保護點】
一種堆疊物體的識別方法，包括：獲取堆疊物體的深度圖；根據(jù)所述深度圖確定堆疊物體的頂部物體層的K個分割位置，并根據(jù)該K個分割位置從所述深度圖中提取K個頂部物體層深度圖，其中K為大于等于2的整數(shù)；針對K個頂部物體層深度圖分別進行物體分割以從所述頂部物體層中分割出候選物體；對K個所述物體分割的結(jié)果中的候選物體進行融合，以得到融合后的候選物體；根據(jù)預先確定的堆疊物體的大小和/或外形從所述融合后的候選物體中識別出頂部物體層中包含的物體。

【技術特征摘要】
1.一種堆疊物體的識別方法，包括：獲取堆疊物體的深度圖；根據(jù)所述深度圖確定堆疊物體的頂部物體層的K個分割位置，并根據(jù)該K個分割位置從所述深度圖中提取K個頂部物體層深度圖，其中K為大于等于2的整數(shù)；針對K個頂部物體層深度圖分別進行物體分割以從所述頂部物體層中分割出候選物體；對K個所述物體分割的結(jié)果中的候選物體進行融合，以得到融合后的候選物體；根據(jù)預先確定的堆疊物體的大小和/或外形從所述融合后的候選物體中識別出頂部物體層中包含的物體。2.如權利要求1所述的堆疊物體的識別方法，其中所述K個分割位置的深度值依次遞增，并且其中第一分割位置的深度值最小。3.如權利要求2所述的堆疊物體的識別方法，其中根據(jù)所述深度圖確定堆疊物體的頂部物體層的K個分割位置包括：確定堆疊物體中單個物體的平均高度；基于所述深度圖中堆疊物體的最高點與該平均高度，確定第一分割位置的深度值。4.如權利要求3所述的堆疊物體的識別方法，其中基于所述深度圖中堆疊物體的最高點與該平均高度確定第一分割位置的深度值包括：將所述深度圖中堆疊物體的最高點的深度值加上該平均高度后的深度值，作為參考位置；生成所述深度圖的深度直方圖；以及在所述深度直方圖中，獲得所述參考位置附近預定范圍內(nèi)的波谷點的深度值，作為第一分割位置的深度值。5.如權利要求1所述的堆疊物體的識別方法，其中針對K個頂部物體層深度圖分別進行物體分割以識別頂部物體層中的候選物體包括：采用相同的物體分割方法，針對K個頂部物體層深度圖分別進行物體分割以識別頂部物體層中的候選物體。6.如權利要求5所述的堆疊物體的識別方法，其中針對K個頂部物體層深度圖分別進行物體分割以從所述頂部物體層中分割出候選物體進一步包括對于每個所述頂部物體層深度圖執(zhí)行以下步驟：a.生成與該頂部物體層深度圖對應的頂部物體層地形圖；b.在所述地形圖中標定初始聚類區(qū)域；c.利用分水嶺方法在地形圖各水位線上對所述初始聚類區(qū)域進行增長，直至水位線降至最低水位；d.確定各個增長后的初始聚類區(qū)域是否均只包含一個物體，如果判斷結(jié)果為是，則將每個增長后的初始聚類區(qū)域作為一個識別出的候選物體；否則對于每個包含不止一個物體的增長后的初始聚類區(qū)域，將所述地形圖中與該增長后的初始聚類區(qū)域?qū)牟糠肿鳛榇指畹匦螆D，并在該待分割地形圖中重新標定至少兩個初始聚類區(qū)域；e.對于每個待分割地形圖，重復執(zhí)行步驟c和d，直至各個增長后的初始聚類區(qū)域均只包含一個物體。7.如權利要求1所述的堆疊物體的識別方法，其中對K個所述物體分割的結(jié)果中的候選物體進行融合以得到融合后的候選物體包括：將K個物體分割的結(jié)果中對應于同一候選物體的相同區(qū)域部分合并，同時保留K個物體分割的結(jié)果中不同的區(qū)域部分。8.如權利要求1所述的堆疊物體的識別方法，其...

【專利技術屬性】
技術研發(fā)人員：熊懷欣，
申請(專利權)人：株式會社理光，
類型：發(fā)明
國別省市：日本,JP