用于識(shí)別機(jī)器視覺系統(tǒng)的視野中的已知對(duì)象的方法技術(shù)方案

一種用于識(shí)別三維(3D)視覺系統(tǒng)的視野中的已知對(duì)象的方法，包括捕獲視野的位圖圖像文件以及執(zhí)行第一特征提取以產(chǎn)生包括顏色直方圖和邊緣方向直方圖的外觀特征。基于包括顏色直方圖和邊緣方向直方圖的外觀特征，識(shí)別縮減的搜索空間。執(zhí)行位圖圖像文件的第二特征提取，以辨識(shí)幾何特征，所述幾何特征包括視角特征直方圖和形狀函數(shù)的集合。將外觀特征和幾何特征與縮減的搜索空間的內(nèi)容融合。將融合的外觀特征、幾何特征和縮減的搜索空間的內(nèi)容與多個(gè)已知對(duì)象的多個(gè)預(yù)定的局部視圖比較，以識(shí)別已知對(duì)象中的一個(gè)。

【技術(shù)實(shí)現(xiàn)步驟摘要】

本公開涉及機(jī)器視覺系統(tǒng)和用于識(shí)別感興趣的對(duì)象的方法。
技術(shù)介紹
計(jì)算機(jī)視覺是這樣的科學(xué)學(xué)科，其制造能“看”的機(jī)器，從而機(jī)器可以從圖像提取信息，并基于提取的信息執(zhí)行某任務(wù)或解決某問題。圖像數(shù)據(jù)可以采用多種形式，比如靜態(tài)圖像、視頻、來自多個(gè)攝像頭的視圖、或來自醫(yī)學(xué)掃描儀的多維度數(shù)據(jù)。已知的機(jī)器人感知系統(tǒng)通過構(gòu)建特定的光照條件、構(gòu)造觀察條件和開發(fā)過程配置而實(shí)現(xiàn)期望的性能和可靠性。在較窄的條件范圍下(僅在實(shí)際條件的子集中工作)他們是靈活的，且可能由于周圍環(huán)境中的微小改變而發(fā)生故障。另外，已知系統(tǒng)和相關(guān)技術(shù)的處理速度不足以進(jìn)行有效率的實(shí)時(shí)處理。當(dāng)引入更寬的靈活性且通過嚴(yán)酷地構(gòu)造域(domain)而被使得強(qiáng)健地(robustly)工作時(shí)，Turnkey商業(yè)機(jī)器視覺系統(tǒng)可能很慢。例如，進(jìn)行在大的視野(FOV)下搜索占據(jù)FOV的5-10％的未知取向的對(duì)象會(huì)花費(fèi)若干秒或更多。當(dāng)搜索正/后/側(cè)視圖以精確地發(fā)現(xiàn)對(duì)象位置和姿態(tài)時(shí)，更加復(fù)雜。此外，與構(gòu)造用于機(jī)器人材料傳輸?shù)囊阎詣?dòng)化方案的環(huán)境相關(guān)的、以及與處理應(yīng)用(handling applications)相關(guān)聯(lián)的費(fèi)用可以是與機(jī)器人裝置相關(guān)的費(fèi)用的三倍至十倍。在已知的自動(dòng)化系統(tǒng)中，可被有效操作的產(chǎn)品的范圍可被限制，且通常被局限為僅少數(shù)類型。此外，這樣的系統(tǒng)笨重而難以重組，且重新配置以用于不同類別的產(chǎn)品是較慢的。由此，由于與投資、操作成本、靈活性以及可重構(gòu)性相關(guān)聯(lián)的問題，現(xiàn)有的自動(dòng)化方案在涉及多種部件的組裝操作方面不易于應(yīng)用。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)涉及一種用于識(shí)別機(jī)器視覺系統(tǒng)的視野中的已知對(duì)象的方法，包括：采用機(jī)器視覺系統(tǒng)，捕獲視野的位圖圖像文件；執(zhí)行位圖圖像文件的第一特征提取，以產(chǎn)生包括顏色直方圖和邊緣方向直方圖的外觀特征；基于包括顏色直方圖和邊緣方向直方圖的外觀特征，識(shí)別縮減的搜索空間；執(zhí)行位圖圖像文件的第二特征提取，以辨識(shí)幾何特征，所述幾何特征包括視角特征直方圖和與之相關(guān)聯(lián)的形狀函數(shù)的集合；將外觀特征和幾何特征與縮減的搜索空間的內(nèi)容融合；將融合的外觀特征、幾何特征和縮減的搜索空間的內(nèi)容與多個(gè)已知對(duì)象的多個(gè)預(yù)定的局部視圖比較；和通過控制器，基于所述比較而識(shí)別已知對(duì)象中的一個(gè)。在上述方法中，其中將融合的外觀特征、幾何特征和縮減的搜索空間的內(nèi)容與多個(gè)已知對(duì)象的多個(gè)預(yù)定的局部視圖比較包括，執(zhí)行自適應(yīng)提高學(xué)習(xí)算法以實(shí)現(xiàn)該比較。在上述方法中，其中執(zhí)行位圖圖像文件的第一特征提取以產(chǎn)生包括顏色直方圖的外觀特征包括，產(chǎn)生針對(duì)位圖圖像文件的色調(diào)和顏色飽和度進(jìn)行量化的直方圖。在上述方法中，其中執(zhí)行位圖圖像文件的第一特征提取以產(chǎn)生包括邊緣方向直方圖的外觀特征包括，產(chǎn)生表示位圖圖像文件中的被捕獲對(duì)象的亮度變化的方向性和頻率的直方圖。在上述方法中，其中執(zhí)行位圖圖像文件的第二特征提取以辨識(shí)包括視角特征直方圖的幾何特征包括，通過積累與位圖圖像文件相關(guān)的輸入點(diǎn)云的所有點(diǎn)對(duì)之間的幾何關(guān)系而將其形狀的統(tǒng)計(jì)數(shù)據(jù)編碼。本專利技術(shù)還涉及一種由機(jī)器執(zhí)行的、基于視覺的對(duì)象識(shí)別過程，包括：捕獲針對(duì)多個(gè)已知對(duì)象的每一個(gè)的多個(gè)預(yù)定局部視圖；經(jīng)由機(jī)器視覺系統(tǒng)，采用機(jī)器視覺系統(tǒng)，捕獲包括視野的三維圖像的位圖圖像文件，該視野包括已知對(duì)象的至少一個(gè)；通過控制器，執(zhí)行位圖圖像文件的二維(2D)特征提取，以產(chǎn)生包括顏色直方圖和邊緣方向直方圖的二維外觀特征；基于包括顏色直方圖和邊緣方向直方圖的二維外觀特征，識(shí)別縮減的搜索空間；執(zhí)行位圖圖像文件的三維特征提取，以辨識(shí)幾何特征，所述幾何特征包括視角特征直方圖和與之相關(guān)聯(lián)的形狀函數(shù)的集合；將外觀特征和幾何特征與縮減的搜索空間的內(nèi)容融合；將融合的外觀特征、幾何特征和縮減的搜索空間的內(nèi)容與所述多個(gè)已知對(duì)象的所述多個(gè)預(yù)定的局部視圖比較；和通過控制器，基于所述比較而識(shí)別已知對(duì)象中的一個(gè)。在上述過程中，其中將融合的外觀特征、幾何特征和縮減的搜索空間的內(nèi)容與多個(gè)已知對(duì)象的多個(gè)預(yù)定的局部視圖比較包括，執(zhí)行自適應(yīng)提高學(xué)習(xí)算法以實(shí)現(xiàn)該比較。在上述過程中，其中執(zhí)行位圖圖像文件的二維特征提取以產(chǎn)生包括顏色直方圖的外觀特征包括，產(chǎn)生針對(duì)位圖圖像文件的色調(diào)和顏色飽和度進(jìn)行量化的直方圖。在上述過程中，其中執(zhí)行位圖圖像文件的二維特征提取以產(chǎn)生包括邊緣方向直方圖的外觀特征包括，產(chǎn)生表示位圖圖像文件中的被捕獲對(duì)象的亮度變化的方向性和頻率的直方圖。在上述過程中，其中執(zhí)行位圖圖像文件的三維特征提取以辨識(shí)包括視角特征直方圖的幾何特征包括，通過積累與位圖圖像文件相關(guān)的輸入點(diǎn)云的所有點(diǎn)對(duì)之間的幾何關(guān)系而將其形狀的統(tǒng)計(jì)數(shù)據(jù)編碼。本專利技術(shù)還涉及一種機(jī)器視覺裝置，包括：圖像檢測(cè)器，信號(hào)連接到編碼器，所述編碼器信號(hào)連接到控制器；和控制器，執(zhí)行基于視覺的對(duì)象識(shí)別過程，包括以下步驟：經(jīng)由圖像檢測(cè)器和編碼器，采用機(jī)器視覺系統(tǒng)捕獲包括視野的三維圖像的位圖圖像文件，該視野包括已知對(duì)象的至少一個(gè)；執(zhí)行位圖圖像文件的二維(2D)特征提取，以產(chǎn)生包括顏色直方圖和邊緣方向直方圖的二維外觀特征；基于包括顏色直方圖和邊緣方向直方圖的二維外觀特征，識(shí)別縮減的搜索空間；執(zhí)行位圖圖像文件的三維特征提取，以辨識(shí)幾何特征，所述幾何特征包括視角特征直方圖和與之相關(guān)聯(lián)的形狀函數(shù)的集合；將外觀特征和幾何特征與縮減的搜索空間的內(nèi)容融合；將融合的外觀特征、幾何特征和縮減的搜索空間的內(nèi)容與所述多個(gè)已知
對(duì)象的所述多個(gè)預(yù)定的局部視圖比較；和基于所述比較而識(shí)別已知對(duì)象中的一個(gè)。一種用于識(shí)別三維(3D)視覺系統(tǒng)的視野中的已知對(duì)象的方法，包括采用機(jī)器視覺系統(tǒng)捕獲視野的位圖圖像文件以及執(zhí)行位圖圖像文件的第一特征提取，以產(chǎn)生包括顏色直方圖(histogram)和邊緣方向直方圖的外觀特征(appearance feature)。基于包括顏色直方圖和邊緣方向直方圖的外觀特征，辨識(shí)縮減的搜索空間。執(zhí)行位圖圖像文件的第二特征提取，以辨識(shí)幾何特征，所述幾何特征包括視角特征直方圖和與之相關(guān)的形狀函數(shù)的集合。將外觀特征和幾何特征與經(jīng)縮減的搜索空間的內(nèi)容融合。將經(jīng)融合的外觀特征、幾何特征和縮減的搜索空間的內(nèi)容與多個(gè)已知對(duì)象的多個(gè)預(yù)定的局部視圖比較，以識(shí)別已知對(duì)象中的一個(gè)。本教導(dǎo)的上述特征和優(yōu)勢(shì)及其他特征和優(yōu)勢(shì)將從用于實(shí)施如所附的權(quán)利要求中定義的本教導(dǎo)的一些最佳模式和其它實(shí)施例的以下詳細(xì)描述連同附圖時(shí)顯而易見。附圖說明現(xiàn)在將通過示例的方式參考附圖來描述一個(gè)或多個(gè)實(shí)施例，其中：圖1示意性地示出了根據(jù)本公開的用于捕獲、處理和存儲(chǔ)視野(FOV)的圖像的機(jī)器視覺系統(tǒng)，包括信號(hào)連接到編碼器的圖像檢測(cè)器(攝像頭)，所述編碼器信號(hào)連接到控制器；圖2示出了根據(jù)本公開的通過結(jié)合2D局部特征和3D總體特征而實(shí)現(xiàn)攝像頭的FOV中的一個(gè)或多個(gè)已知對(duì)象的機(jī)器識(shí)別的對(duì)象識(shí)別過程的示意性框圖；圖3圖示了根據(jù)本公開的從輸入點(diǎn)云(point cloud)提取的經(jīng)分割圖像文件中的、用于單個(gè)點(diǎn)對(duì)Pt和Ps的向量和表示相鄰點(diǎn)的相關(guān)聯(lián)的點(diǎn)向量；圖4圖示了根據(jù)本公開的視角分量直方圖的示例，其收集視角方向與每個(gè)正交方向之間的角度；和圖5圖示了根據(jù)本公開的形狀函數(shù)的集合(ESF)的示例，其被應(yīng)用于包括3D對(duì)象的點(diǎn)云。具體實(shí)施方式現(xiàn)在參考附圖，其中圖示僅出于圖解一些示例性實(shí)施例的目的，而不是出于對(duì)其進(jìn)行限制的目的，圖1示意性地示出了示例性機(jī)器視覺本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種用于識(shí)別機(jī)器視覺系統(tǒng)的視野中的已知對(duì)象的方法，包括：采用機(jī)器視覺系統(tǒng)，捕獲視野的位圖圖像文件；執(zhí)行位圖圖像文件的第一特征提取，以產(chǎn)生包括顏色直方圖和邊緣方向直方圖的外觀特征；基于包括顏色直方圖和邊緣方向直方圖的外觀特征，識(shí)別縮減的搜索空間；執(zhí)行位圖圖像文件的第二特征提取，以辨識(shí)幾何特征，所述幾何特征包括視角特征直方圖和與之相關(guān)聯(lián)的形狀函數(shù)的集合；將外觀特征和幾何特征與縮減的搜索空間的內(nèi)容融合；將融合的外觀特征、幾何特征和縮減的搜索空間的內(nèi)容與多個(gè)已知對(duì)象的多個(gè)預(yù)定的局部視圖比較；和通過控制器，基于所述比較而識(shí)別已知對(duì)象中的一個(gè)。

【技術(shù)特征摘要】
2015.02.04 US 14/614,0141.一種用于識(shí)別機(jī)器視覺系統(tǒng)的視野中的已知對(duì)象的方法，包括：采用機(jī)器視覺系統(tǒng)，捕獲視野的位圖圖像文件；執(zhí)行位圖圖像文件的第一特征提取，以產(chǎn)生包括顏色直方圖和邊緣方向直方圖的外觀特征；基于包括顏色直方圖和邊緣方向直方圖的外觀特征，識(shí)別縮減的搜索空間；執(zhí)行位圖圖像文件的第二特征提取，以辨識(shí)幾何特征，所述幾何特征包括視角特征直方圖和與之相關(guān)聯(lián)的形狀函數(shù)的集合；將外觀特征和幾何特征與縮減的搜索空間的內(nèi)容融合；將融合的外觀特征、幾何特征和縮減的搜索空間的內(nèi)容與多個(gè)已知對(duì)象的多個(gè)預(yù)定的局部視圖比較；和通過控制器，基于所述比較而識(shí)別已知對(duì)象中的一個(gè)。2.如權(quán)利要求1所述的方法，其中將融合的外觀特征、幾何特征和縮減的搜索空間的內(nèi)容與多個(gè)已知對(duì)象的多個(gè)預(yù)定的局部視圖比較包括，執(zhí)行自適應(yīng)提高學(xué)習(xí)算法以實(shí)現(xiàn)該比較。3.如權(quán)利要求1所述的方法，其中執(zhí)行位圖圖像文件的第一特征提取以產(chǎn)生包括顏色直方圖的外觀特征包括，產(chǎn)生針對(duì)位圖圖像文件的色調(diào)和顏色飽和度進(jìn)行量化的直方圖。4.如權(quán)利要求1所述的方法，其中執(zhí)行位圖圖像文件的第一特征提取以產(chǎn)生包括邊緣方向直方圖的外觀特征包括，產(chǎn)生表示位圖圖像文件中的被捕獲對(duì)象的亮度變化的方向性和頻率的直方圖。5.如權(quán)利要求1所述的方法，其中執(zhí)行位圖圖像文件的第二特征提取以辨識(shí)包括視角特征直方圖的幾何特征包括，通過積累與位圖圖像文件相關(guān)的輸入點(diǎn)云的所有點(diǎn)對(duì)之間的幾何關(guān)系而將其形狀的統(tǒng)計(jì)數(shù)據(jù)編碼。6.一種由機(jī)器執(zhí)行的、基于視...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：Z陳，
申請(qǐng)(專利權(quán))人：通用汽車環(huán)球科技運(yùn)作有限責(zé)任公司，
類型：發(fā)明
國(guó)別省市：美國(guó);US