一種基于視觸結合的精準定位番茄采摘設備及方法技術

本發明專利技術提供一種基于視觸結合的精準定位番茄采摘設備及方法，該系統包括番茄采摘機器人、深度相機、番茄果柄觸覺傳感器和控制器；通過控制器對深度相機采集的番茄彩色圖像進行圖像處理，識別番茄果實，計算得到番茄中心的空間坐標和番茄果實直徑，番茄果柄觸覺傳感器先通過番茄軟硬度分析識別番茄果實成熟度再對番茄果柄進行三維重建。控制器根據得到的番茄莖部三維圖像識別番茄果實莖部的半徑大小信息，并對番茄果實莖部半徑進行閾值分析，確定半徑最大處的梗的具體位置為最佳采摘點，驅動末端執行器進行采摘，實現對番茄等果實的有效采摘，結構簡單緊湊、工作平穩且采摘效率高。工作平穩且采摘效率高。工作平穩且采摘效率高。

【技術實現步驟摘要】
一種基于視觸結合的精準定位番茄采摘設備及方法


[0001]本專利技術屬于番茄采摘機械人領域，尤其涉及一種基于視觸結合的精準定位番茄采摘設備及方法。

技術介紹

[0002]當前，我國農業采摘機器人的研究技術水平還不高，傳統番茄采摘技術生產成本高、操作復雜且效率低。很多現有的采摘機器人采用視覺識別定位采摘，不僅解決不了識別時番茄遮擋帶來的問題，而且無法定位精準的番茄采摘點，采摘的番茄果實由于果柄過長后期還需要人工對采摘后的番茄進行二次修剪。

技術實現思路

[0003]針對上述技術問題，本專利技術提供一種基于視觸結合的精準定位番茄采摘設備及方法，相比于傳統的采摘機器人，在視覺識別的基礎上對番茄果實采用番茄果柄觸覺傳感器進行進一步觸覺識別，精準定位番茄果柄的莖梗處進行采摘。操作簡單且采摘精度高，節省了人力并保證了番茄果實的完整。
[0004]本專利技術通過控制器對深度相機采集的番茄彩色圖像進行圖像處理，識別番茄果實，計算得到番茄中心的空間坐標和番茄果實直徑，番茄果柄觸覺傳感器先通過番茄軟硬度分析識別番茄果實成熟度再對番茄果柄進行三維重建?？刂破鞲鶕玫降姆亚o部三維圖像識別番茄果實莖部的半徑大小信息，并對番茄果實莖部半徑進行閾值分析，確定半徑最大處的梗的具體位置為最佳采摘點，驅動末端執行器進行采摘，實現對番茄等果實的有效采摘，結構簡單緊湊、工作平穩且采摘效率高。
[0005]本專利技術是通過以下技術手段實現上述技術目的的。
[0006]一種基于視觸結合的精準定位番茄采摘設備，包括番茄采摘機器人、深度相機、番茄果柄觸覺傳感器和控制器；
[0007]所述深度相機安裝在番茄采摘機器人上，用于采集末端執行器前方番茄的彩色圖像和深度信息，并傳遞給控制器；
[0008]所述番茄果柄觸覺傳感器安裝在番茄采摘機器人的末端執行器上，用于獲取4D光場數據圖像并傳遞給控制器；
[0009]所述控制器分別與番茄采摘機器人、深度相機和番茄果柄觸覺傳感器連接；
[0010]所述控制器根據番茄的彩色圖像識別番茄果實，計算得到番茄的坐標和果實半徑，根據得到4D光場數據圖像判斷番茄是否成熟以及進行重建番茄莖部的三維圖像，確定最佳采摘點，驅動末端執行器進行采摘。
[0011]上述方案中，所述控制器對深度相機采集的番茄彩色圖像進行圖像處理，識別番茄果實，計算得到番茄中心的空間坐標和番茄果實半徑，控制器根據得到4D光場數據圖像判斷番茄是否成熟以及重建番茄莖部的三維圖像，并根據番茄莖部三維圖像識別番茄果實莖部的半徑大小信息，對番茄果實莖部半徑進行閾值分析，確定半徑最大處的梗的具體位
置為最佳采摘點。
[0012]上述方案中，所述番茄果柄觸覺傳感器包括透明殼體、光源、散斑噴涂裝置、光場相機和指尖凝膠；
[0013]所述末端執行器的兩側分別設有透明殼體，透明殼體內設有光源、和光場相機，透明殼體用于與番茄接觸的一側設有指尖凝膠；散斑噴涂裝置設在透明殼體上且位于指尖凝膠四周，用于向指尖凝膠噴涂散斑；
[0014]所述光源用于給光場相機提供光照，光場相機用于拍攝指尖凝膠的4D光場數據圖像并傳遞給控制器。
[0015]進一步的，所述控制器包括番茄識別模塊、番茄定位檢測模塊、番茄表面應力測量模塊、番茄莖部三維重建模塊和采摘點判定模塊；
[0016]所述番茄識別模塊用于對深度相機采集的番茄彩色圖像進行圖像處理，識別番茄果實；
[0017]所述番茄定位檢測模塊用于將圖像處理后的彩色圖像結合深度相機采集的深度信息計算得到番茄中心的空間坐標和番茄果實半徑，獲得番茄在番茄采摘機器人坐標上的位置；
[0018]所述番茄表面應力測量模塊用于控制番茄果柄觸覺傳感器的散斑噴涂裝置對指尖凝膠噴灑均勻黑色散斑并用光場相機拍下指尖凝膠變形前的4D光場數據，末端執行器在目標番茄上施加預設的力后，再通過光場相機拍攝變形后的指尖凝膠的4D光場數據，并根據獲取的變形后的4D光場數據合成指尖凝膠上散斑低分辨率大景深的二維RGB圖像和深度圖像，計算變形值，再計算整個番茄的應變場，并與閾值進行對比，通過軟硬度判斷番茄果實是否成熟；
[0019]所述番茄莖部三維重建模塊用于當控制器判斷目標番茄為成熟番茄，則根據番茄在番茄采摘機器人坐標上的位置信息向上移動預設距離控制末端執行器抓取番茄的莖部，番茄果柄觸覺傳感器的光場相機獲取番茄果柄的4D光場數據圖像，并傳遞給控制器，控制器通過4D光場數據重建番茄莖部的三維圖像；
[0020]所述采摘點判定模塊用于根據番茄莖部的三維圖像測量果實莖部半徑，并對番茄果實莖部半徑進行閾值分析，確定半徑最大處的梗的具體位置為最佳采摘點，驅動末端執行器進行采摘。
[0021]上述方案中，所述散斑噴涂裝置包括內置的散斑噴涂液儲存腔體，腔體的出口設有噴管，噴管設有閥門，所述閥門與控制器連接。
[0022]一種根據所述的基于視觸結合的精準定位番茄采摘設備的控制方法，包括以下步驟：
[0023]番茄識別：深度相機采集末端執行器前方番茄的彩色圖像，并傳遞給控制器，控制器對深度相機采集的番茄彩色圖像進行圖像處理，識別番茄果實；
[0024]番茄定位檢測：控制器將圖像處理后的彩色圖像結合深度相機采集的深度信息計算得到番茄中心的空間三維坐標和番茄果實半徑，獲得番茄在番茄采摘機器人坐標上的位置；
[0025]番茄成熟度識別：控制器控制番茄果柄觸覺傳感器的散斑噴涂裝置對指尖凝膠噴灑均勻的黑色散斑并用光場相機拍下指尖凝膠變形前的4D光場數據，末端執行器在目標番
茄上施加預設的力后，再通過光場相機拍攝變形后的指尖凝膠的4D光場數據，并根據獲取的變形后的4D光場數據合成指尖凝膠上散斑低分辨率大景深的二維RGB圖像和深度圖像，計算變形值，再計算整個番茄的應變場，并與閾值進行對比，通過軟硬度判斷番茄果實是否成熟；
[0026]番茄莖部三維重建：當控制器判斷目標番茄為成熟番茄，則根據番茄在番茄采摘機器人坐標上的位置信息向上移動預設距離控制末端執行器抓取番茄的莖部，番茄果柄觸覺傳感器的光場相機獲取番茄果柄的4D光場數據圖像，并傳遞給控制器，控制器通過4D光場數據重建番茄莖部的三維圖像；
[0027]采摘點判定：控制器根據番茄莖部的三維圖像測量果實莖部半徑，并對番茄果實莖部半徑進行閾值分析，確定半徑最大處的梗的具體位置即為最佳采摘點，驅動末端執行器進行采摘。
[0028]上述方案中，所述番茄定位檢測步驟中的圖像處理包括以下步驟：
[0029]使用高斯濾波器平滑蓋住的彩色圖像，將RGB顏色空間轉換為HSV顏色空間，提取紅色區域；填充、縮小或擴大紅色區域，消除圓檢測中的誤報；采用Canny方法進行輪廓檢測，利用輪廓圖像上的圓形霍夫變換檢測紅色區域圖像中的圓形；利用檢測圓外切方形中紅色像素的比例來判斷檢測區域；在彩色圖像上繪制識別圓的圖像，輸出識別圓的二維中心坐標和半徑信息。
[0030]上述方案中，所述番茄定位檢測的步驟具體為：
[本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種基于視觸結合的精準定位番茄采摘設備，其特征在于，包括番茄采摘機器人、深度相機(4)、番茄果柄觸覺傳感器(5)和控制器；所述深度相機(4)安裝在番茄采摘機器人上，用于采集末端執行器前方番茄的彩色圖像和深度信息，并傳遞給控制器；所述番茄果柄觸覺傳感器(5)安裝在番茄采摘機器人的末端執行器上，用于獲取4D光場數據圖像并傳遞給控制器；所述控制器分別與番茄采摘機器人、深度相機(4)和番茄果柄觸覺傳感器(5)連接；所述控制器根據番茄的彩色圖像識別番茄果實，計算得到番茄的坐標和果實半徑，根據得到4D光場數據圖像判斷番茄是否成熟以及進行重建番茄莖部的三維圖像，確定最佳采摘點，驅動末端執行器進行采摘。2.根據權利要求1所述的基于視觸結合的精準定位番茄采摘設備，其特征在于，所述控制器對深度相機(4)采集的番茄彩色圖像進行圖像處理，識別番茄果實，計算得到番茄中心的空間坐標和番茄果實半徑，控制器根據得到4D光場數據圖像判斷番茄是否成熟以及重建番茄莖部的三維圖像，并根據番茄莖部三維圖像識別番茄果實莖部的半徑大小信息，對番茄果實莖部半徑進行閾值分析，確定半徑最大處的梗的具體位置為最佳采摘點。3.根據權利要求1所述的基于視觸結合的精準定位番茄采摘設備，其特征在于，所述番茄果柄觸覺傳感器(5)包括透明殼體(13)、光源(7)、散斑噴涂裝置(8)、光場相機(9)和指尖凝膠(10)；所述末端執行器的兩側分別設有透明殼體(13)，透明殼體(13)內設有光源(7)、和光場相機(9)，透明殼體(13)用于與番茄接觸的一側設有指尖凝膠(10)；散斑噴涂裝置(8)設在透明殼體(13)上且位于指尖凝膠(10)四周，用于向指尖凝膠(10)噴涂散斑；所述光源(7)用于給光場相機(9)提供光照，光場相機(9)用于拍攝指尖凝膠(10)的4D光場數據圖像并傳遞給控制器。4.根據權利要求3所述的基于視觸結合的精準定位番茄采摘設備，其特征在于，所述控制器包括番茄識別模塊、番茄定位檢測模塊、番茄表面應力測量模塊、番茄莖部三維重建模塊和采摘點判定模塊；所述番茄識別模塊用于對深度相機(4)采集的番茄彩色圖像進行圖像處理，識別番茄果實；所述番茄定位檢測模塊用于將圖像處理后的彩色圖像結合深度相機(4)采集的深度信息計算得到番茄中心的空間坐標和番茄果實半徑，獲得番茄在番茄采摘機器人坐標上的位置；所述番茄表面應力測量模塊用于控制番茄果柄觸覺傳感器(5)的散斑噴涂裝置(8)對指尖凝膠(10)噴灑均勻黑色散斑并用光場相機(9)拍下指尖凝膠(10)變形前的4D光場數據，末端執行器在目標番茄上施加預設的力后，再通過光場相機(9)拍攝變形后的指尖凝膠(10)的4D光場數據，并根據獲取的變形后的4D光場數據合成指尖凝膠(10)上散斑的二維RGB圖像和深度圖像，計算變形值，再計算整個番茄的應變場，并與閾值進行對比，通過軟硬度判斷番茄果實是否成熟；所述番茄莖部三維重建模塊用于當控制器判斷目標番茄為成熟番茄，則根據番茄在番茄采摘機器人坐標上的位置信息向上移動預設距離控制末端執行器抓取番茄的莖部，番茄
果柄觸覺傳感器(5)的光場相機(9)獲取番茄果柄的4D光場數據圖像，并傳遞給控制器，控制器通過4D光場數據重建番茄莖部的三維圖像；所述采摘點判定模塊用于根據番茄莖部的三維圖像測量果實莖部半徑，并對番茄果實莖部半徑進行閾值分析，確定半徑最大處的梗的具體位置為最佳采摘點，驅動末端執行器進行采摘。5.根據權利要求3所述的基于視觸結合...

【專利技術屬性】
技術研發人員：鄒榮，李金炎，戴文杰，張娛，楊啟志，王權，王一丁，
申請(專利權)人：江蘇大學，
類型：發明
國別省市：