一种基于视触结合的精准定位番茄采摘设备及方法技术

本发明专利技术提供一种基于视触结合的精准定位番茄采摘设备及方法，该系统包括番茄采摘机器人、深度相机、番茄果柄触觉传感器和控制器；通过控制器对深度相机采集的番茄彩色图像进行图像处理，识别番茄果实，计算得到番茄中心的空间坐标和番茄果实直径，番茄果柄触觉传感器先通过番茄软硬度分析识别番茄果实成熟度再对番茄果柄进行三维重建。控制器根据得到的番茄茎部三维图像识别番茄果实茎部的半径大小信息，并对番茄果实茎部半径进行阈值分析，确定半径最大处的梗的具体位置为最佳采摘点，驱动末端执行器进行采摘，实现对番茄等果实的有效采摘，结构简单紧凑、工作平稳且采摘效率高。工作平稳且采摘效率高。工作平稳且采摘效率高。

【技术实现步骤摘要】
一种基于视触结合的精准定位番茄采摘设备及方法


[0001]本专利技术属于番茄采摘机械人领域，尤其涉及一种基于视触结合的精准定位番茄采摘设备及方法。

技术介绍

[0002]当前，我国农业采摘机器人的研究技术水平还不高，传统番茄采摘技术生产成本高、操作复杂且效率低。很多现有的采摘机器人采用视觉识别定位采摘，不仅解决不了识别时番茄遮挡带来的问题，而且无法定位精准的番茄采摘点，采摘的番茄果实由于果柄过长后期还需要人工对采摘后的番茄进行二次修剪。

技术实现思路

[0003]针对上述技术问题，本专利技术提供一种基于视触结合的精准定位番茄采摘设备及方法，相比于传统的采摘机器人，在视觉识别的基础上对番茄果实采用番茄果柄触觉传感器进行进一步触觉识别，精准定位番茄果柄的茎梗处进行采摘。操作简单且采摘精度高，节省了人力并保证了番茄果实的完整。
[0004]本专利技术通过控制器对深度相机采集的番茄彩色图像进行图像处理，识别番茄果实，计算得到番茄中心的空间坐标和番茄果实直径，番茄果柄触觉传感器先通过番茄软硬度分析识别番茄果实成熟度再对番茄果柄进行三维重建。控制器根据得到的番茄茎部三维图像识别番茄果实茎部的半径大小信息，并对番茄果实茎部半径进行阈值分析，确定半径最大处的梗的具体位置为最佳采摘点，驱动末端执行器进行采摘，实现对番茄等果实的有效采摘，结构简单紧凑、工作平稳且采摘效率高。
[0005]本专利技术是通过以下技术手段实现上述技术目的的。
[0006]一种基于视触结合的精准定位番茄采摘设备，包括番茄采摘机器人、深度相机、番茄果柄触觉传感器和控制器；
[0007]所述深度相机安装在番茄采摘机器人上，用于采集末端执行器前方番茄的彩色图像和深度信息，并传递给控制器；
[0008]所述番茄果柄触觉传感器安装在番茄采摘机器人的末端执行器上，用于获取4D光场数据图像并传递给控制器；
[0009]所述控制器分别与番茄采摘机器人、深度相机和番茄果柄触觉传感器连接；
[0010]所述控制器根据番茄的彩色图像识别番茄果实，计算得到番茄的坐标和果实半径，根据得到4D光场数据图像判断番茄是否成熟以及进行重建番茄茎部的三维图像，确定最佳采摘点，驱动末端执行器进行采摘。
[0011]上述方案中，所述控制器对深度相机采集的番茄彩色图像进行图像处理，识别番茄果实，计算得到番茄中心的空间坐标和番茄果实半径，控制器根据得到4D光场数据图像判断番茄是否成熟以及重建番茄茎部的三维图像，并根据番茄茎部三维图像识别番茄果实茎部的半径大小信息，对番茄果实茎部半径进行阈值分析，确定半径最大处的梗的具体位
置为最佳采摘点。
[0012]上述方案中，所述番茄果柄触觉传感器包括透明壳体、光源、散斑喷涂装置、光场相机和指尖凝胶；
[0013]所述末端执行器的两侧分别设有透明壳体，透明壳体内设有光源、和光场相机，透明壳体用于与番茄接触的一侧设有指尖凝胶；散斑喷涂装置设在透明壳体上且位于指尖凝胶四周，用于向指尖凝胶喷涂散斑；
[0014]所述光源用于给光场相机提供光照，光场相机用于拍摄指尖凝胶的4D光场数据图像并传递给控制器。
[0015]进一步的，所述控制器包括番茄识别模块、番茄定位检测模块、番茄表面应力测量模块、番茄茎部三维重建模块和采摘点判定模块；
[0016]所述番茄识别模块用于对深度相机采集的番茄彩色图像进行图像处理，识别番茄果实；
[0017]所述番茄定位检测模块用于将图像处理后的彩色图像结合深度相机采集的深度信息计算得到番茄中心的空间坐标和番茄果实半径，获得番茄在番茄采摘机器人坐标上的位置；
[0018]所述番茄表面应力测量模块用于控制番茄果柄触觉传感器的散斑喷涂装置对指尖凝胶喷洒均匀黑色散斑并用光场相机拍下指尖凝胶变形前的4D光场数据，末端执行器在目标番茄上施加预设的力后，再通过光场相机拍摄变形后的指尖凝胶的4D光场数据，并根据获取的变形后的4D光场数据合成指尖凝胶上散斑低分辨率大景深的二维RGB图像和深度图像，计算变形值，再计算整个番茄的应变场，并与阈值进行对比，通过软硬度判断番茄果实是否成熟；
[0019]所述番茄茎部三维重建模块用于当控制器判断目标番茄为成熟番茄，则根据番茄在番茄采摘机器人坐标上的位置信息向上移动预设距离控制末端执行器抓取番茄的茎部，番茄果柄触觉传感器的光场相机获取番茄果柄的4D光场数据图像，并传递给控制器，控制器通过4D光场数据重建番茄茎部的三维图像；
[0020]所述采摘点判定模块用于根据番茄茎部的三维图像测量果实茎部半径，并对番茄果实茎部半径进行阈值分析，确定半径最大处的梗的具体位置为最佳采摘点，驱动末端执行器进行采摘。
[0021]上述方案中，所述散斑喷涂装置包括内置的散斑喷涂液储存腔体，腔体的出口设有喷管，喷管设有阀门，所述阀门与控制器连接。
[0022]一种根据所述的基于视触结合的精准定位番茄采摘设备的控制方法，包括以下步骤：
[0023]番茄识别：深度相机采集末端执行器前方番茄的彩色图像，并传递给控制器，控制器对深度相机采集的番茄彩色图像进行图像处理，识别番茄果实；
[0024]番茄定位检测：控制器将图像处理后的彩色图像结合深度相机采集的深度信息计算得到番茄中心的空间三维坐标和番茄果实半径，获得番茄在番茄采摘机器人坐标上的位置；
[0025]番茄成熟度识别：控制器控制番茄果柄触觉传感器的散斑喷涂装置对指尖凝胶喷洒均匀的黑色散斑并用光场相机拍下指尖凝胶变形前的4D光场数据，末端执行器在目标番
茄上施加预设的力后，再通过光场相机拍摄变形后的指尖凝胶的4D光场数据，并根据获取的变形后的4D光场数据合成指尖凝胶上散斑低分辨率大景深的二维RGB图像和深度图像，计算变形值，再计算整个番茄的应变场，并与阈值进行对比，通过软硬度判断番茄果实是否成熟；
[0026]番茄茎部三维重建：当控制器判断目标番茄为成熟番茄，则根据番茄在番茄采摘机器人坐标上的位置信息向上移动预设距离控制末端执行器抓取番茄的茎部，番茄果柄触觉传感器的光场相机获取番茄果柄的4D光场数据图像，并传递给控制器，控制器通过4D光场数据重建番茄茎部的三维图像；
[0027]采摘点判定：控制器根据番茄茎部的三维图像测量果实茎部半径，并对番茄果实茎部半径进行阈值分析，确定半径最大处的梗的具体位置即为最佳采摘点，驱动末端执行器进行采摘。
[0028]上述方案中，所述番茄定位检测步骤中的图像处理包括以下步骤：
[0029]使用高斯滤波器平滑盖住的彩色图像，将RGB颜色空间转换为HSV颜色空间，提取红色区域；填充、缩小或扩大红色区域，消除圆检测中的误报；采用Canny方法进行轮廓检测，利用轮廓图像上的圆形霍夫变换检测红色区域图像中的圆形；利用检测圆外切方形中红色像素的比例来判断检测区域；在彩色图像上绘制识别圆的图像，输出识别圆的二维中心坐标和半径信息。
[0030]上述方案中，所述番茄定位检测的步骤具体为：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视触结合的精准定位番茄采摘设备，其特征在于，包括番茄采摘机器人、深度相机(4)、番茄果柄触觉传感器(5)和控制器；所述深度相机(4)安装在番茄采摘机器人上，用于采集末端执行器前方番茄的彩色图像和深度信息，并传递给控制器；所述番茄果柄触觉传感器(5)安装在番茄采摘机器人的末端执行器上，用于获取4D光场数据图像并传递给控制器；所述控制器分别与番茄采摘机器人、深度相机(4)和番茄果柄触觉传感器(5)连接；所述控制器根据番茄的彩色图像识别番茄果实，计算得到番茄的坐标和果实半径，根据得到4D光场数据图像判断番茄是否成熟以及进行重建番茄茎部的三维图像，确定最佳采摘点，驱动末端执行器进行采摘。2.根据权利要求1所述的基于视触结合的精准定位番茄采摘设备，其特征在于，所述控制器对深度相机(4)采集的番茄彩色图像进行图像处理，识别番茄果实，计算得到番茄中心的空间坐标和番茄果实半径，控制器根据得到4D光场数据图像判断番茄是否成熟以及重建番茄茎部的三维图像，并根据番茄茎部三维图像识别番茄果实茎部的半径大小信息，对番茄果实茎部半径进行阈值分析，确定半径最大处的梗的具体位置为最佳采摘点。3.根据权利要求1所述的基于视触结合的精准定位番茄采摘设备，其特征在于，所述番茄果柄触觉传感器(5)包括透明壳体(13)、光源(7)、散斑喷涂装置(8)、光场相机(9)和指尖凝胶(10)；所述末端执行器的两侧分别设有透明壳体(13)，透明壳体(13)内设有光源(7)、和光场相机(9)，透明壳体(13)用于与番茄接触的一侧设有指尖凝胶(10)；散斑喷涂装置(8)设在透明壳体(13)上且位于指尖凝胶(10)四周，用于向指尖凝胶(10)喷涂散斑；所述光源(7)用于给光场相机(9)提供光照，光场相机(9)用于拍摄指尖凝胶(10)的4D光场数据图像并传递给控制器。4.根据权利要求3所述的基于视触结合的精准定位番茄采摘设备，其特征在于，所述控制器包括番茄识别模块、番茄定位检测模块、番茄表面应力测量模块、番茄茎部三维重建模块和采摘点判定模块；所述番茄识别模块用于对深度相机(4)采集的番茄彩色图像进行图像处理，识别番茄果实；所述番茄定位检测模块用于将图像处理后的彩色图像结合深度相机(4)采集的深度信息计算得到番茄中心的空间坐标和番茄果实半径，获得番茄在番茄采摘机器人坐标上的位置；所述番茄表面应力测量模块用于控制番茄果柄触觉传感器(5)的散斑喷涂装置(8)对指尖凝胶(10)喷洒均匀黑色散斑并用光场相机(9)拍下指尖凝胶(10)变形前的4D光场数据，末端执行器在目标番茄上施加预设的力后，再通过光场相机(9)拍摄变形后的指尖凝胶(10)的4D光场数据，并根据获取的变形后的4D光场数据合成指尖凝胶(10)上散斑的二维RGB图像和深度图像，计算变形值，再计算整个番茄的应变场，并与阈值进行对比，通过软硬度判断番茄果实是否成熟；所述番茄茎部三维重建模块用于当控制器判断目标番茄为成熟番茄，则根据番茄在番茄采摘机器人坐标上的位置信息向上移动预设距离控制末端执行器抓取番茄的茎部，番茄
果柄触觉传感器(5)的光场相机(9)获取番茄果柄的4D光场数据图像，并传递给控制器，控制器通过4D光场数据重建番茄茎部的三维图像；所述采摘点判定模块用于根据番茄茎部的三维图像测量果实茎部半径，并对番茄果实茎部半径进行阈值分析，确定半径最大处的梗的具体位置为最佳采摘点，驱动末端执行器进行采摘。5.根据权利要求3所述的基于视触结合...

【专利技术属性】
技术研发人员：邹荣，李金炎，戴文杰，张娱，杨启志，王权，王一丁，
申请(专利权)人：江苏大学，
类型：发明
国别省市：