基于农业机器人的视觉控制方法技术

本发明专利技术的实施例公开一种基于农业机器人的视觉控制方法

【技术实现步骤摘要】
基于农业机器人的视觉控制方法、装置和电子设备


[0001]本专利技术涉及农业机器人的
，尤其涉及一种基于农业机器人的视觉控制方法
、
装置和电子设备
。

技术介绍

[0002]随着科技的发展，农业机器人逐步应用于农业生产基地，比如水果的种植基地，此时，农业机器人在水果种植基地中进行水果夹取，并且在捕捉水果种植基地的图像对水果进行定位，基于水果的定位进行夹取，此时，农业机器人的夹头在夹取其中一个水果时会影响其他水果的位置，甚至夹头在夹取水果在引起其他水果的跌落，导致现有的农业机器人对水果的夹取的安全性较低
。

技术实现思路

[0003]有鉴于此，本专利技术实施例提供一种基于农业机器人的视觉控制方法
、
装置和电子设备，根据夹取规划调控农业机器人的夹头移动轨迹，并同步对夹头进行规避调控，提高了农业机器人对水果的夹取的安全性，另外，在夹头夹取水果时，同步监控其他水果在当前环境的位置偏移，并基于其他水果的偏移轨迹确定掉落状态，进一步地保证了农业机器人对水果的夹取的安全性，且能够及时对处于掉落状态的其他水果进行管控，实现优先夹取
。
[0004]第一方面，本专利技术实施例提供一种基于农业机器人的视觉控制方法，包括：
[0005]在农业机器人进入农业工作区域时，获取农业工作区域内的视觉图像；
[0006]基于视觉图像定位水果区域，并确定处于水果区域的水果品种；
[0007]根据水果品种触发农业机器人的夹头更换，并检测当前夹头与水果的适配度；
[0008]若当前夹头与水果的适配度符合预设阈值，则基于视觉图像中多个水果及其定位确定夹取规划；
[0009]根据夹取规划调控农业机器人的夹头移动轨迹，并同步对夹头进行规避调控；
[0010]在夹头夹取水果时，同步监控其他水果在当前环境的位置偏移，并基于其他水果的偏移轨迹确定掉落状态
。
[0011]根据本专利技术实施例的一种具体实现方式，所述基于视觉图像定位水果区域，并确定处于水果区域的水果品种，包括：
[0012]对视觉图像进行区域划分，并且基于水果颜色与绿叶颜色之间的颜色差异定位初步排查区域；
[0013]基于初步排查区域定位水果区域，此时，水果颜色所对应的区域为水果区域；
[0014]对水果区域进行单独识别，并根据水果区域中单个水果的外轮廓及其颜色确定处于水果区域的水果品种；
[0015]获取当前月份的季度和水果所对应的甜度，并进一步确认处于水果区域的水果品种
。
[0016]根据本专利技术实施例的一种具体实现方式，所述根据水果品种触发农业机器人的夹
头更换，并检测当前夹头与水果的适配度，包括：
[0017]获取水果品种；
[0018]基于水果品种和夹头对照表格确定农业机器人的夹头，其中，夹头对照表格包括水果品种与夹头的对应关系；
[0019]根据水果品种触发农业机器人的夹头更换，并监控农业机器人的夹头更换进度；
[0020]待农业机器人的夹头更换完毕后，对夹头与水果品种进行适配度的检测，此时，夹头所夹取的夹取区域覆盖水果的外轮廓
。
[0021]根据本专利技术实施例的一种具体实现方式，所述根据水果品种触发农业机器人的夹头更换，并检测当前夹头与水果的适配度，还包括：
[0022]获取水果的外轮廓；
[0023]基于水果的外轮廓中的凹陷处进行磨损检测；
[0024]若水果存在磨损处，则定位水果的磨损处，其中，基于水果的重心建立坐标系，并确定水果的磨损处的定位坐标；
[0025]根据水果的磨损处调控夹头的夹取位置，并且避让水果的磨损处的定位坐标
。
[0026]根据本专利技术实施例的一种具体实现方式，所述若当前夹头与水果的适配度符合预设阈值，则基于视觉图像中多个水果及其定位确定夹取规划，包括：
[0027]获取当前夹头与水果的适配度；
[0028]若当前夹头与水果的适配度符合预设阈值，则当前夹头适合夹取水果；
[0029]根据视觉图像中构建多个水果之间的位置关系，并且根据多个水果之间的位置关系测算多个水果之间的移动空间；
[0030]基于多个水果之间的位置关系以及夹头的当前定位确定夹取规划，其中，夹取规划根据夹头与多个水果之间的距离进行优先夹取
。
[0031]根据本专利技术实施例的一种具体实现方式，所述若当前夹头与水果的适配度符合预设阈值，则基于视觉图像中多个水果及其定位确定夹取规划，还包括：
[0032]获取多个水果的单独图像；
[0033]基于多个水果的单独图像进行成熟度测试，并确定多个水果的成熟度；
[0034]将多个水果的成熟度进行依序登记，并标记至对应的水果；
[0035]根据水果的成熟度以及当前夹头的位置作为夹取规划的一个参数，并且影响夹取规划
。
[0036]根据本专利技术实施例的一种具体实现方式，所述在夹头夹取水果时，同步监控其他水果在当前环境的位置偏移，并基于其他水果的偏移轨迹确定掉落状态，包括：
[0037]在夹头夹取水果时，实时获取其他水果的动态图像；
[0038]基于动态图像同步监控其他水果在当前环境的位置偏移；
[0039]根据动态图像中的其他水果的位置变化确定偏移轨迹；
[0040]根据其他水果的偏移轨迹判断其他水果的下垂程度；
[0041]若其他水果的下垂程度满足预设下垂程度，则确定其他水果的掉落状态
。
[0042]根据本专利技术实施例的一种具体实现方式，所述在夹头夹取水果时，同步监控其他水果在当前环境的位置偏移，并基于其他水果的偏移轨迹确定掉落状态，包括：
[0043]若其他水果处于掉落状态，则临时调控夹取规划，并优先夹取处于掉落状态的水
果；
[0044]根据其他水果的下垂程度动态调整夹头的夹取顺序，并且进行夹取规划的动态调整
。
[0045]第二方面，本专利技术实施例提供一种基于农业机器人的视觉控制装置，包括：
[0046]获取模块，用于在农业机器人进入农业工作区域时，获取农业工作区域内的视觉图像；
[0047]定位模块，用于基于视觉图像定位水果区域，并确定处于水果区域的水果品种；
[0048]更换模块，用于根据水果品种触发农业机器人的夹头更换，并检测当前夹头与水果的适配度；
[0049]夹取模块，用于若当前夹头与水果的适配度符合预设阈值，则基于视觉图像中多个水果及其定位确定夹取规划；
[0050]调控模块，用于根据夹取规划调控农业机器人的夹头移动轨迹，并同步对夹头进行规避调控；
[0051]状态模块，用于在夹头夹取水果时，同步监控其他水果在当前环境的位置偏移，并基于其他水果的偏移轨迹确定掉落状态
。
[0052]第三方面，本专利技术实施例提供一种电子设备，所述电子设备包括：壳体本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于农业机器人的视觉控制方法，其特征在于，包括：在农业机器人进入农业工作区域时，获取农业工作区域内的视觉图像；基于视觉图像定位水果区域，并确定处于水果区域的水果品种；根据水果品种触发农业机器人的夹头更换，并检测当前夹头与水果的适配度；若当前夹头与水果的适配度符合预设阈值，则基于视觉图像中多个水果及其定位确定夹取规划；根据夹取规划调控农业机器人的夹头移动轨迹，并同步对夹头进行规避调控；在夹头夹取水果时，同步监控其他水果在当前环境的位置偏移，并基于其他水果的偏移轨迹确定掉落状态
。2.
根据权利要求1所述的基于农业机器人的视觉控制方法，其特征在于，所述基于视觉图像定位水果区域，并确定处于水果区域的水果品种，包括：对视觉图像进行区域划分，并且基于水果颜色与绿叶颜色之间的颜色差异定位初步排查区域；基于初步排查区域定位水果区域，此时，水果颜色所对应的区域为水果区域；对水果区域进行单独识别，并根据水果区域中单个水果的外轮廓及其颜色确定处于水果区域的水果品种；获取当前月份的季度和水果所对应的甜度，并进一步确认处于水果区域的水果品种
。3.
根据权利要求2所述的基于农业机器人的视觉控制方法，其特征在于，所述根据水果品种触发农业机器人的夹头更换，并检测当前夹头与水果的适配度，包括：获取水果品种；基于水果品种和夹头对照表格确定农业机器人的夹头，其中，夹头对照表格包括水果品种与夹头的对应关系；根据水果品种触发农业机器人的夹头更换，并监控农业机器人的夹头更换进度；待农业机器人的夹头更换完毕后，对夹头与水果品种进行适配度的检测，此时，夹头所夹取的夹取区域覆盖水果的外轮廓
。4.
根据权利要求3所述的基于农业机器人的视觉控制方法，其特征在于，所述根据水果品种触发农业机器人的夹头更换，并检测当前夹头与水果的适配度，还包括：获取水果的外轮廓；基于水果的外轮廓中的凹陷处进行磨损检测；若水果存在磨损处，则定位水果的磨损处，其中，基于水果的重心建立坐标系，并确定水果的磨损处的定位坐标；根据水果的磨损处调控夹头的夹取位置，并且避让水果的磨损处的定位坐标
。5.
根据权利要求4所述的基于农业机器人的视觉控制方法，其特征在于，所述若当前夹头与水果的适配度符合预设阈值，则基于视觉图像中多个水果及其定位确定夹取规划，包括：获取当前夹头与水果的适配度；若当前夹头与水果的适配度符合预设阈值，则当前夹头适合夹取水果；根据视觉图像中构建多个水果之间的位置关系，并且根据多个水果之间的位置关系测算多个水果之间的移动空间；
基于多个水果之间的位置关系以及夹头的当前定位确定夹取规划，其中，夹取规划根据夹头与多个水果之间的距离进行...

【专利技术属性】
技术研发人员：李丽丽，李红霞，莫舒，
申请(专利权)人：顺德职业技术学院，
类型：发明
国别省市：