基于人工智能识别的名优茶采摘机及采摘机用识别方法技术

本发明专利技术公开了一种基于人工智能识别的名优茶采摘机及采摘机用识别方法，包括动力系统、控制系统、行走系统、光照系统、视觉系统、采摘系统、传输系统、红外探测系统及收集箱；所述动力系统驱动行走系统在控制系统的作用下向前行车，采用四个两目相机作为名优茶采摘收获机的视觉系统，图像采集完成后通过本地或5G云端上传至控制系统服务器，再利用图像识别技术和人工智能方法对茶叶进行识别和定位，通过采摘系统中的蜘蛛手机器人将采摘系统移动旋转到合适位置，利用采摘系统的末端采摘器将茶叶新梢折断并夹持，然后运送到传输系统，由传输系统传输到收集箱，收集箱进行分层存贮。

【技术实现步骤摘要】
基于人工智能识别的名优茶采摘机及采摘机用识别方法
本专利技术涉及人工智能识别及机械采茶
，尤其涉及的是，一种基于人工智能识别的名优茶采摘机及采摘机用识别方法。
技术介绍
采茶是劳动密集型产业，季节性强，采摘周期短，而名优茶对采摘时间和标准更加严格。茶叶的采摘不仅关系到茶叶品质、产量与经济效益，对茶叶的营养成分及茶树以后的生长也有影响。茶叶的采摘方式主要为人工采摘和机械采摘。人工采摘具有选择性，茶叶品质高，人可以通过观察叶芽的形状、颜色等特征来判断叶芽是否适合采摘以及其品级高低，并采用折断的方式采摘茶叶嫩芽，从而保证芽形完整度，具有更高的品质，但其成本高，且因产业结构优化调整和劳动力转移，每年采茶季都会出现劳动力严重缺乏的问题。现有的机械采茶机主要有单人采茶机、双人抬采机和自走式采茶机等。机械采摘主要机构为往复切割式，即所谓的“一刀切”的工作方式，此种采茶机成本低廉，效率高。但会产生漏采、误采，并且叶片完整度无法得到有效保证，此种采摘方式没有选择性，无法满足名优茶的各种要求。
技术实现思路
本专利技术提供一种基于人工智能的名优茶采摘机，针对人工采摘及现有的机械采茶机的不足之处，将现有的机械采茶机中产生漏采、误采，并且叶片完整度无法得到有效保证，采摘没有选择性，无法满足名优茶的各种要求的问题一并解决。本专利技术的技术方案如下：一种基于人工智能识别的名优茶采摘机包括动力系统、控制系统、行走系统、光照系统、视觉系统、采摘系统、传输系统、红外探测系统及收集箱；所述动力系统驱动行走系统在控制系统的作用下向前行车，采用四个两目相机作为名优茶采摘收获机的视觉系统，图像采集完成后通过本地或5G云端上传至控制系统服务器，再利用图像识别技术和人工智能方法对茶叶进行识别和定位，通过采摘系统中的蜘蛛手机器人将采摘系统移动旋转到合适位置，利用采摘系统的末端采摘器将茶叶新梢折断并夹持，然后运送到传输系统，由传输系统传输到收集箱，收集箱进行分层存贮；其中，光照系统为视觉系统提供稳定的光照环境；红外探测系统，用于探测名优茶采摘收获机是否超出工作范围，及时发出相应信号，并上传至控制系统，控制系统立刻下达继续作业或停车的信号。上述中，所述控制系统分别与行走系统、光照系统、采摘系统、红外探测系统及传输系统相连；所述控制系统与行走系统相连，用于合理规划采摘收获机的运动轨迹；所述控制系统与与光照系统相连，用于控制光照系统灯光的开关；所述控制系统与与采摘系统相连，用于对蜘蛛手机器人及末端采摘器进行实时的控制管理，调控运动部件的位置及速度参数，使机械装置按照预期的轨迹或规定的动作进行作业；所述控制系统与红外探测系统相连，用于接收红外探测系统发出的信号，并作出相应控制；所述控制系统与与传输系统相连，控制传输系统运转与否。上述中，所述视觉系统采用四个双目相机作为名优茶采摘收获机的视觉系统，相机位于静平台下方；视觉系统通过图像识别技术及人工智能方法来识别茶叶并向控制系统提供其准确坐标位置，由控制系统控制采摘系统进行茶叶的准确采摘。上述中，所述红外探测系统位于机器前方上部，用于探测名优茶采摘收获机是否超出工作范围，及时发出相应信号，并上传至控制系统；所述收集箱位于名优茶采摘收获机的后部，用于收集并保存从传输系统传输过来的茶叶嫩芽。上述中，所述采摘系统分为蜘蛛手机器人和末端采摘器两部分；蜘蛛手机器人包括静平台、动平台、驱动电机、主动臂与从动臂；所述静平台末端与主动臂、从动臂分别通过铰链连接，由此组成一个可伸缩变形的三角形，动平台下端装有末端采摘器；模拟人类手指采摘的方式，两个采摘臂有一定的高度差，工作时第一采摘臂与第二采摘臂交错运动，通过对茶叶嫩芽特定采摘点的折断操作来保证茶叶嫩芽的芽形完整度，并通过夹持臂夹持茶叶嫩芽。上述中，视觉系统通过图像识别技术及人工智能来识别茶叶嫩芽，具体包括以下步骤：步骤1：拍摄茶园的茶叶图像，对茶叶图像进行预处理，首先，挑选茶叶清晰、明确的图像，其次，对选择好的训练集图像按7:3的比例划分为训练集和测试集，对训练集图像使用Labelimg软件进行标记，以XML文件格式保存；步骤2：图像预处理后将标记后的茶叶原图像和对应的XML文件一一输入到搭建好的FasterR-CNN模型中进行训练，通过调整各项参数使模型的识别效果达到最优，将训练好的模型保存并上传至云端，以供机械采摘时使用；步骤3：通过训练好的FasterR-CNN模型，获取目标识别、类得分、坐标及时间参数，对这些数据进行保存；步骤4：对于保存的数据预处理后，实现对于茶园中的茶叶识别和定位。上述中，所述步骤2中，搭建好的FasterR-CNN模型，具体包括以下步骤：步骤(1)：VGG16网路卷积用于提取茶叶的图像特征：输入是任意大小的图像，输出是包含提取特征的特征图。VGG16网络卷积由13个卷积层、13个ReLU函数层和4个池化层；具体情况如下：所述卷积层：用于实现参数共享；在卷积层不改变图像的大小，即输入图像O的大小等于输出图像的大小；卷积层的输出为公式1:公式1：其中，O为输出图像，I为输入图像，K为卷积核的大小，P为增广矩阵的大小，S为步长；所述ReLU层：ReLU是一个激活函数，其不会改变图像的大小；使用ReLU函数的引入非线性，使部分神经元的输出为零，减少参数之间的相互依赖，缓解过拟合问题的发生；所述池化层：用于减少图像的空间大小，将输出图像的大小减少到输入图像大小的一半；步骤(2)：茶叶图像经过VGG16网络卷积后得到不同于原图的图像，即特征图，所述特征图将目标部分的颜色区别于背景，以突出目标的不同；步骤(3)：区域建议网络RPN用于生成区域建议，并将得出的建议传输给感兴趣区域池化；区域建议网络RPN实现的具体步骤如下：步骤A：用3×3滑动窗口对VGG16网络输出的特征图卷积，再通过两个1×1的滑动窗口降维，以减少计算参数，加快运算速度；其中，一个1×1的滑动窗口将直接给出建议，另一个1×1的滑动窗口将会进行以下步骤给出建议；步骤B：通过1×1的滑动窗口卷积后进行参数调整，评估锚点框与真实值之间的偏移量，以做出更加准确地建议，偏移量的计算为公式2：公式2：其中，x*和y*代表真实值的中心点坐标；w*和h*分别代表真实值的宽和高；xa和ya代表锚点框的中心点坐标；wa和ha分别代表锚点框的宽和高；Δx和Δy为真实值和锚点框中心点坐标的偏移量；Δw和Δh分别表示真实值和锚点框之间宽和高的偏移量；步骤C：softmax分类器对前一步做出的偏移量进行筛选，根据设定的阈值参数保留合理的几个数值，从而给出目标框的区域建议；步骤D：根据softmax分类器给出的几个数值对应的画出目标的几个边界框，这些目标边界框将同时保留，传给下一步骤；步骤E：根据非极大抑制的方法，对上一步骤中产生的多个目标框进行选择，保留能涵盖目标且分类得分较高的那一个作为建议；步骤F：将两个1×1的滑动窗口分别给出的建本文档来自技高网...

【技术保护点】
1.一种基于人工智能识别的名优茶采摘机，其特征在于，包括动力系统、控制系统、行走系统、光照系统、视觉系统、采摘系统、传输系统、红外探测系统及收集箱；所述动力系统驱动行走系统在控制系统的作用下向前行车，采用四个两目相机作为名优茶采摘收获机的视觉系统，图像采集完成后通过本地或5G云端上传至控制系统服务器，再利用图像识别技术和人工智能方法对茶叶进行识别和定位，通过采摘系统中的蜘蛛手机器人将采摘系统移动旋转到合适位置，利用采摘系统的末端采摘器将茶叶新梢折断并夹持，然后运送到传输系统，由传输系统传输到收集箱，收集箱进行分层存贮；其中，光照系统为视觉系统提供稳定的光照环境；红外探测系统，用于探测名优茶采摘收获机是否超出工作范围，及时发出相应信号，并上传至控制系统，控制系统立刻下达继续作业或停车的信号。/n

【技术特征摘要】
1.一种基于人工智能识别的名优茶采摘机，其特征在于，包括动力系统、控制系统、行走系统、光照系统、视觉系统、采摘系统、传输系统、红外探测系统及收集箱；所述动力系统驱动行走系统在控制系统的作用下向前行车，采用四个两目相机作为名优茶采摘收获机的视觉系统，图像采集完成后通过本地或5G云端上传至控制系统服务器，再利用图像识别技术和人工智能方法对茶叶进行识别和定位，通过采摘系统中的蜘蛛手机器人将采摘系统移动旋转到合适位置，利用采摘系统的末端采摘器将茶叶新梢折断并夹持，然后运送到传输系统，由传输系统传输到收集箱，收集箱进行分层存贮；其中，光照系统为视觉系统提供稳定的光照环境；红外探测系统，用于探测名优茶采摘收获机是否超出工作范围，及时发出相应信号，并上传至控制系统，控制系统立刻下达继续作业或停车的信号。


2.如权利要求1所述的名优茶采摘机，其特征在于，所述控制系统分别与行走系统、光照系统、采摘系统、红外探测系统及传输系统相连；所述控制系统与行走系统相连，用于合理规划采摘收获机的运动轨迹；所述控制系统与与光照系统相连，用于控制光照系统灯光的开关；所述控制系统与与采摘系统相连，用于对蜘蛛手机器人及末端采摘器进行实时的控制管理，调控运动部件的位置及速度参数，使机械装置按照预期的轨迹或规定的动作进行作业；所述控制系统与红外探测系统相连，用于接收红外探测系统发出的信号，并作出相应控制；所述控制系统与与传输系统相连，控制传输系统运转与否。


3.如权利要求2所述的名优茶采摘机，其特征在于，所述视觉系统采用四个双目相机作为名优茶采摘收获机的视觉系统，相机位于静平台下方；视觉系统通过图像识别技术及人工智能方法来识别茶叶并向控制系统提供其准确坐标位置，由控制系统控制采摘系统进行茶叶的准确采摘。


4.如权利要求3所述的名优茶采摘机，其特征在于，所述红外探测系统位于机器前方上部，用于探测名优茶采摘收获机是否超出工作范围，及时发出相应信号，并上传至控制系统；所述收集箱位于名优茶采摘收获机的后部，用于收集并保存从传输系统传输过来的茶叶嫩芽。


5.如权利要求4所述的名优茶采摘机，其特征在于，所述采摘系统分为蜘蛛手机器人和末端采摘器两部分；蜘蛛手机器人包括静平台、动平台、驱动电机、主动臂与从动臂；所述静平台末端与主动臂、从动臂分别通过铰链连接，由此组成一个可伸缩变形的三角形，动平台下端装有末端采摘器；模拟人类手指采摘的方式，两个采摘臂有一定的高度差，工作时第一采摘臂与第二采摘臂交错运动，通过对茶叶嫩芽特定采摘点的折断操作来保证茶叶嫩芽的芽形完整度，并通过夹持臂夹持茶叶嫩芽。


6.如权利要求3所述的名优茶采摘机，其特征在于，视觉系统通过图像识别技术及人工智能来识别茶叶嫩芽，具体包括以下步骤：
步骤1：拍摄茶园的茶叶图像，对茶叶图像进行预处理，首先，挑选茶叶清晰、明确的图像，其次，对选择好的训练集图像按7:3的比例划分为训练集和测试集，对训练集图像使用Labelimg软件进行标记，以XML文件格式保存；
步骤2：图像预处理后将标记后的茶叶原图像和对应的XML文件一一输入到搭建好的FasterR-CNN模型中进行训练，通过调整各项参数使模型的识别效果达到最优，将训练好的模型保存并上传至云端，以供机械采摘时使用；
步骤3：通过训练好的FasterR-CNN模型，获取目标识别、类得分、坐标及时间参数，对这些数据进行保存；
步骤4：对于保存的数据预处理后，实现对于茶园中的茶叶识别和定位。


7.如权利要求6所述的名优茶采摘机，其特征在于，所述步骤2中，搭建好的FasterR-CNN模型，具体包括以下步骤：
步骤(1)：VGG16网路卷积用于提取茶叶的图像特征：输入是任意大小的图像，输出是包含提取特征的特征图。VGG16网络卷积由13个卷积层、13个ReLU函数层和4个池化层；具体情况如下：
所述卷积层：用于实现参数共享；在卷积层不改变图像的大小，即输入图像O的大小等于输出图像的大小；卷积层的输出为公式1:
公式1：
其中，O为输出图像，I为输入图像，K为卷积核的大小，P为增广矩阵的大小，S为步长；
所述ReLU层：ReLU是一个激活函数，其不会改变图像的大小；使用ReLU函数的引入非线性，使部分神经元的输出为零，减少参数之间的相互依赖，缓解过拟合问题的发生；所述池化层：用于减少图像的空间大小，将输出图像的大小减少到输入图像大小的一半；
步骤(2)：茶叶图像经过VGG16网络卷积后得到不同于原图的图像，即特征图，所述特征图将目标部分的颜色区别于背景，以突出目标的不同；
步骤(3)：区域建议网络RPN用于生成区域建议，并将得出的建议传输给感兴趣区域池化；区域建议网络RPN实现的具体步骤如下：
步骤A：用3×3滑动窗口对VGG16网络输出的特征图卷积，再通过两个1×1的滑动窗口降维，以减少计算参数，加快运算速度；其中，一个1×1的滑动窗口将直接给出建议，另一个1×1的滑动窗口将会进行以下步骤给出建议；
步骤B：通过1×1的滑动窗口卷积后进行参数调...

【专利技术属性】
技术研发人员：李娟，葛凤丽，郑黄河，韩仲志，徐文凯，李兴永，
申请(专利权)人：青岛农业大学，
类型：发明
国别省市：山东;37