一种空地一体化植物生长状态智能感知系统及方法技术方案

本发明专利技术公开了一种空地一体化植物生长状态智能感知系统及方法，该系统包括无人巡视机、无人巡视车、智能图像监测云台、智能APP和服务器。方法为：首先用户在智能APP上设定无人巡检车、无人巡检机的巡检轨迹进行巡检巡检；然后智能图像监测云台进行数据采集，将采集到的植物图像树莓派进行检测与识别，树莓派驱动机械臂偏转使喷洒系统对准喷洒目标，对目标病虫害完成对应农药的喷洒；用户通过智能AP进行问题咨询和交流，实现作物生长、采摘、销售以及运送的一条龙式服务。本发明专利技术操作简单、功能齐全、病虫害识别精度高、成本低、对环境污染小，提高了作物生产、采摘、销售和运送的效率。销售和运送的效率。销售和运送的效率。

【技术实现步骤摘要】
一种空地一体化植物生长状态智能感知系统及方法


[0001]本专利技术涉及人工智能与计算机手机编程
，特别是一种空地一体化植物生长状态智能感知系统及方法。

技术介绍

[0002]在现代信息化精准培育种植与智能立体化推广精准扶贫项目中，果树生长状态智能感知系统主要用于全天候、大范围、高精度地感知果树生长状态，预判发展态势，提供防范预案与疏导方案；该系统采用卫星遥感图像和无人机联动作业，对果园整体进行大面积自然灾害及病虫灾害的监控，以提高监测精准性；同时采用雇员定点监测模式对果园局部状态进行精细化监测，减小监测成本，提高监测效率，形成天
‑
空
‑
地全方位监测模式。据调查，猕猴桃病害有真菌、细菌、病毒、生理病害四大类16种，虫害有15种以上，所以治理病虫灾害对于果树种植至关重要。
[0003]传统农业对于人力的依赖较大，生产效率比较低，严重影响农民收入。随着科技的不断发展，许多先进科技已经被广泛用于各行各业，无人机技术也被广泛应用于航空摄影、灾情探视、交通巡逻、治安监控等方面，无人机技术以及软件开发技术已逐渐融入到我们的生活中，给我们的生活带来了许多便利。其中植保无人机作为一种高效率、省时省工的工具，极大地提高了农业生产的效率。
[0004]图像识别技术是依据图像的主要特征，对大量信息进行自动处理，以辨识图像中的目标的技术。图像识别和无人机无人车的结合，可以使农民足不出户就能治理大部分的植物病虫害，节省了大量人力物力，减少了农户开支，再结合专用软件进行线上的销售推广，可以使农民了解更多的相关知识，并且根据市场反馈情况调整种植结构，增加农户收入。

技术实现思路

[0005]本专利技术的目的在于提供一种操作简单、功能齐全、病虫害识别精度高、成本低、对环境污染小的植物生长状态智能感知系统及方法。
[0006]实现本专利技术目的的技术解决方案为：一种空地一体化植物生长状态智能感知系统，包括无人巡视机、无人巡视车、智能图像监测云台、智能APP和服务器；
[0007]所述无人巡检车、无人巡视机，包括导航定位模块和控制模块，用于进行路径规划和自动巡检；
[0008]所述智能图像监测云台包括摄像机、局域网接口、机械臂、喷洒装置和树莓派，安装于无人巡检车上，用于收集病虫害植物图片，进行病虫害识别，得出对应的解决方案，操纵机械臂完成对病虫害的治理；
[0009]所述智能APP为人机交互系统，安装于用户终端，包括专家在线模块、生长监测模块、病虫防治模块、采摘应答模块、一键送达模块和立体化销售模块，为用户提供可视化操作界面；
[0010]所述服务器用于存储智能APP的交互数据。
[0011]进一步地，树莓派搭载摄像机以超高帧率，进行每秒100次的数据采集，利用树莓派搭载的传输算法将采集到的植物图像压缩，通过局域网传输到电脑端，电脑端的对接算法对图像进行解压后导入数据库；通过控制摄像机的角度，保证图像的规整度，减少叶片倾斜度对监测结果的影响；
[0012]所述的局域网接口根据物理位置和距离情况制作网线，并且通过测试确保网线的连通性；网线采用平行布线方式和交叉布线方式，平行布线方式用于不同种类设备的互联，交叉布线方式用于同一类型设备的互联，各设备能识别平行布线方式和交叉布线方式，智能图像监测云台和用户电脑终端之间通过局域网进行数据交互，此项通过树莓派传输算法和电脑端对接算法实现；
[0013]所述树莓派将摄像机获取的病虫害视频，通过Yolov5x算法将视频进行抽帧处理，设置间隔点，保证均匀采样，并将截取的图片通过opencv库函数cv2.imwrite保存到指定文件夹，采用马赛克、mixup、随机反转、随机翻转、随机剪裁、随机旋转操作保证图片的多样性；用labelImg工具对含有病虫害的图像进行标定，如果得到符合VOC格式的xml数据标注，则对该xml数据标注进行手动解析，得到每张图像上病虫害坐标位置对应的txt标注文件；控制机械臂偏转使喷洒系统对准喷洒目标，实现对多目标的检测与识别；发现目标后生成喷洒信息并传输至智能App系统中。
[0014]进一步地，所述Yolov5x算法模型包括骨干网络、头部网络和检测层；
[0015]所述骨干网络为0到9层，分别由卷积层和跨阶段局部网络层交替构成，跨阶段局部网络层结构有3倍层叠和9倍层叠2种类型，第八层为空间金字塔池化层；
[0016]所述头部网络为10到23层，采用FPN的正金字塔结构与PAN倒金字塔结构，由4个卷积层、4个C3层、2个上采样层和4个拼接层构成，卷积层的卷积核有1*1和3*3两种，跨阶段局部网络层层为3倍层叠，上采样层为2倍上采样；
[0017]所述检测层采用GIoU_Loss作为损失函数，共有3个检测头，大小分别为20
×
20
×
255、40
×
40
×
255、80
×
80
×
255。
[0018]进一步地，所述Yolov5x算法模型，具体如下：
[0019]待检测图像作为第一标准卷积层的输入，将所有预测框的置信度降序排序，选出置信度最高的预测框，确认其为正确预测，并计算他与其他预测框的IOU，根据计算的IOU去除重叠度高的预测框，IOU>threshold阈值的预测框直接删除，剩下的预测框返回进行预测框的置信度降序排序，直到没有剩下的预测框为止，依次级联后输出特征图，用于找到最佳的目标边界框，消除冗余的边界框。
[0020]进一步地，所述智能图像监测云台包括跟踪图像、控制两大功能；
[0021]所述控制界面设置以下两种控制指令：
[0022]1)通过监控软件直接手动控制机械臂转台，包括向上、向下、向左、向右、左上、左下、右上、右下八种指令；
[0023]2)根据所跟踪目标的位置，设置机械臂的俯仰角和偏航角参数自动控制机械臂转动；
[0024]所述目标跟踪控制界面设置以下两种控制命令：
[0025]1)开启手动跟踪指令，操作人员在病虫害图像显示界面中手动框选目标，树莓派
在识别出框中目标后发送智能图像监测云台控制指令，控制智能图像监测云台上的摄像机进行跟踪；
[0026]2)开启自动跟踪指令，操作人员通过标注计算选择监测中置信度最高的目标，树莓派发送指令控制智能图像监测云台上的摄像机进行跟踪。
[0027]进一步地，所述智能App，分为用户和管理员两个权限；所述用户权限用于查询作物在种植过程中不同阶段的病虫害特征，并且根据不同的特征查询解决解决方案；所述管理员权限用于对服务器数据库中存储的数据进行增加、删除、修改操作；
[0028]所述智能App系统采用分层次的设计策略，浏览器向服务器发出请求，服务器访问数据库，数据库给服务器结果，服务器返回至浏览器；所述智能App包括专家在线模块、生长检测模块、病虫防治模块、采摘应答模块、一键送达模块和立体化销售模块；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种空地一体化植物生长状态智能感知系统，其特征在于，包括无人巡视机、无人巡视车、智能图像监测云台、智能APP和服务器；所述无人巡检车、无人巡视机，包括导航定位模块和控制模块，用于进行路径规划和自动巡检；所述智能图像监测云台包括摄像机、局域网接口、机械臂、喷洒装置和树莓派，安装于无人巡检车上，用于收集病虫害植物图片，进行病虫害识别，得出对应的解决方案，操纵机械臂完成对病虫害的治理；所述智能APP为人机交互系统，安装于用户终端，包括专家在线模块、生长监测模块、病虫防治模块、采摘应答模块、一键送达模块和立体化销售模块，为用户提供可视化操作界面；所述服务器用于存储智能APP的交互数据。2.根据权利要求1所述的空地一体化植物生长状态智能感知系统，其特征在于，树莓派搭载摄像机以超高帧率，进行每秒100次的数据采集，利用树莓派搭载的传输算法将采集到的植物图像压缩，通过局域网传输到电脑端，电脑端的对接算法对图像进行解压后导入数据库；通过控制摄像机的角度，保证图像的规整度，减少叶片倾斜度对监测结果的影响；所述的局域网接口根据物理位置和距离情况制作网线，并且通过测试确保网线的连通性；网线采用平行布线方式和交叉布线方式，平行布线方式用于不同种类设备的互联，交叉布线方式用于同一类型设备的互联，各设备能识别平行布线方式和交叉布线方式，智能图像监测云台和用户电脑终端之间通过局域网进行数据交互，此项通过树莓派传输算法和电脑端对接算法实现；所述树莓派将摄像机获取的病虫害视频，通过Yolov5x算法将视频进行抽帧处理，设置间隔点，保证均匀采样，并将截取的图片通过opencv库函数cv2.imwrite保存到指定文件夹，采用马赛克、mixup、随机反转、随机翻转、随机剪裁、随机旋转操作保证图片的多样性；用labelImg工具对含有病虫害的图像进行标定，如果得到符合VOC格式的xml数据标注，则对该xml数据标注进行手动解析，得到每张图像上病虫害坐标位置对应的txt标注文件；控制机械臂偏转使喷洒系统对准喷洒目标，实现对多目标的检测与识别；发现目标后生成喷洒信息并传输至智能App系统中。3.根据权利要求1所述的空地一体化植物生长状态智能感知系统，其特征在于，所述Yolov5x算法模型包括骨干网络、头部网络和检测层；所述骨干网络为0到9层，分别由卷积层和跨阶段局部网络层交替构成，跨阶段局部网络层结构有3倍层叠和9倍层叠2种类型，第八层为空间金字塔池化层；所述头部网络为10到23层，采用FPN的正金字塔结构与PAN倒金字塔结构，由4个卷积层、4个C3层、2个上采样层和4个拼接层构成，卷积层的卷积核有1*1和3*3两种，跨阶段局部网络层层为3倍层叠，上采样层为2倍上采样；所述检测层采用GIoU_Loss作为损失函数，共有3个检测头，大小分别为20
×
20
×
255、40
×
40
×
255、80
×
80
×
255。4.根据权利要求1所述的空地一体化植物生长状态智能感知系统，其特征在于，所述Yolov5x算法模型，具体如下：待检测图像作为第一标准卷积层的输入，将所有预测框的置信度降序排序，选出置信
度最高的预测框，确认其为正确预测，并计算他与其他预测框的IOU，根据计算的IOU去除重叠度高的预测框，IOU>threshold阈值的预测框直接删除，剩下的预测框返回进行预测框的置信度降序排序，直到没有剩下的预测框为止，依次级联后输出特征图，用于找到最佳的目标边界框，消除冗余的边界框。5.根据权利要求1所述的空地一体化植物生长状态智能感知系统，其特征在于，所述智能图像监测云台包括跟踪图像、控制两大功能；所述控制界面设置以下两种控制指令：1)通过监控软件直接手动控制机械臂转台，包括向上、向下、向左、向右、左上、左下、右上、右下八种指令；2)根据所跟踪目标的位置，设置机械臂的俯仰角和偏航角参数自动控制机械臂转动；所述目标跟踪控制界面设置以下两种控制命令：1)开启手动跟踪指令，操作人员在病虫害图像显示界面中手动框选目标，树莓派在识别出框中目标后发送智能图像监测云台控制指令，控制智能图像监测云台上的摄像机进行跟踪；2)开启自动跟踪指令，操作人员通过标注计算选择监测中置信度最高的目标，树莓派发送指令控制智能图像监测云台上的摄像机进行跟踪。6.根据权利要求1所述的空地一体化植物生长状态智能感知系统，其特征在于，所述智能App，分为用户和管理员两个权限；所述用户权限用于查询作物在种植过程中不同阶段的病虫害特征，并且根据不同的特征查询解决解决方案；所述管理员权限用于对服务器数据库中存储的数据进行增加、删除、修改操作；所述智能App系统采用分层次的设计策略，浏览器向服务器发出请求，服务器访问...

【专利技术属性】
技术研发人员：刘佳昱，刘天乐，常家宁，白宏阳，陶家璇，唐雷，宋孜烨，彰彬，岳子豪，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：