一种基于视觉导航的水田农用底盘无人驾驶系统技术方案

本发明专利技术公开了一种基于视觉导航的水田农用底盘无人驾驶系统，包括摄像头、PC端、上位机和下位机；摄像头与上位机相连，用于查看实时画面；PC端作为上位机的显示器，显示摄像头传输过来的界面；上位机集成有一个目标跟踪模块，并通过串口与下位机相连；下位机从上位机接收到的指令控制水田农用底盘；目标跟踪模块是实现水田农用底盘自主导航作业的控制决策核心，其能够框选出目标物，再根据目标矩形框与摄像头的视野正中心作差，得到偏移量的正负，最后利用PID算法根据偏移量的正负来控制水田农用底盘的电动方向盘，且当目标物跟踪失败时，控制水田农用底盘的制动系统。该系统可以减少劳动力，实现水田农用底盘自动转向，提高作业效率。高作业效率。高作业效率。

【技术实现步骤摘要】
一种基于视觉导航的水田农用底盘无人驾驶系统


[0001]本专利技术涉及农机导航控制的
，尤其是指一种基于视觉导航的水田农用底盘无人驾驶系统。

技术介绍

[0002]随着城镇化的发展，大量农村人口前往城镇，劳动力的短缺。机械化可以代替人力、畜力，提高生产效率。随着机械化水平的提高，提高水田农用底盘的自主驾驶能力显得尤为重要，可以减轻机手的劳动强度，提高农机的作业质量。
[0003]在水稻田中，泥泞的底层通常是不均匀、潮湿、湿滑。水稻田中移动的插秧机容易发生打滑、陷车，导致插秧机姿态的随机变化。如果导航系统无法测量和纠正姿态的变化，插秧机的航向将偏离目标路径，导致定位错误。导航系统需要获取和校正插秧机的实时位置、速度和姿态数据。然而，GPS的性能在很大程度上取决于GPS信号的可用性和质量。在恶劣的天气条件下，或当稻田附近存在高大的树木、山体或建筑物时，GPS接收器无法从卫星获得足够的定位信号。在GPS中断时，定位精度显著下降。此外，GPS不能获取环境信息来进行实时路径规划，而只能根据预定义的路径进行定位。特别是在水稻田中，插秧机操作容易发生打滑和陷车，导致预定路径适应性差，严重影响定位精度。RTK精度虽然高，但同样需要依赖GPS信号，并且需要额外支付年费。而基于视觉的插秧机导航，不需要提前设置好预行走的路径，可以根据实时的环境进行调整行走路线，即使在没有卫星信号的情况下也能够进行导航，其实用性广，可以在偏僻的农村地方实施。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的缺点与不足，提出了一种基于视觉导航的水田农用底盘无人驾驶系统，可以使得插秧机等水田农用底盘能够框选目标物，根据视频界面中点和目标物中点偏差值进行行走调整，不需要预设路线，在发生打滑等情况下快速作用于水田农用底盘进行位置纠偏调整。该系统可以减少劳动力，实现插秧机等水田农用底盘自动转向，提高作业效率。
[0005]为实现上述目的，本专利技术所提供的技术方案为：一种基于视觉导航的水田农用底盘无人驾驶系统，所述水田农用底盘需配置有一个电动方向盘，该系统包括有分别安装在水田农用底盘上的摄像头、PC端、上位机和下位机；所述摄像头与上位机相连，用于查看实时画面；所述PC端作为上位机的显示器，显示摄像头传输过来的界面；所述上位机集成有一个目标跟踪模块，并通过串口与下位机相连，该上位机将目标跟踪模块处理的结果通过串口通信传输到下位机；所述下位机从上位机接收到的指令控制水田农用底盘；其中，所述目标跟踪模块是实现水田农用底盘自主导航作业的控制决策核心，该目标跟踪模块能够框选出目标物，形成目标矩形框，再根据目标矩形框与摄像头的视野正中心作差，得到偏移量的正负，最后利用PID算法根据偏移量的正负来控制水田农用底盘的电动方向盘，且当目标物跟踪失败时，控制水田农用底盘的制动系统，从而实现水田农用底盘的无人驾驶。
[0006]进一步，在所述目标跟踪模块中，识别目标的中心位置(X1，Y1)，将目标的中心位置与摄像头的视野正中心作差，得到目标的偏移量X1
‑
X，其中摄像头的视野正中心为PC端显示的视频界面中心，设该位置为(X，Y)；若偏移量为正，则说明目标位于水田农用底盘右侧，若偏移量为负，则说明目标位于水田农用底盘左侧，偏移量的绝对值越大，则说明目标距离水田农用底盘的偏移越大。
[0007]进一步，所述目标跟踪模块具体执行以下操作：
[0008]S1、获取水田农用底盘前方的目标物，并框选出来；具体过程是：在启动系统后，实时获取水田农用底盘前进方向的视频图像，并在PC端上显示视频界面，在PC端上点击选择目标物按钮，然后框选出水田农用底盘前方的目标物；
[0009]S2、输入初始化目标框，将其输入至SiamRPN算法中，得到目标物的下一帧矩形框；具体过程是：在框选出目标物后，输入进Siamese网络中进行特征提取，然后将特征输入进RPN网络中预测目标的位置和置信度，取出置信度最高的矩形框中点为新中点，对上一帧目标的宽高和置信度最高的矩形框的宽高进行运算得到新的宽高，使用新的中心点和宽高作为当前帧的矩形框；
[0010]S3、将返回的矩形框中心与摄像头的视野正中心作差，返回偏移量，根据偏移量的正负来判断目标位于水田农用底盘的哪侧，并发送指令给下位机；具体过程是：摄像头的视野正中心为PC端显示的视频界面中心，视频界面是一个固定的值，经过运算获取其中心点坐标(X，Y)，对获取到的矩形框经过运算获取其中心点坐标(X1，Y1)，其偏移量等于X1
‑
X，若偏移量在允许的偏移范围内，就会给下位机传达直行的指令，若偏移量为正，下达给水田农用底盘右转的指令，若偏移量为负，下达给水田农用底盘左转的指令，从而实现水田农用底盘的自动转向功能。
[0011]进一步，当目标物跟踪失败的时候，矩形框将会消失，然后启动查询功能，增大查询的面积，直到找到置信度高于设定值的候选框，将会对它进行重新识别，重新返回矩形框；具体过程是：当水田农用底盘发生打滑情况时可能导致目标物跟踪失败，这时候启动水田农用底盘的自动制动控制器，水田农用底盘停车，再开始扩大查询面积，找到置信度最高的候选区并按照步骤S2的过程确定其宽高，返回矩形框。
[0012]进一步，所述PC端显示摄像头传输过来的界面，是使用PYQT5编写，能实时显示路况，且有选择目标物、开始跟踪、结束跟踪三个按钮；其中，点击该三个按钮实现的功能如下：
[0013]点击选择目标物按钮，视频界面将会暂停，选择第一帧图片对目标物进行框选；
[0014]点击开始跟踪按钮，跟踪算法开始运行，将会通过SiamRPN算法，得到下一帧目标物的矩形框，同时遇到目标物跟踪失败的时候，矩形框将会消失，然后启动查询功能，增大查询的面积，直到找到置信度高于设定值的候选框，将会对它进行重新识别，重新返回矩形框；
[0015]点击结束跟踪，将会结束系统的运行。
[0016]进一步，所述摄像头是ZED双目摄像头。
[0017]进一步，所述上位机是Jetson TX2。
[0018]进一步，所述下位机为Arduino开发板。
[0019]进一步，所述上位机与下位机之间的串口通信是通过Python中的serial包来实
现。
[0020]进一步，所述上位机与PC端通过共用同一个WIFI网络，使得PC端通过VNC来控制上位机，上位机发送指令给下位机，下位机执行相应的指令控制电动方向盘转向。
[0021]本专利技术与现有技术相比，具有如下优点与有益效果：
[0022]1、现有插秧机等水田农用底盘导航基本是基于GPS导航，而本专利技术系统是基于视觉导航，可以为插秧机等水田农用底盘视觉导航提供研究基础。
[0023]2、通过设置允许偏离的范围，当水田农用底盘超过这个偏移的范围的时候再进行转向控制，可以减少水田农用底盘频繁修正角度，进一步提高了实用性。
[0024]3、本专利技术系统移植性强，可以适用于多种水田农用底盘。
附图说明<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉导航的水田农用底盘无人驾驶系统，所述水田农用底盘需配置有一个电动方向盘，其特征在于，该系统包括有分别安装在水田农用底盘上的摄像头、PC端、上位机和下位机；所述摄像头与上位机相连，用于查看实时画面；所述PC端作为上位机的显示器，显示摄像头传输过来的界面；所述上位机集成有一个目标跟踪模块，并通过串口与下位机相连，该上位机将目标跟踪模块处理的结果通过串口通信传输到下位机；所述下位机从上位机接收到的指令控制水田农用底盘；其中，所述目标跟踪模块是实现水田农用底盘自主导航作业的控制决策核心，该目标跟踪模块能够框选出目标物，形成目标矩形框，再根据目标矩形框与摄像头的视野正中心作差，得到偏移量的正负，最后利用PID算法根据偏移量的正负来控制水田农用底盘的电动方向盘，且当目标物跟踪失败时，控制水田农用底盘的制动系统，从而实现水田农用底盘的无人驾驶。2.根据权利要求1所述的一种基于视觉导航的水田农用底盘无人驾驶系统，其特征在于，在所述目标跟踪模块中，识别目标的中心位置(X1，Y1)，将目标的中心位置与摄像头的视野正中心作差，得到目标的偏移量X1
‑
X，其中摄像头的视野正中心为PC端显示的视频界面中心，设该位置为(X，Y)；若偏移量为正，则说明目标位于水田农用底盘右侧，若偏移量为负，则说明目标位于水田农用底盘左侧，偏移量的绝对值越大，则说明目标距离水田农用底盘的偏移越大。3.根据权利要求1或2所述的一种基于视觉导航的水田农用底盘无人驾驶系统，其特征在于，所述目标跟踪模块具体执行以下操作：S1、获取水田农用底盘前方的目标物，并框选出来；具体过程是：在启动系统后，实时获取水田农用底盘前进方向的视频图像，并在PC端上显示视频界面，在PC端上点击选择目标物按钮，然后框选出水田农用底盘前方的目标物；S2、输入初始化目标框，将其输入至SiamRPN算法中，得到目标物的下一帧矩形框；具体过程是：在框选出目标物后，输入进Siamese网络中进行特征提取，然后将特征输入进RPN网络中预测目标的位置和置信度，取出置信度最高的矩形框中点为新中点，对上一帧目标的宽高和置信度最高的矩形框的宽高进行运算得到新的宽高，使用新的中心点和宽高作为当前帧的矩形框；S3、将返回的矩形框中心与摄像头的视野正中心作差，返回偏移量，根据偏移量的正负来判断目标位于水田农用底盘的哪侧，并发送指令给下位机；具体过程是：摄像头的视野正中心为PC端显示的视频界面中心，视频界面是一个固定...

【专利技术属性】
技术研发人员：杨丹彤，陈惠明，岳学军，郑丁科，黄燕娟，黄世醒，戴久祥，马宇翔，张畅冉，王雪斐，靳晓虎，王一鸣，李会，许行行，郑健林，安星宇，蔡雨霖，林泳达，康高碧，时浩文，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：