一种用于农机自动驾驶的障碍物检测方法和系统技术方案

本发明专利技术公开了一种用于农机自动驾驶的障碍物检测方法，包括：利用双目视觉采集器获取带有距离信息的图像数据；把图像数据输入到深度卷积神经网络中，深度卷积神经网络把图像数据分割成多个子图像，对每个子图像进行处理，预测每个子图像中可能包含的物体块信息和物体块的类别信息，根据物体块信息和类别信息计算被预测物体的可信度分值；确定可信的识别物体的位置坐标和距离信息并输出。本发明专利技术还公开了一种用于农机自动驾驶的障碍物检测系统，包括：图像数据获取模块、识别模块和输出模块。本发明专利技术根据获取到的图像信息将识别到物体的位置信息和距离信息输出，有效地对农田障碍物进行检测，减少背景误识别并根据设定的危险区域发出报警。

【技术实现步骤摘要】
一种用于农机自动驾驶的障碍物检测方法和系统
本专利技术涉及信息处理
，尤其涉及一种用于农机自动驾驶的障碍物检测方法和系统。
技术介绍
在农田作业过程中，不可避免地在田地里存在各种障碍物，如果不能将障碍物检测出来，会发生严重事故，造成人员伤亡或经济损失，因此需要对农田里面的障碍物进行有效的检测。但是对于农田里面的障碍物的识别有其特定的难点和挑战。一方面，农作物与障碍物往往在颜色和纹理等方面存在相似性，从而在障碍物的检测准确度上带来了很高的挑战；另一方面，田间的各种物体，包括农作物和田地的颜色和纹理也会随着季节变化而变化；这样更加增大了对障碍物检测的难度。现有的一种农田障碍物检测方法为：首先通过田间导航图像采集设备采集农田图像，然后将农田图像进行去噪灰度化、小波变换、最大类间方差分割等操作，最后得到图像投影曲线，根据曲线的跳变点来判断农田中的障碍物。该方法基于传统的图像识别方法，通过小波变换和相应的分割算法(比如OTSU)对物体进行分离，这种方法需要依赖农作物和障碍物在颜色和频率两方面的差异来进行检测，一旦两者在颜色或者频率方面相似度过高，则对障碍物的检测方法会失效。还有一种对农田障碍物的检测方法，该方法仅依靠频率信息完成障碍物的检测，当障碍物和作物产生的频率相近时，不容易检测到障碍物，检测效果不佳。另外的一种农田障碍物检测方法，这种方法是：基于频率差异先对农田图像进行分割，再基于颜色信息进行障碍物、农田作物进行分离，这种方法会提升障碍物的检出率，但是在对障碍物基于频率信息的分割阶段，多变的背景频率成了最大干扰，会导致一部分障碍物因干扰过多发生漏检。因此，现有技术中这些障碍物检测方法存在以下问题：1、背景误识别：上述的检测方法需要依赖农作物和障碍物在颜色和/或频率上的差异来进行检测，当两者在颜色或者频率方面相似度过高时，就不容易检测出障碍物，因此背景成为极大的干扰，造成背景误识别。2、缺失检出的物体位置和距离信息：上述的检测方法仅仅对物体进行简单的识别，未给出具体的物体位置和距离信息，不能够有效地发现障碍物，做出准确的判断。
技术实现思路
本专利技术的目的就是为了解决上述现有技术中存在的问题，提出一种减少背景误识别并能准确获得物体的位置和距离信息的障碍物检测方法和系统。为了克服现有技术的不足，本专利技术通过双目视觉采集器获取包含农田作物和障碍物的带有深度(距离)信息的图像点云，然后使用深度卷积神经网络对采集到的图像进行离线训练和在线推理，根据获取到的图像信息将识别到物体的位置信息和物体相对于车辆的距离信息输出，从而有效地对农田障碍物进行检测，进而还可根据设定的危险区域发出报警。为了达到上述目的，本专利技术采用的技术方案为：一种用于农机自动驾驶的障碍物检测方法，包括以下步骤：步骤1，利用双目视觉采集器获取带有距离信息的图像数据；步骤2，把所述图像数据输入到深度卷积神经网络中，所述深度卷积神经网络把图像数据分割成多个子图像，对每个子图像进行处理，预测每个子图像中可能包含的物体块信息和物体块的类别信息，并根据所述物体块信息和类别信息计算被预测物体的可信度分值，将该可信度分值与预定阈值比较来判断所述预测物体是否为可信的识别物体；步骤3，确定可信的识别物体的位置坐标和距离信息并输出。进一步的，还包括以下步骤：步骤4，根据所述步骤3输出的物体的位置坐标和距离信息，判断所述物体是否处于危险区域内并发出报警信号。进一步的，所述物体块信息包括被预测物体的中心在该子图像中的相对坐标、被预测物体的宽度和高度、以及所述物体块的可信度。进一步的，所述类别信息为所述物体块属于特定类别的条件概率。进一步的，所述深度卷积神经网络包括多个卷积层和多个最大池化层，其中卷积层的激活函数包括泄漏修正线性函数。进一步的，所述物体的位置坐标包括物体的最左边点的坐标和最右边点的坐标。进一步的，根据车辆尺寸确定所述危险区域的左右边界和前向长度。一种用于农机自动驾驶的障碍物检测系统，包括：图像数据获取模块，用于利用双目视觉采集器获取带有距离信息的图像数据；识别模块，用于把所述图像数据输入到深度卷积神经网络中，所述深度卷积神经网络把图像数据分割成多个子图像，对每个子图像进行处理，预测每个子图像中可能包含的物体块信息和物体块的类别信息，并根据所述物体块信息和类别信息计算被预测物体的可信度分值，将该可信度分值与预定阈值比较来判断所述预测物体是否为可信的识别物体；输出模块，用于确定可信的识别物体的位置坐标和距离信息并输出。进一步的，还包括报警模块，用于根据所述物体的位置坐标和距离信息，判断所述物体是否处于危险区域内并发出报警信号。进一步的，所述物体的位置坐标包括物体的最左边点的坐标和最右边点的坐标。本专利技术的有益效果是：1、显著提升了障碍物的检出率：本专利技术通过双目视觉采集器，获取到包含农作物和障碍物的带有深度信息的图像点云，并使用深度卷积神经网络对采集到的图像进行离线训练和在线推理，从而显著提升了障碍物的检出率。2、弥补了物体的位置和距离信息的缺失：在现有技术中，对于检测出的障碍物不能提供位置和距离信息，导致后续的碰撞预警模块不能够有效地进行分析判断，做出合理的预警。本专利技术利用双目视觉采集器，获取每个像素点的位置和深度信息，然后关联到每个被识别的物体上，输出物体的位置和距离信息，进而能够进行有效的障碍物碰撞预警。3、对未知物体的检测：本专利技术采用基于全局图像信息的深度卷积神经网络算法，能够很好的识别出来不在训练数据中的物体，即使不能够给出具体的分类信息，也能够准确地识别出物体，并且给出物体的位置和距离信息，从而能够进行有效的障碍物碰撞预警。4、减少背景误识别：本专利技术采用的深度卷积神经网络算法基于全局图像信息进行推理，能够有效地编码物体类别的上下文信息，和其他基于滑动窗口(DPM)或者区域(R-CNN)的深度神经网络算法相比，可以大大地减少背景误识别的发生。5、运行速度快：现有技术中通常是先对物体进行识别，然后再对识别的物体分类，即通过前后两个步骤来实现，而本专利技术是同时进行物体的识别和分类，所以其运行速度很快，达到单帧25-50毫秒，也就是每秒最多可以预测40帧的图像，远远能够满足在农田这种低速作业场景情况下的需求。6、减少传感器、安装方便、信息采集精度高：本专利技术利用双目视觉采集器对物体信息进行采集，避免了采购重复的传感器，从而降低了成本，同时其安装过程也较为方便；并且采集的物体信息精度高，能够满足农机作业场景的需要。附图说明下面结合附图和具体实施方式对本专利技术作进一步详细的说明。图1是本专利技术一种用于农机自动驾驶的障碍物检测方法的一个实施例的流程图；图2是本专利技术一种用于农机自动驾驶的障碍物检测方法的另一个实施例的流程图；图3是本专利技术一种用于农机自动驾驶的障碍物检测系统的一个实施例的结构示意图；图4是本专利技术一种用于农机自动驾驶的障碍物检测系统的另一个实施例的结构示意图；图5为本专利技术的一个实施例中的深度卷积神经网络的架构示意图；图6为本专利技术的一个实施例的车辆采集图像示意图；图7为本专利技术的一个实施例的图像采集的坐标示意图；图8为本专利技术的一个实施例的图像分割示意图；图9a为本专利技术的一个实施例障碍物在危险区域里面的场景示意图；图9b为本专利技术的另一个实施例障碍物不在危险区域内的场景本文档来自技高网...

【技术保护点】
1.一种用于农机自动驾驶的障碍物检测方法，其特征在于，包括以下步骤：步骤1，利用双目视觉采集器获取带有距离信息的图像数据；步骤2，把所述图像数据输入到深度卷积神经网络中，所述深度卷积神经网络把图像数据分割成多个子图像，对每个子图像进行处理，预测每个子图像中可能包含的物体块信息和物体块的类别信息，并根据所述物体块信息和类别信息计算被预测物体的可信度分值，将该可信度分值与预定阈值比较来判断所述预测物体是否为可信的识别物体；步骤3，确定可信的识别物体的位置坐标和距离信息并输出。

【技术特征摘要】
1.一种用于农机自动驾驶的障碍物检测方法，其特征在于，包括以下步骤：步骤1，利用双目视觉采集器获取带有距离信息的图像数据；步骤2，把所述图像数据输入到深度卷积神经网络中，所述深度卷积神经网络把图像数据分割成多个子图像，对每个子图像进行处理，预测每个子图像中可能包含的物体块信息和物体块的类别信息，并根据所述物体块信息和类别信息计算被预测物体的可信度分值，将该可信度分值与预定阈值比较来判断所述预测物体是否为可信的识别物体；步骤3，确定可信的识别物体的位置坐标和距离信息并输出。2.根据权利要求1所述的障碍物检测方法，其特征在于，还包括以下步骤：步骤4，根据所述步骤3输出的物体的位置坐标和距离信息，判断所述物体是否处于危险区域内并发出报警信号。3.根据权利要求1所述的障碍物检测方法，其特征在于，所述物体块信息包括被预测物体的中心在该子图像中的相对坐标、被预测物体的宽度和高度、以及所述物体块的可信度。4.根据权利要求1所述的障碍物检测方法，其特征在于，所述类别信息为所述物体块属于特定类别的条件概率。5.根据权利要求1所述的障碍物检测方法，其特征在于：所述深度卷积神经网络包括多个卷积层和多个最大池化层，其中卷...

【专利技术属性】
技术研发人员：江頔，刘万千，郑皓，邢千里，韩坪良，郑汉彬，杨文，
申请(专利权)人：西安智加科技有限公司，
类型：发明
国别省市：陕西,61