一种基于卷积神经网络的自适应场景双目立体匹配方法组成比例

本发明专利技术公开了一种基于卷积神经网络的自适应场景双目立体匹配方法，包括：判断是否有已训练好的网络模型，如果已有训练好的网络模型，则直接加载网络模型参数，同时将检测出的目标车辆图像坐标作为所述网络模型的输入，然后通过前向传播算法预测距离数据；如果没有训练好的网络模型，则加载包含目标车辆图像坐标的训练样本，然后通过深度神经网络模型对样本进行训练，以计算网络模型参数并存储。本发明专利技术利用神经网络对图像分类的准确性，在不同场景下，自动适应当前环境，以学习得到更精确的亮度属性和纹理属性。通过学习得到的属性值作为特征融合的权重值，既可达到自动适应不同场景的目的，又能保证利用这些学习的到的属性值获取更准确的深度图。

An adaptive binocular stereo matching method based on convolutional neural network

【技术实现步骤摘要】
一种基于卷积神经网络的自适应场景双目立体匹配方法
本专利技术属于车联网领域，具体涉及一种基于卷积神经网络的自适应场景双目立体匹配方法。
技术介绍
伴随着汽车制造行业、集成电路行业的快速发展，汽车电子技术的不断提高，高级辅助驾驶系统应运而生。该项技术通过人工智能、图像识别等技术来完成障碍物的检测、测距，能够帮助司机准确判断汽车前方道路的状态，避免很多安全问题的发生。当前检测车辆前方障碍物的做法分成两大类：一是利用激光雷达、毫米波雷达等这类主动传感器，主要通过传感器获取前方障碍物的距离信息；二是利用摄像头这种被动传感器，通过对图像的分析和理解，从而获取障碍物的距离。基于摄像头的障碍物检测和测距的方法又分为单目视觉方法和双目视觉方法，双目视觉由人类的双眼原理衍生而得，有着天然的优势。双目视觉方法最关键的一步是立体匹配，严格来说，提高立体匹配准确度和实时性也就是提高双目视觉方法的准确度和实时性。当前得益于计算资源的发展，早期因立体匹配的计算量大而无法实时的问题现在得以解决。而目前亟需解决的问题是提高立体匹配算法在不同场景下的准确度和鲁棒性。基于视觉的环境感知技术中，处理对象的唯一输入源是一幅幅二维图像，根据成像原理可知，图像受光线强度值的影响非常大，而光线的强度值会受到天气、周围环境等影响，这种影响不仅会影响人眼的误判，更成为视觉感知技术中最严重的问题。现有的基于双目视觉做障碍物检测和测距技术最大的缺点是对真实环境的鲁棒性较差，这些双目视觉系统往往在某一场景或者某一数据集中有良好的性能，而真实环境一旦变化，系统性能往往也有较大波动。比如，有的双目视觉系统在室内环境性能良好，但到室外环境性能可能明显变差；甚至有的双目视觉系统在室外的不同场景下，性能都有很大的差别。这是双目视觉系统普及程度不够高的一大问题。基于多特征融合的多尺度立体匹配算法虽然能提高立体匹配在不同场景的鲁棒性，但是该算法最大的缺点是需要根据场景的亮度和纹理特征来手动调整特征融合的参数，而在真实应用环境中，双目立体匹配过程需要能自动适应环境，并调整特征融合的参数。
技术实现思路
本专利技术的目的是通过以下技术方案实现的。针对上述问题，本专利技术主要解决现有双目视觉立体匹配方法不能自动适应场景的问题。本专利技术可以为双目视觉应用提供更准确和更鲁棒的匹配算法，以使得双目视觉能在汽车辅助驾驶/无人驾驶、无人机、三维重建、虚拟/增强现实等领域得到更普遍的应用。根据本专利技术的一个方面，提出了一种基于卷积神经网络的自适应场景双目立体匹配方法，包括：判断是否有已训练好的深度神经网络模型，如果已有训练好的深度神经网络模型，则直接加载网络模型参数，同时将检测出的目标车辆图像坐标作为所述深度神经网络模型的输入，然后通过前向传播算法预测距离数据；如果没有训练好的深度神经网络模型，则加载包含目标车辆图像坐标的训练样本，然后通过深度神经网络模型对样本进行训练，以计算网络模型参数并存储。优选的，所述深度神经网络模型的输入数据是由双目摄像头输出并经校正后的左、右两幅图像。优选的，所述训练的过程为：所述左、右图像经过自适应场景检测算法获取图像的亮度特征和纹理特征的权重值；匹配代价聚合，并计算和优化视差图；利用摄像头的内、外参数将二维图像重投影到三维空间，根据三维空间的高度和深度信息检测出潜在障碍物。优选的，所述深度神经网络模型由两个子网络组成，每个子网络为卷积神经网络联结通用回归网络的结构，卷积神经网络占整个网络模型的2/3，余下1/3为通用回归网络。优选的，所述训练样本经过增强处理，包括：随机选取1/5的训练样本添加高斯噪声；随机选取1/5的训练样本，在每幅图像中随机丢弃一个随机大小的矩形区域；随机选取1/5的训练样本做像素平滑化；随机选取1/5的训练样本，将RGB像素空间转换到HSV空间，并向HSV空间中的每个像素添加或减少一个随机V值，然后将处理后的HSV空间转换到RGB空间。优选的，所述训练的损失优化采用Adam算法和随机梯度下降算法相结合的方式。优选的，所述训练使用动量学习率策略和学习率衰减策略。优选的，所述训练的批尺寸是64。优选的，基于L1、L2正则化方式以及随机丢弃方法来处理所述深度神经网络模型的过拟合状态。本专利技术的优点在于：利用神经网络对图像分类的准确性，在不同场景下，自动适应当前环境，以学习得到更精确的亮度属性和纹理属性。通过学习得到的属性值作为特征融合的权重值，既可达到自动适应不同场景的目的，又能保证利用这些学习的到的属性值获取更准确的深度图。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：附图1示出了根据本专利技术实施方式的立体匹配方法的数据流图；附图2示出了根据本专利技术实施方式的深度神经网络模型示意图；附图3示出了Adam算法与随机梯度下降算法在小样本集上的训练误差曲线示意图；附图4示出了本专利技术的损失优化流程图；附图5示出了小样本集上的不同学习率对误差的影响示意图；附图6示出了本专利技术动量梯度下降对比图(左侧无动量)；附图7示出了不同的拟合状态示意图；附图8示出了DropOut算法示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。深度神经网络是机器学习诸多算法中的一类。它的核心思想是将特征的提取过程加入训练的过程中，能够按照层级结构提取低阶到高阶的特征，将特征进行更好的表示，利用在分层架构中的不同的信息处理阶段建立多层次结构。深度学习的崛起，背后的支撑是硬件性能的大幅度提示以及大数据时代的样本量急剧增长。深度神经网络采用的训练过程为：(1)前向传播的特征提取与预测计算。利用多层结构进行特征提取，这些方式中的参数的数量非常多，保证特征提取的泛化性。(2)后向传播的参数调整计算。在进行正向传播后，会将得到的结果与实际结果进行误差计算，将得到的误差反向传播，对损失函数进行损失函数优化，调整特征提取的多层结构中的参数，保证误差能够进一步下降。本专利技术使用的深度神经网络技术是基于学习的算法，故算法在流程上分为训练与预测两部分，需要先进行训练，得出模型后进行预测。流程图一开始首先判断是否有已训练好的模型参数，如果已有训练好的网络模型，则直接加载网络模型参数，同时将检测出的目标车辆图像坐标作为预测网络的输入，然后通过前向传播算法预测距离数据。反之，如果尚未找到训练好的网络模型，则加载包含目标车辆图像坐标的训练样本，然后通过深度神经网络模型对样本本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的自适应场景双目立体匹配方法，其特征在于，包括：/n判断是否有已训练好的深度神经网络模型，如果已有训练好的深度神经网络模型，则直接加载网络模型参数，同时将检测出的目标车辆图像坐标作为所述深度神经网络模型的输入，然后通过前向传播算法预测距离数据；/n如果没有训练好的深度神经网络模型，则加载包含目标车辆图像坐标的训练样本，然后通过深度神经网络模型对样本进行训练，以计算网络模型参数并存储。/n

【技术特征摘要】
1.一种基于卷积神经网络的自适应场景双目立体匹配方法，其特征在于，包括：
判断是否有已训练好的深度神经网络模型，如果已有训练好的深度神经网络模型，则直接加载网络模型参数，同时将检测出的目标车辆图像坐标作为所述深度神经网络模型的输入，然后通过前向传播算法预测距离数据；
如果没有训练好的深度神经网络模型，则加载包含目标车辆图像坐标的训练样本，然后通过深度神经网络模型对样本进行训练，以计算网络模型参数并存储。


2.根据权利要求1所述的一种基于卷积神经网络的自适应场景双目立体匹配方法，其特征在于，
所述深度神经网络模型的输入数据是由双目摄像头输出并经校正后的左、右两幅图像。


3.根据权利要求2所述的一种基于卷积神经网络的自适应场景双目立体匹配方法，其特征在于，
所述训练的过程为：
所述左、右图像经过自适应场景检测算法获取图像的亮度特征和纹理特征的权重值；
匹配代价聚合，并计算和优化视差图；
利用摄像头的内、外参数将二维图像重投影到三维空间，根据三维空间的高度和深度信息检测出潜在障碍物。


4.根据权利要求1-3任意一项所述的一种基于卷积神经网络的自适应场景双目立体匹配方法，其特征在于，
所述深度神经网络模型由两个子网络组成，每个子网络为卷积神经网络联结通用回归网络的结构，卷积神经网络占整个网络模型的2/3，余下1/3为...

【专利技术属性】
技术研发人员：郭佳奇，常嘉义，李庆，梁艳菊，
申请(专利权)人：中科院微电子研究所昆山分所，
类型：发明
国别省市：江苏;32