一种融合视觉注意力机制的智能车辆环境感知方法技术

本发明专利技术公开了一种融合视觉注意力机制的智能车辆环境感知方法，包括以下步骤：将处理后的视差图和灰度图输入到权重共享的孪生卷积神经网络中，提取灰度特征即G特征和深度特征即D特征；利用归一化算法对D特征和车辆转角信号进行归一化，生成与深度和车辆转角有关的注意力分配权重W；采用Hadamard乘积方式进行融合，生成视觉注意力特征A；将压缩后的视觉注意力特征A输入到回归预测网络中进行回归预测，得到目标的位置以及类别。本发明专利技术引入视觉注意力机制，有助于减少图像中无关区域对计算资源的占用，且对注意力集中的区域具有更高的检测精确度。本发明专利技术可降低交通场景的复杂性，减少无关区域占用的计算资源，提高目标检测的实时性。

An environment perception method of intelligent vehicle based on visual attention mechanism

【技术实现步骤摘要】
一种融合视觉注意力机制的智能车辆环境感知方法
本专利技术涉及智能车辆的环境感知领域，尤其涉及一种基于计算机视觉的智能车辆环境感知方法。
技术介绍
随着汽车自动驾驶技术与智能网联技术的发展，智能车辆成为当下的研究热点，而智能车辆的环境感知技术是智能车辆领域最具有挑战性的技术问题，如何实时准确的识别车辆周围的障碍物信息是汽车自动驾驶的前提。目前，在计算机视觉领域，基于深度学习的目标检测算法是主流的环境感知方法，其被定义为：通过深度学习模拟人类的视觉感知过程，对视觉传感器所获取的图像进行处理，从输入的图像中，识别目标的位置及类别并对其进行标记。虽然深度学习算法可以获得较高的识别准确率，但其识别速度远不能满足低成本要求下自动驾驶的实时性要求，而且在背景复杂的情况下，识别精确度也会明显下降。其中，影响深度学习速度的一个重要因素是：在计算机对图像进行感知时，会无差别遍历图像中的每一个区域，对其进行特征提取和分类识别；而人类在对眼睛获取的图像进行感知时，会把注意力集中在关键的物体或区域，而自动忽视一些无关区域，这显著提高了图像处理的速度，并且在注意力集中的区域，识别精确度也能够得到相应提高。基于上述分析，如果结合人类驾驶员的注意力特性，对基于深度学习的目标检测算法进行优化，能够有效提高算法速度，并改善注意力集中区域目标识别的精确度。一般而言，人类驾驶员在驾驶汽车时，注意力主要集中在一定距离之内的区域，而随着距离的增加，人类所分配的注意力也逐渐减小；当车辆右转时，注意力的主要集中在视野左侧区域，对左侧的车辆以及障碍物有更高的关注度，当车辆左转时，注意力主要集中在视野的右侧区域，这种有目的性的关注一些重点区域，放弃无关区域的方式，减少了人类在行车时的反应时间，且提高了行车安全性。
技术实现思路
为了解决上述的技术问题，本专利技术要提出一种兼顾精确度和实时性的融合视觉注意力机制的智能车辆环境感知方法。为了实现上述目的，本专利技术的技术方案如下：一种融合视觉注意力机制的智能车辆环境感知方法，包括以下步骤：A：图像预处理，对双目立体视觉系统输出的RGB图进行灰度化处理，生成灰度图，利用V视差算法对视差图进行处理，提取视差图中的地面区域，并把超过车辆一定高度的区域设定为非感兴趣区域，将视差图中的地面和非感兴趣区域滤除。B：将处理后的视差图和灰度图输入到权重共享的孪生卷积神经网络中，提取灰度特征即G特征和深度特征即D特征。C：利用归一化算法对D特征和车辆转角信号进行归一化，生成与深度和车辆转角有关的权重分布特征，即注意力分配权重W，其分配的规则为：视差值越大，代表距离越近，则权重越大，分配的注意力越大；视差值越小，代表距离越远，则权重越小，分配的注意力越小；且当视差值小于阈值T时，则权重置为0。当车辆转向传感器获得正转向角时，即车辆向右转向，D特征的特征图左侧分配较高权重，且车辆转角越大，分配权重越高，右侧分配较低的权重，且右侧区域权重自左向右，逐渐降低；当转向角为负时，即车辆向左转向，D特征的特征图右侧分配较高的权重，且车辆转角越大，分配权重越高，左侧分配较低权重，且左侧区域权重自右向左，逐渐降低。生成注意力分配权重的过程，归纳成如下公式：式中，Di,j为第i行第j列所对应像素点的视差值；Dmax和Dmin分别为视差图上最大视差值和最小视差值；θ为车辆转角；H为图像的宽度。D：基于步骤B和C所生成的灰度特征和注意力分配权重W采用Hadamard乘积方式进行融合，对灰度特征进行加权，生成具有视觉注意力分配的特征，即视觉注意力特征A。通过Hadamard乘积融合，注意力分配权重图上权重为0的像素所对应的视觉注意力特征图上的像素值也为0，权重为0的特征为无关特征。视觉注意力特征A融合的公式如下：A＝W⊙G式中，⊙为Hadamard乘积运算符。E：将视觉注意力特征A输入到稀疏压缩模块，稀疏压缩模块将输入的特征图中稀疏度较低的行或列滤除，减小无关特征的比重。将压缩后的视觉注意力特征A输入到回归预测网络中进行回归预测，得到目标的位置以及类别。与现有的技术相比，本专利技术的效果和益处是：1、本专利技术将视觉注意力机制嵌入到深度学习模型中，基于注意力模型对深度网络所提取的特征进行权重分配，回归预测目标的位置及类别；视觉注意力机制的引入有助于减少图像中无关区域对计算资源的占用，且对注意力集中的区域具有更高的检测精确度。2、本专利技术通过对深度特征和车辆转角信号进行归一化处理，获取注意力分配权重，可降低交通场景的复杂性，减少无关区域占用的计算资源，提高目标检测的实时性。3、本专利技术通过对深度特征和车辆转角信号进行归一化处理，获取注意力分配权重，对图像进行有侧重的处理，注意力集中的区域获得更高的检测精确度。附图说明图1是本专利技术的流程图。具体实施方式下面结合附图对本专利技术进行进一步的描述。如图1所示，一种融合视觉注意力机制的智能车辆环境感知方法，包括以下步骤：A：从双目立体视觉系统中获取的RGB图经灰度处理，生成灰度图，利用V视差算法对双目立体视觉系统输出的视差图进行处理，提取视差图中的地面区域，并把超过车辆一定高度的区域设定为非感兴趣区域，将视差图中的地面和非感兴趣区域滤除，V视差处理后的视差图为图1中的D_image。B：将灰度图和视差图输入到权重共享的孪生卷积神经网络，提取灰度特征即G特征和深度特征即D特征，在本实施例中，采用重新训练的两个卷积神经网络VGGNet作为孪生卷积神经网络，用于提取G特征的网络为VGGNet-1，用于提取D特征的网络为VGGNet-2。C：利用归一化算法对D特征和车辆转角信号进行归一化，生成与深度和车辆转角有关的权重分布特征，即注意力分配权重W，其分配的规则为：视差值越大，代表距离越近，则权重越大，分配的注意力越大；视差值越小，代表距离越远，则权重越小，分配的注意力越小；且当视差值小于阈值T时，则权重置为0,在本实施例中，阈值T选择为3。当车辆转向传感器获得正转向角时，即车辆向右转向，D特征的特征图左侧分配较高权重，且车辆转角越大，分配权重越高，右侧分配较低的权重，且右侧区域权重自左向右，逐渐降低；当转向角为负时，即车辆向左转向，D特征的特征图右侧特征分配较高的权重，且车辆转角越大，分配权重越高，左侧特征分配较低权重，且左侧区域权重自右向左，逐渐降低。生成注意力分配权重的过程，归纳成如下公式：式中，Di,j为第i行第j列所对应像素点的视差值；Dmax和Dmin分别为视差图上最大视差值和最小视差值；θ为车辆转角；H为图像的宽度。D：基于步骤B和C所生成的灰度特征和注意力分配权重W采用Hadamard乘积方式进行融合，对灰度特征进行加权，生成具有视觉注意力分配的特征，即视觉注意力特征A。通过Hadamard乘积融合，注意力分配权重图上为0的像素所对应的视觉注意力特征图上的像素值也为0，权重为0的特征为无关特征。特征融合的公式如下：<本文档来自技高网...

【技术保护点】
1.一种融合视觉注意力机制的智能车辆环境感知方法，其特征在于：包括以下步骤：/nA：图像预处理，对双目立体视觉系统输出的RGB图进行灰度化处理，生成灰度图，利用V视差算法对视差图进行处理，提取视差图中的地面区域，并把超过车辆一定高度的区域设定为非感兴趣区域，将视差图中的地面和非感兴趣区域滤除；/nB：将处理后的视差图和灰度图输入到权重共享的孪生卷积神经网络中，提取灰度特征即G特征和深度特征即D特征；/nC：利用归一化算法对D特征和车辆转角信号进行归一化，生成与深度和车辆转角有关的权重分布特征，即注意力分配权重W，其分配的规则为：视差值越大，代表距离越近，则权重越大，分配的注意力越大；视差值越小，代表距离越远，则权重越小，分配的注意力越小；且当视差值小于阈值T时，则权重置为0；当车辆转向传感器获得正转向角时，即车辆向右转向，D特征的特征图左侧分配较高权重，且车辆转角越大，分配权重越高，右侧分配较低的权重，且右侧区域权重自左向右，逐渐降低；当转向角为负时，即车辆向左转向，D特征的特征图右侧分配较高的权重，且车辆转角越大，分配权重越高，左侧分配较低权重，且左侧区域权重自右向左，逐渐降低；/n生成注意力分配权重的过程，归纳成如下公式：/n...

【技术特征摘要】
1.一种融合视觉注意力机制的智能车辆环境感知方法，其特征在于：包括以下步骤：
A：图像预处理，对双目立体视觉系统输出的RGB图进行灰度化处理，生成灰度图，利用V视差算法对视差图进行处理，提取视差图中的地面区域，并把超过车辆一定高度的区域设定为非感兴趣区域，将视差图中的地面和非感兴趣区域滤除；
B：将处理后的视差图和灰度图输入到权重共享的孪生卷积神经网络中，提取灰度特征即G特征和深度特征即D特征；
C：利用归一化算法对D特征和车辆转角信号进行归一化，生成与深度和车辆转角有关的权重分布特征，即注意力分配权重W，其分配的规则为：视差值越大，代表距离越近，则权重越大，分配的注意力越大；视差值越小，代表距离越远，则权重越小，分配的注意力越小；且当视差值小于阈值T时，则权重置为0；当车辆转向传感器获得正转向角时，即车辆向右转向，D特征的特征图左侧分配较高权重，且车辆转角越大，分配权重越高，右侧分配较低的权重，且右侧区域权重自左向右，逐渐降低；当转向角为负时，即车辆向左转向，D特征的特征图右侧分...

【专利技术属性】
技术研发人员：连静，王政皓，李琳辉，周雅夫，尹昱航，李磊，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21