基于四元数时空卷积神经网络的斑马线检测方法及系统技术方案

本发明专利技术涉及基于四元数时空卷积神经网络的斑马线检测方法及系统，其方法包括，将包含多种斑马线姿态的多组图像序列表示为四元数形式，并划分为训练样本和检测样本；将训练样本输入至预先构建的四元数时空卷积神经网络中进行训练，得到训练好的四元数时空卷积神经网络；将检测样本输入至训练好的四元数时空卷积神经网络中进行检测，得到检测结果；本发明专利技术将交通场景图像序列直接作为网络输入，在空间卷积层将R、G、B三个通道作为一个整体进行卷积操作，即保证不同通道间的相互联系，并可在时间卷积层提取连续帧间目标的动态信息，使得提取的特征信息更加丰富，检测的准确率更高。检测的准确率更高。检测的准确率更高。

【技术实现步骤摘要】
基于四元数时空卷积神经网络的斑马线检测方法及系统


[0001]本专利技术涉及计算机视觉领域，具体涉及一种基于四元数时空卷积神经网络的斑马线检测方法及系统。

技术介绍

[0002]复杂交通场景中的斑马线实时检测问题主要针对城市中车辆的安全驾驶以及行人交通安全问题而产生，属于人工智能和机器视觉等多学科交叉的研究问题，在城市智能交通和智能导航系统中有着非常重要的社会安全意义和实际应用价值。实际的城市交通场景中，由于交通的参与者众多且情况复杂，复杂路口的斑马线会受传感器成像视角的影响产生几何形变，同时也会由于行人和车辆的影响出现不同程度的遮挡，还会由于不同的天气和光照条件使得图像质量受损。在实际交通场景中，斑马线实时检测是一个复杂的动态过程，不仅需要提取到包含视频中单帧图像的视觉信息和空间特征，还需要包含多帧之间的时间特征。如何有效提取视频中斑马线区域的特征信息，并对其实现准确地检测是辅助车辆安全驾驶和行人安全的重要问题。
[0003]现有斑马线检测方法主要分为两类：基于人工特征提取和分类器的斑马线检测方法和基于深度卷积网络的斑马线检测方法。基于人工特征提取的斑马线检测方法的步骤为特征提取、特征信息表达和目标分类，其中视觉特征包含颜色、梯度直方图、线特征等，分类器可使用SVM或者级联分类器等。然而，复杂场景交通图像序列中，目标的几何特征提取难度增大，且受光照或者天气条件影响很大，计算复杂度高。基于深度卷积网络框架的斑马线检测方法是通过逐层参数训练的方式自动提取原始图像中的特征，从而获得能够区分不同条件下的抽象特征表达，是目标检测和识别领域中应用最广泛、最有效的深度学习算法之一。目前的卷积神经网络模型主要针对灰度图像序列或RGB颜色三通道分别处理的，未考虑到三通道之间的相关性和整体性，破坏了场景图像的颜色特征，影响检测方法在实际交通环境中的准确性和鲁棒性。

技术实现思路

[0004]本专利技术所要解决的技术问题是提供一种基于四元数时空卷积神经网络的斑马线检测方法及系统，将R、G、B三个颜色通道作为一个整体进行卷积操作，即保证不同通道间的相互联系，并可在时间卷积层提取连续帧间目标的动态信息，使得提取的特征信息更加丰富，检测的准确率更高。
[0005]本专利技术解决上述技术问题的技术方案如下：基于四元数时空卷积神经网络的斑马线检测方法，包括以下步骤，
[0006]S1，将包含多种斑马线姿态的多组图像序列表示为四元数形式，并将所有图像序列划分为训练样本和检测样本；
[0007]S2，将四元数形式的训练样本输入至预先构建的四元数时空卷积神经网络中，利用四元数形式的训练样本对预先构建的四元数时空卷积神经网络进行训练，得到训练好的
四元数时空卷积神经网络；
[0008]S3，将四元数形式的检测样本输入至训练好的四元数时空卷积神经网络中，利用训练好的四元数时空卷积神经网络对四元数形式的检测样本进行检测，得到检测结果；
[0009]其中，训练好的四元数时空卷积神经网络对四元数形式的检测样本进行检测的过程中，将三个颜色通道作为一个整体对四元数形式的检测样本进行空间卷积操作后，基于时间卷积分别提取三个颜色通道的连续帧间目标的动态信息。
[0010]基于上述一种基于四元数时空卷积神经网络的斑马线检测方法，本专利技术还提供一种基于四元数时空卷积神经网络的斑马线检测系统。
[0011]基于四元数时空卷积神经网络的斑马线检测系统，包括以下模块，
[0012]样本制作模块，其用于将包含多种斑马线姿态的多组图像序列表示为四元数形式，并将所有图像序列划分为训练样本和检测样本；
[0013]网络训练模块，其用于将四元数形式的训练样本输入至预先构建的四元数时空卷积神经网络中，利用四元数形式的训练样本对预先构建的四元数时空卷积神经网络进行训练，得到训练好的四元数时空卷积神经网络；
[0014]检测模块，其用于将四元数形式的检测样本输入至训练好的四元数时空卷积神经网络中，利用训练好的四元数时空卷积神经网络对四元数形式的检测样本进行检测，得到检测结果；
[0015]其中，所述检测模块具体用于，将三个颜色通道作为一个整体对四元数形式的检测样本进行空间卷积操作后，基于时间卷积分别提取三个颜色通道的连续帧间目标的动态信息。
[0016]本专利技术的有益效果是：本专利技术一种基于四元数时空卷积神经网络的斑马线检测方法及系统将交通场景图像序列直接作为网络输入，在空间卷积层将R、G、B三个通道作为一个整体进行卷积操作，即保证不同通道间的相互联系，并可在时间卷积层提取连续帧间目标的动态信息，使得提取的特征信息更加丰富，检测的准确率更高；本专利技术可自动提取实时交通场景中图像序列的时空特征，并进行斑马线的实时检测，提高车辆驾驶的安全性，同时可对行人在复杂的城市交通网络中的安全性提供智能导航支持，避免发生潜在的交通事故。
附图说明
[0017]图1为本专利技术基于四元数时空卷积神经网络的斑马线检测方法的流程图；
[0018]图2四元数时空卷积神经网络的结构示意图；
[0019]图3为本专利技术基于四元数时空卷积神经网络的斑马线检测系统的结构框图。
具体实施方式
[0020]以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。
[0021]如图1所示，一种基于四元数时空卷积神经网络的斑马线检测方法，包括以下步骤，
[0022]S0，采集包含多种斑马线姿态的多组原始图像序列，并分别对每组原始图像序列
进行预处理，得到包含多种斑马线姿态的多组图像序列。
[0023]其中，原始图像序列为实时交通场景中的图像序列，对任一组原始图像序列进行预处理的具体步骤为，采用码本模型，以预设大小的检测窗口(例如a
×
d的检测窗口，a和d为常数)提取任一组原始图像序列中斑马线所在的感兴趣区域，并保存为区域图像；采用最近邻插值法将所述区域图像缩放至预设大小的像素(例如g
×
h的像素，g和h为常数)中并保存，得到对应组图像序列。
[0024]检测窗口的大小根据图像中感兴趣区域的大小进行选择，以在包括目标的条件下尽可能小的尺寸；为了减少网络训练参数，采用最近邻插值法缩放图像。
[0025]提取原始图像序列中斑马线所在的感兴趣区域的具体步骤为，采用背景建模的方法对原始图像序列进行图像处理，得到背景和前景分割的二值图像；计算所述二值图像中前景像素的中心点，并将前景像素的中心点作为所述检测窗口的中心点，在原始图像序列中提取出斑马线所在的感兴趣区域。
[0026]斑马线是具有鲜明区域特征的目标，在背景建模的过程中，区域亮度的定义为，
[0027][0028]其中，α和β均为可调阈值，可随不同的视频序列进行调整，可在网络训练中确定该参数的自适应值范围；x
t
是区域r
i
的像素，<r
i
,r
j
&am本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于四元数时空卷积神经网络的斑马线检测方法，其特征在于：包括以下步骤，S1，将包含多种斑马线姿态的多组图像序列表示为四元数形式，并将所有图像序列划分为训练样本和检测样本；S2，将四元数形式的训练样本输入至预先构建的四元数时空卷积神经网络中，利用四元数形式的训练样本对预先构建的四元数时空卷积神经网络进行训练，得到训练好的四元数时空卷积神经网络；S3，将四元数形式的检测样本输入至训练好的四元数时空卷积神经网络中，利用训练好的四元数时空卷积神经网络对四元数形式的检测样本进行检测，得到检测结果；其中，训练好的四元数时空卷积神经网络对四元数形式的检测样本进行检测的过程中，将三个颜色通道作为一个整体对四元数形式的检测样本进行空间卷积操作后，基于时间卷积分别提取三个颜色通道的连续帧间目标的动态信息。2.根据权利要求1所述的基于四元数时空卷积神经网络的斑马线检测方法，其特征在于：在所述S1之前还包括如下步骤，S0，采集包含多种斑马线姿态的多组原始图像序列，并分别对每组原始图像序列进行预处理，得到包含多种斑马线姿态的多组图像序列；其中，对任一组原始图像序列进行预处理的具体步骤为，采用码本模型，以预设大小的检测窗口提取任一组原始图像序列中斑马线所在的感兴趣区域，并保存为区域图像；采用最近邻插值法将所述区域图像缩放至预设大小的像素中并保存，得到对应组图像序列。3.根据权利要求2所述的基于四元数时空卷积神经网络的斑马线检测方法，其特征在于：提取原始图像序列中斑马线所在的感兴趣区域的具体步骤为，采用背景建模的方法对原始图像序列进行图像处理，得到背景和前景分割的二值图像；计算所述二值图像中前景像素的中心点，并将前景像素的中心点作为所述检测窗口的中心点，在原始图像序列中提取出斑马线所在的感兴趣区域。4.根据权利要求3所述的基于四元数时空卷积神经网络的斑马线检测方法，其特征在于：在背景建模的过程中，区域亮度的定义为，其中，α和β均为可调阈值，x
t
是区域r
i
的像素，<r
i
,r
j
>为像素坐标，为像素平均最小值，为像素平均最大值，x
i
是区域r
i
的像素值；在四元数时空卷积神经网络中，颜色被定义为，其中，x
t
是区域r
i
的像素，R
i
、G
i
、B
i
分别是区域r
i
的R、G、B三个颜色通道的颜色值，
分别是区域r
i
的R、G、B三个颜色通道的颜色均值；当区域r
i
的像素x
t
满足区域亮度的定义时，则判定该像素x
t
属于背景，否则属于前景；以前景像素为中心的邻域都属于斑马线所在的感兴趣区域。5.根据权利要求1至4任一项所述的基于四元数时空卷积神经网络的斑马线检测方法，其特征在于：所述四元数时空卷积神经网络包括空间卷积层、时间卷积层、下采样层、全连接层、长短时记忆单元和分类器；所述空间卷积层、所述时间卷积层和所述下采样层依次层叠并循环多次后，依次连接所述全连接层、所述长短时记忆单元以及所述分类器；利用训练好的四元数时空卷积神经网络对四元数形式的检测样本进行实时检测的过程具体为，S31，所述空间卷积层将R、G、B三个颜色通道作为一个整体对四元数形式的检测样本进行空间卷积操作，得到第一特征图序列；S32，所述时间卷积层将所述第一特征图序列中的每个颜色通道分别进行时间卷积操作，以提取每个颜色通道的连续帧间目标的动态信息，得到第二特征图序列；S33，所述下采样层对所述第二特征图序列中的每个通道进行下采样操作，得到第三特征图序列；S34，基于所述第三特征图序列，循环执行S31
‑
S33多次，得到最终特征图序列；S35，所述全连接层将所述最终特征图序列中的每一个特征图都拉伸成一个特征向量，得到多个特征向量；S36，所述长短时记忆单元将所有所述特征向量输送至所述分类器；S37，所述分类器对所有所述特征向量进行检测，...

【专利技术属性】
技术研发人员：范玉华，孙忠贵，
申请(专利权)人：聊城大学，
类型：发明
国别省市：