一种基于图神经网络的鉴别车辆是否压线的方法技术

本发明专利技术公开了一种基于图神经网络的鉴别车辆是否压线的方法，采集大量各种交通场景下各种角度拍摄的图像，对其进行车辆和车道线实线，以及压线情况标注；基于图像与标注结果训练图像实例分割算法和图神经网络算法；采用训练后的图像实例分割算法和深度学习中的图神经网络算法鉴别车辆是否压线，其中，图像实例分割算法用于车辆和车道线实线的检测识别，图神经网络输出车辆压线的概率，当车辆压线的概率超过预设阈值时，输出压线的车辆节点和车道线节点。本发明专利技术可提升压线检测的准确率，鲁棒性高，避免了传统基于坐标点根据不同场景设定规则的判定方式，更加智能化。更加智能化。更加智能化。

【技术实现步骤摘要】
一种基于图神经网络的鉴别车辆是否压线的方法


[0001]本专利技术属于车辆压线检测
，具体涉及一种基于图神经网络的鉴别车辆是否压线的方法。

技术介绍

[0002]目前，判断车辆压线行为的主流依据是图像和视频，人工从海量视频中定位出车辆是否压线的工作十分费时费力。所以目前解决从海量视频中定位出车辆压线问题，往往采用计算机视觉的技术进行车辆压线事件的检测。现有的使用计算机视觉技术进行车辆压线事件的检测的方案有：
[0003]方案1：通过对图像中车辆关键点(如车胎点、前后大灯点等)和车道线的自动检测，算法可明确车辆底盘和车道线的位置关系，从而可判断车辆是否压线。如公开号为CN111402329A专利技术专利，再如公开号为CN113962249A的专利技术专利。
[0004]方案2：通过固定拍摄设备位置、固定图像中车道线位置，算法可对车辆进行语义分割，再通过估计拟合的方式，根据车辆的语义分割结果拟合得到车辆底盘位置。最后，将估计出的车辆底盘位置和预设的车道线位置进行计算得到是否压线。如公开号为CN111814765A的专利技术专利。
[0005]上述方案存在以下问题：
[0006]问题1：方案1中，公开号为CN111402329A的专利技术专利通过车胎车轮的轮廓纹理信息来定位车辆的车轮关键点，进而确定车辆底盘位置，此方法属于传统图像处理方法，受光线、拍摄角度、障碍物遮挡、车辆贴近、车型的影响较大，故会对最终的压线检测结果产生较大误差。公开号为CN113962249A的专利技术专利虽使用大量关键点图像数据进行车胎点、前后大灯点等关键点的神经网络的学习、预测，但此方案在处理车辆贴近时车辆区域中存在部门其他车辆关键点时，未明确多个车辆的各关键点的从属关系，易造成在一个车辆区域检测出来的关键点信息属于多个车辆，从而导致检测压线的误差。
[0007]问题2：方案2中，虽通过语义分割定位出图像中的车辆位置、大小，但语义分割的方法会导致不同车辆的分割结果相连通，无法分辨出具体压线车辆，另外使用语义分割结果进行车辆底盘的算数估计易受到车型、车流量的影响，且固定拍摄设备和固定车道线的方式易受到震动、视频质量波动的影响，都会导致检测压线的误差，同时该方法在拍摄设备角度出现变化时不再适用，鲁棒性较低。
[0008]问题3：方案1、方案2中，车道线的检测识别和车辆的检测识别都为两条独立的工作流，车道线和车辆的图像语义上下文关系未通过模型捕捉到，此问题会导致在车辆遮挡住车道线时，车道线检测出现错误。
[0009]问题4：方案1、方案2中，车道线和车辆是否压线的确定仅靠坐标点之间人工设定的规则，规则的制定在不同的场景不通用，要根据不同的场景或摄像头摄像角度对规则参数进行人为调整。这样的判定方法不够智能。

技术实现思路

[0010]本专利技术所要解决的技术问题是针对上述现有技术的不足，提供一种基于图神经网络的鉴别车辆是否压线的方法，采用定制化数据标注和定制化算法鉴别车辆是否压线，其中，定制化的算法指的是定制化的图神经网络和分割网络融合的端到端算法。本专利技术能够通过学习大量的定制化标注数据，分割出图像中的每一个车辆和每一个实线车道线实例，并通过图神经网络预测出每一个车辆和每一个车道线的两两关系(压线或者不压线)。由此，可避免由于通过关键点估计的误差导致压线检测失败的情况，以及传统算法中对于环境影响因素导致的压线检测鲁棒性不够的问题。同时，利用图神经网络的输出概率结果来判定是否压线，避免了传统基于坐标点规则的判定方式，更加智能化。此外，由于本算法为图神经网络和分割网络融合的端到端算法，图神经网络部分的优化过程会帮助分割网络更加精准得学习到车辆和车道线的上下文语义关系，对分割网络有性能提升的帮助。
[0011]为实现上述技术目的，本专利技术采取的技术方案为：
[0012]一种基于图神经网络的鉴别车辆是否压线的方法，包括：
[0013]步骤一、采集大量各种交通场景下各种角度拍摄的图像，对其进行车辆和车道线实线，以及压线情况标注；
[0014]步骤二、基于步骤一的图像与标注结果训练图像实例分割算法和图神经网络算法；
[0015]步骤三、采用训练后的图像实例分割算法和深度学习中的图神经网络算法鉴别车辆是否压线，其中，图像实例分割算法用于车辆和车道线实线的检测识别，图神经网络输出车辆压线的概率，当车辆压线的概率超过预设阈值时，输出压线的车辆节点和车道线节点。
[0016]为优化上述技术方案，采取的具体措施还包括：
[0017]上述的步骤一包括：
[0018]S1、收集大量各种交通场景下各种角度拍摄的图像，所述交通场景包括高速、隧道、高架、国道、省道、县道、城市道路场景；
[0019]S2、对S1中收集的图像进行每一个可见的车辆和每一条可见的车道线实线的标注，并标注出每一个被标注车辆和每一条被标注车道线实线之间的两两压线关系；
[0020]S3、将S2中标注结果与其对应的图像以固定格式存储，以用作后续算法的训练。
[0021]3.根据权利要求1所述的一种基于图神经网络的鉴别车辆是否压线的方法，其特征在于，所述步骤二包括：
[0022]S1、读取标注数据以及对应图像；
[0023]S2、将图像输入到实例分割算法模型的主干网络中，得到特征图；
[0024]S3、将特征图输入至目标检测分支进行车辆目标框以及车道线实线目标框的预测；
[0025]S4、分别计算出S3中车辆及车道线实线的目标框的预测结果与S1中读取的数据中的标注目标框之间的误差，记为L
obj
和L
cls
，以此分别表示预测框损失函数和预测框类别损失函数；
[0026]S5、将目标检测分支的输出的特征图输入至分割分支进行目标框中的车辆和车道的位置实例分割，得到目标框中的车辆和车道线的分割预测结果；
[0027]S6、计算出S5中车辆及车道线实线的实例分割预测结果与S1中读取的标注掩膜之
间的误差，记为L
mask
，表示实例分割预测结果损失函数；
[0028]S7、根据S1中的标注数据构建邻接矩阵其邻接矩阵的值代表着第i个车辆或车道线和第j个车辆或车道线之间的压线关系；
[0029]S8、将S1中标注车辆和车道线位置的掩膜对应在S2中特征图中的掩膜区域内的所有特征向量进行聚合，得到特征向量矩阵E，含N
car
+N
line
个特征向量E
i
，E
i
为车辆和车道线压线预测图中的节点；
[0030]S9、将S8中N
car
+N
line
个特征向量输入至图神经网络F(θ,E)，表示此图神经网络的参数为θ，输入为在S8中得到的特征向量矩阵E，图神经网络输出结果记为E
out
；
[0031]S10、将S9中得到的图神经网络的输出结果进行转置，得到
[0032]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图神经网络的鉴别车辆是否压线的方法，其特征在于，包括：步骤一、采集大量各种交通场景下各种角度拍摄的图像，对其进行车辆和车道线实线，以及压线情况标注；步骤二、基于步骤一的图像与标注结果训练图像实例分割算法和图神经网络算法；步骤三、采用训练后的图像实例分割算法和深度学习中的图神经网络算法鉴别车辆是否压线，其中，图像实例分割算法用于车辆和车道线实线的检测识别，图神经网络输出车辆压线的概率，当车辆压线的概率超过预设阈值时，输出压线的车辆节点和车道线节点。2.根据权利要求1所述的一种基于图神经网络的鉴别车辆是否压线的方法，其特征在于，所述步骤一包括：S1、收集大量各种交通场景下各种角度拍摄的图像，所述交通场景包括高速、隧道、高架、国道、省道、县道、城市道路场景；S2、对S1中收集的图像进行每一个可见的车辆和每一条可见的车道线实线的标注，并标注出每一个被标注车辆和每一条被标注车道线实线之间的两两压线关系；S3、将S2中标注结果与其对应的图像以固定格式存储，以用作后续算法的训练。3.根据权利要求1所述的一种基于图神经网络的鉴别车辆是否压线的方法，其特征在于，所述步骤二包括：S1、读取标注数据以及对应图像；S2、将图像输入到实例分割算法模型的主干网络中，得到特征图；S3、将特征图输入至目标检测分支进行车辆目标框以及车道线实线目标框的预测；S4、分别计算出S3中车辆及车道线实线的目标框的预测结果与S1中读取的数据中的标注目标框之间的误差，记为L
obj
和L
cls
，以此分别表示预测框损失函数和预测框类别损失函数；S5、将目标检测分支的输出的特征图输入至分割分支进行目标框中的车辆和车道的位置实例分割，得到目标框中的车辆和车道线的分割预测结果；S6、计算出S5中车辆及车道线实线的实例分割预测结果与S1中读取的标注掩膜之间的误差，记为L
mask
，表示实例分割预测结果损失函数；S7、根据S1中的标注数据构建邻接矩阵其邻接矩阵的值代表着第i个车辆或车道线和第j个车辆或车道线之间的压线关系；S8、将S1中标注车辆和车道线位置的掩膜对应在S2中特征图中的掩膜区域内的所有特征向量进行聚合，得到特征向量矩阵E，含N
car
+N
line
个特征向量E
i
，E
i
为车辆和车道线压线预测图中的节点；S9、将S8中N
car
+N
line
个特征向量输入至图神经网络F(θ,E)，表示此图神经网络的参数为θ，输入为在S8中得到的特征向量矩阵E，图神经网络输出结果记为E
out
；S10、将S9中得到的图神经网络的输出结果进行转置，得到S11、将S9中的E
out
和S10中的进行矩阵相乘：得到车辆和车道线压线预测图的邻接矩阵
S12、计算S11中预测邻接矩阵和S7中的邻接矩阵计算损失函数，记为L
graph
；S13、计算总损失函数L
total
＝L
graph
+L
mask
+L
obj
+L
cls
，以总损失函数L

【专利技术属性】
技术研发人员：叶文武，
申请(专利权)人：中电鸿信信息科技有限公司，
类型：发明
国别省市：