一种路面标线缺损智能定位方法及系统技术方案

本发明专利技术提供一种路面标线缺损智能定位方法及系统，涉及计算机视觉图像目标检测技术领域，解决现有的目标检测算法在路面标线缺损检测定位上不准确的问题；本发明专利技术通过卷积神经网络构建模型时，以目标检测网络CenterNet为基线，在利用残差神经网络提取深层特征信息以后，在关键特征细化模块嵌入了自融合编码机制，自融合编码机制兼顾了图像特征信息的长距离关系建模、局部特征细节的深层提取和目标的空间位置信息编码，同时其更好的融合了网络模型深层的高语义信息和浅层的特征细节信息，弥补了卷积神经网络在全局建模上的不足。补了卷积神经网络在全局建模上的不足。补了卷积神经网络在全局建模上的不足。

【技术实现步骤摘要】
一种路面标线缺损智能定位方法及系统


[0001]本专利技术涉及计算机视觉图像目标检测
，具体涉及一种路面标线缺损智能定位方法及系统。

技术介绍

[0002]随着道路基础设施的不断完善，对高速公路、城市道路、农村道路的大规模运营维护和管理工作逐渐提上日程。路面标线作为道路交通资产的一个重要方面，也作为保证道路交通安全的重要标识物，其在车道引导、有序化交通等方面起到了举足轻重的作用。所以对路面标线进行定期的检测维护、保持路面标线的完整性是必不可少的工作内容。
[0003]常见的路面标线的毁坏类型主要表现为路面标线的缺失(已经失去原有的轮廓)以及路面标线的磨损(保持原有的轮廓，但颜色暗淡、磨损严重)。传统的人工检测方法耗时、费力、效率低下而且精度不高。所以，从事道路检测的众多学者开发了一系列基于传统检测算法的道路标线检测方法，包括图像阈值分割、滤波器、道路参数化建模等。但是，这些传统的检测模型只局限于特定的工作环境，受模型的超参数影响较大，导致模型泛化能力较差，而且没有举一反三的能力。所以传统的检测算法在路面标线缺损的定位上有很大的劣势，很难在实际工程中得到广泛的应用。
[0004]随着人工智能深度学习的不断发展，基于卷积神经网络的各种目标检测算法已经被成功的运用于人脸识别、图像相似度对比、桥梁裂纹检测、道路病害检测、精密仪器损伤探测识别等。在通用图像识别领域，现有的目标检测算法虽然在识别效果和泛化能力上较传统的算法模型有质的提升，但在路面标线缺损的精准定位上仍然有进一步的研究发展空间。因为在真实的路面检测场景中，包含各种天气、光照的变化和各种路面上的干扰物的影响，这都使得路面标线缺损的定位识别成为了一项极具挑战性的任务。更加值得注意的是，对于标线缺失的情况，标线原有的白色特征也已经被破坏，要想检测出这种缺失的标线，就必须考虑全局的特征信息。然而，经过实验验证，现有的目标检测算法在路面标线缺损检测定位上非常容易出现大量的误识别以及目标边界定位不准确的现象。即使现有的目标检测算法大多采用增加注意力机制以及多尺度建模的方法来提升检测的准确度，但在长距离整体建模能力上依然稍有所欠缺。

技术实现思路

[0005]本专利技术所要解决的技术问题是：现有的目标检测算法应用在路面标线缺损检测过程中出现回归边界框定位不准确的情况，缺少从全局构建特征信息的能力、长距离建模的能力和空间位置信息提取的能力，本专利技术目的在于提供基于车载智能手机的路面标线缺损智能定位方法及系统，解决上述技术问题。
[0006]本专利技术通过下述技术方案实现：一种路面标线缺损智能定位方法，其特征在于，包括以下步骤：步骤1：构建路面标线破损目标检测算法模型；
步骤2：采集道路前景2D图像数据，将采集的前景2D图像数据进行预处理；步骤3：将预处理后的道路前景图像数据输入路面标线破损目标检测算法模型，得到路面标线缺失、磨损的定位；步骤1中所述路面标线破损目标检测算法模型是以卷积目标检测网络CenterNet为基线，在利用残差神经网络提取深层特征信息以后，在关键特征细化模块嵌入了自融合编码机制。
[0007]优选的，所述预处理具体如下：根据下式对前景2D图像数据进行归一化处理：
[0008]其中i，j分别代表图片的行号和列号；channel代表图片的通道，取值为0，1，2；C(i, j, channel)代表原始图像对应某个通道的像素值；P(i, j, channel)代表处理后的图片在某通道上的像素值，且P(i, j, channel)介于(
‑
1, 1)之间；mean和std中的三个值分别对应R，G，B三个通道的均值和方差。
[0009]优选的，所述步骤1具体如下：步骤1.1：利用车载智能手机收集道路前景2D图像数据, 建立道路前景2D图像数据库；步骤1.2：基于收集的道路前景2D图像数据，构建与其对应的路面标线缺失、磨损的坐标位置数据, 形成路面标线缺损真值数据;步骤1.3：对获取到的所有道路前景2D图像数据缩放到统一大小, 且路面标线缺损的真值数据基于道路前景2D图像的缩放因子进行缩放;步骤1.4：基于步骤1.3的道路前景2D图像数据和步骤1.3的路面标线缺损的真值数据训练路面标线破损目标检测算法模型。
[0010]优选的，所述步骤1.1具体包括：步骤1.11：获取高速公路、城市道路、农村道路的道路前景2D图像数据，构建道路前景2D图像的大数据平台，从大数据平台中选取样本，构成训练算法模型的训练数据样本库，所述训练数据样本库包括：高速公路标线缺失样本、高速公路标线磨损样本、城市道路标线缺失样本、城市道路标线磨损样本、农村道路标线缺失样本、农村道路标线磨损样本；步骤1.12：采用预训练模型筛选法，从构建的道路前景2D图像大数据平台中选取部分各类标线磨损样本数据对路面标线破损目标检测算法模型进行预训练，得到带有分类识别能力的算法模型；步骤1.13：将收集的高速公路标线缺失样本、高速公路标线磨损样本、城市道路标线缺失样本、城市道路标线磨损样本、农村道路标线缺失样本、农村道路标线磨损样本分N次输入步骤1.12得到的带有分类识别能力的算法模型中，得到每张图像数据中路面标线缺
损的分类信息,每张图像是标线缺失、标线磨损、背景的概率分别记为P
i1
、P
i2
、P
i3
，i=0,1,2,3,
……
,X,X为收集的各类标线样本的总数量；步骤1.14：取各类标线样本max{ P
i1
,P
i2
,P
i3
}为单张图像的样本类别，分别得出各类标线样本的数量；步骤1.15：利用随机采样的方法，从各标线样本数据库中随机抽取同等数量的样本数据，以达到正负样本平衡的目的，以此构建道路前景2D图像数据库。
[0011]优选的，所述步骤1.2具体包括：基于所述道路前景2D图像数据库，构建与道路前景2D图像数据对应的路面标线缺失、磨损的坐标位置数据, 形成路面标线缺损真值数据。
[0012]优选的，所述步骤1.3具体包括：对获取到的所有道路前景2D图像数据采用双线性插值法缩放为640pixel
×
640pixel
×
3大小, 路面标线缺损的真值数据基于道路前景2D图像的缩放因子采用常规比例缩放法进行缩放。
[0013]优选的，所述步骤1.4具体包括以下步骤：步骤1.41：将缩放为640pixel
×
640pixel
×
3的道路前景2D图像数据，输入到特征提取网络ResNet101中，经过ResNet101的特征提取后，获得尺寸为20pixel
×
20pixel
×
2048的初步特征层；步骤1.42：分别利用步长为2的4pixel
×
4pixel
×
256 Conv2DTranspose、 4pixel
×
4pixel
×...

【技术保护点】

【技术特征摘要】
1.一种路面标线缺损智能定位方法，其特征在于，包括以下步骤：步骤1：构建路面标线破损目标检测算法模型；步骤2：采集道路前景2D图像数据，将采集的前景2D图像数据进行预处理；步骤3：将预处理后的道路前景图像数据输入路面标线破损目标检测算法模型，得到路面标线缺失、磨损的定位；步骤1中所述路面标线破损目标检测算法模型是以卷积目标检测网络CenterNet为基线，在利用残差神经网络提取深层特征信息以后，在关键特征细化模块嵌入了自融合编码机制。2.根据权利要求1所述的一种路面标线缺损智能定位方法，其特征在于，所述预处理具体如下：根据下式对前景2D图像数据进行归一化处理：其中i，j分别代表图片的行号和列号；channel代表图片的通道，取值为0，1，2；C(i, j, channel)代表原始图像对应某个通道的像素值；P(i, j, channel)代表处理后的图片在某通道上的像素值，且P(i, j, channel)介于(
‑
1, 1)之间；mean和std中的三个值分别对应R，G，B三个通道的均值和方差。3.根据权利要求1所述的一种路面标线缺损智能定位方法，其特征在于，所述步骤1具体如下：步骤1.1：利用车载智能手机收集道路前景2D图像数据, 建立道路前景2D图像数据库；步骤1.2：基于收集的道路前景2D图像数据，构建与其对应的路面标线缺失、磨损的坐标位置数据, 形成路面标线缺损真值数据;步骤1.3：对获取到的所有道路前景2D图像数据缩放到统一大小, 且路面标线缺损的真值数据基于道路前景2D图像的缩放因子进行缩放;步骤1.4：基于步骤1.3的道路前景2D图像数据和步骤1.3的路面标线缺损的真值数据训练路面标线破损目标检测算法模型。4.根据权利要求3所述的一种路面标线缺损智能定位方法，其特征在于，所述步骤1.1具体包括：步骤1.11：获取高速公路、城市道路、农村道路的道路前景2D图像数据，构建道路前景2D图像的大数据平台，从大数据平台中选取样本，构成训练算法模型的训练数据样本库，所述训练数据样本库包括：高速公路标线缺失样本、高速公路标线磨损样本、城市道路标线缺失样本、城市道路标线磨损样本、农村道路标线缺失样本、农村道路标线磨损样本；步骤1.12：采用预训练模型筛选法，从构建的道路前景2D图像大数据平台中选取部分各类标线磨损样本数据对路面标线破损目标检测算法模型进行预训练，得到带有分类识别能力的算法模型；步骤1.13：将收集的高速公路标线缺失样本、高速公路标线磨损样本、城市道路标线缺
失样本、城市道路标线磨损样本、农村道路标线缺失样本、农村道路标线磨损样本分N次输入步骤1.12得到的带有分类识别能力的算法模型中，得到每张图像数据中路面标线缺损的分类信息,每张图像是标线缺失、标线磨损、背景的概率分别记为P
i1
、P
i2
、P
i3
，i=0,1,2,3,
……
,X,X为收集的各类标线样本的总数量；步骤1.14：取各类标线样本max{ P
i1
,P
i2
,P
i3
}为单张图像的样本类别，分别得出各类标线样本的数量；步骤1.15：利用随机采样的方法，从各标线样本数据库中随机抽取同等数量的样本数据，以达到正负样本平衡的目的，以此构建道路前景2D图像数据库。5.根据权利要求4所述的一种路面标线缺损智能定位方法，其特征在于，所述步骤1.2具体包括：基于所述道路前景2D图像数据库，构建与道路前景2D图像数据对应的路面标线缺失、磨损的坐标位置数据, 形成路面标线缺损真值数据。6.根据权利要求5所述的一种路面标线缺损智能定位方法，其特征在于，所述步骤1.3具体包括：对获取到的所有道路前景2D图像数据采用双线性插值法缩放为640pixel
×
640pixel
×
3大小, 路面标线缺损的真值数据基于道路前景2D图像的缩放因子采用常规比例缩放法进行缩放，其中640
×
640是宽和高，3是RGB三个通道。7. 根据权利要求4所述的一种路面标线缺损智能定位方法，其特征在于，所述步骤1.4具体包括以下步骤：步骤1.41：将缩放为640pixel
×

【专利技术属性】
技术研发人员：蒋双全，牛茂钦，刘万春，韩斌，董子硕，张傲南，
申请(专利权)人：四川公路桥梁建设集团有限公司，
类型：发明
国别省市：