一种全天候自主道路缺陷检测方法及系统技术方案

本发明专利技术公开了一种全天候自主道路缺陷检测方法及系统，涉及计算机视觉领域，包括混合视觉传感器，用于设在无人小车上进行全天候自主道路缺陷检测，所述混合视觉传感器上设有计算单元；所述计算单元，用于运行混合视觉道路缺陷识别和定位算法；所述无人小车搭载混合视觉传感器中的混合视觉包括传统RGB视觉和DVS脉冲视觉，所述传统RGB视觉用于检测道路的纹理细节特性，所述DVS脉冲视觉用于检测高速行驶状态下的道路异常事件。通过利用RGB丰富的纹理细节特性，又结合DVS视觉低光和动态光线变化时响应灵敏特性，提高了道路缺陷的探测感知准确率。本发明专利技术能够实时异步响应，具有高动态范围，具有低光照场景下信息捕获能力，减少运动模糊现象。运动模糊现象。运动模糊现象。

【技术实现步骤摘要】
一种全天候自主道路缺陷检测方法及系统


[0001]本专利技术涉及计算机视觉领域，具体涉及一种全天候自主道路缺陷检测方法及系统。

技术介绍

[0002]随着基建的快速发展，车辆的增多，道路状况随车辆的反复作用及环境条件的变化会逐渐变坏，出现道路缺陷现象，对道路缺陷状况的检测与维护显得越来越重要。目前虽然有很多检测道路缺陷的方案，如破地预埋式检测方式，存在安装费时费力，维护和施工成本高的问题；固定相机监测方式，存在探测范围有限，若大范围部署成本昂贵的问题；人工巡逻方式，当前主流方式，需要消耗大量人力物力巡逻，存在人力和物力成本高的问题，都不是最佳选择。
[0003]在现有技术中，通常在车辆上安装RGB相机进行道路缺陷检测，采用嵌入式AI芯片，深度学习神经网络算法，在白天可视条件下，通过视觉算法对画面道路进行实时缺陷检测识别，当确认发生较大缺陷类型时，触发车载GPS信号进行上报，由专业人士识别确认，但在面临动态光线变化时，受帧率约束，响应速度较低，无法捕获高速行驶运动目标的完整轨迹；检测动态范围较低，如在面临逆光时，易受光照强烈变化影响；在面临夜晚暗光等低光照场景下信息捕获能力较差；难以捕获极高速运动目标，如在穿越树木时，车辆快速行驶时存在运动画面模糊的现象，存在道路缺陷的探测感知准确率低下的问题。

技术实现思路

[0004]为了克服现有技术中道路缺陷的探测感知准确率低下的技术问题，本专利技术提供了基于计算机视觉的一种道路缺陷检测方法及系统，通过利用RGB丰富的纹理细节特性，又结合DVS视觉低光和动态光线变化时响应灵敏特性，提高了道路缺陷的探测感知准确率。
[0005]为了实现上述目的，本专利技术是通过以下技术方案实现：一种全天候自主道路缺陷检测方法，包括以下步骤：S1、利用动态视觉的基于框架模式，与传统视觉画面进行时空配准校正，得到混合视觉；S2、所述混合视觉对离散异步脉冲数据进行编码表征得到网格数据，并与传统视觉的数据融合,作为网络输入；S3、网络输入通过车道线识别算法，判断道路缺陷类型及发生道路缺陷类型的具体位置，网络输出标签与坐标；S4、对动态视觉的画面进行预检测，提取出轮廓变化明显区域，计算此区域内图像的高频信息含量；S5、将高频信息含量与设定阈值比较，若高频信息含量大于设定阈值，则进行S6，否则，返回S4；S6、判断 iOU是否大于0.5，若是，则结果确认，否则，返回S2。
[0006]作为优选，所述传统视觉为传统RGB视觉，所述动态视觉为DVS脉冲视觉，利用所述DVS脉冲视觉的Frame
‑
Based模式，与所述传统RGB视觉的画面进行时空配准校正，得到所述混合视觉。
[0007]作为优选，所述S2中，配准后的所述混合视觉，对离散异步脉冲DVS脉冲视觉数据进行编码表征，将（, , , ）格式的脉冲串通过频率编码成3维体素网格数据（, ,）,并与传统RGB视觉的三维数据（, , ）融合成（, , ）作为所述网络输入；其中，表示脉冲事件的发生位置，对应图像中像素点坐标，代表事件极性，代表当前事件发生的时间；表征后, 分别表示图像长宽，为DVS的通道数，默认为征服双通道=2，为RGB的通道数，默认为RGB彩色=3；DVS相机采集的数据：（, , , ），通过统计一个时间窗内脉冲的数量来表示信息：， 。
[0008]作为优选，所述S3中，所述车道线识别算法，采用DVS脉冲视觉表征后的体素网格数据融合RGB视觉数据作为感知输入，定义常见道路缺陷类型；对RGB和DVS画面的融合处理后，输入到检测识别网络，判断是否为常见道路缺陷类型，以及发生缺陷类型的具体位置；若是，将此位置对应的GPS信号上传，完成上报过程。
[0009]作为优选，所述S4中，输入shape为[w,h,c1+c2]；输出识别置信度最大的label，及对应的location；与此同时为降低误报，利用DVS对轮廓边缘响应敏感，对DVS的画面进行预检测，从提取出轮廓变化明显区域，计算此区域内图像的高频信息含量V1。
[0010]作为优选，所述S5中，区域内图像的高频信息含量V1大于设定阈值T判断此区域具备丰富的纹理细节，具备道路缺陷的特征，若V1含量小于阈值T判断此区域内较平滑，不具备道路缺陷的特征，以此判断结合网络识别结果作为最终二次确认。
[0011]作为优选，所述S6中，计算并判断 iOU是否大于0.5，若是，则结果确认，否则，返回S2。
[0012]作为优选，所述S3中，所述道路缺陷包括沉陷、裂缝、坑洞、拱起。
[0013]一种全天候自主道路缺陷检测系统，包括混合视觉传感器，用于设在无人小车上进行全天候自主道路缺陷检测，所述混合视觉传感器上设有计算单元。
[0014]作为优选，所述计算单元，用于运行混合视觉道路缺陷识别和定位算法；所述无人小车搭载混合视觉传感器中的混合视觉包括传统RGB视觉和DVS脉冲视觉，所述传统RGB视觉用于检测道路的纹理细节特性，所述DVS脉冲视觉用于检测高速行驶状态下的道路异常事件。与现有技术相比，本专利技术的优点是：通过利用RGB丰富的纹理细节特性，又结合DVS视觉低光和动态光线变化时响应灵敏特性，提高了道路缺陷的探测感知准确率；
实时异步响应，不受帧率约束，可以捕获高速行驶运动目标的完整轨迹，具有高灵敏响应速度，等效帧率1000帧；具有高动态范围，不受光照强烈变化影响，适应光线变化范围10Lux
‑
10Klux的动态光线；具有低光照场景下信息捕获能力，传统RGB在光强小于50Lux时纹理特征不清晰，而DVS具备最低10Lux下清晰的轮廓显示能力；减少运动模糊现象：脉冲事件跟随光强变化产生，具有极高时间分辨率，因此可以捕获极高速运动目标，从而减少运动模糊现象，解决了车辆快速行驶时画面模糊现象。
附图说明
[0015]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0016]图1为本专利技术一实施例的检测方法流程图。
具体实施方式
[0017]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。
[0018]在本专利技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。
[0019]此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种全天候自主道路缺陷检测方法，其特征在于，包括以下步骤：S1、利用动态视觉的基于框架模式，与传统视觉画面进行时空配准校正，得到混合视觉；S2、所述混合视觉对离散异步脉冲数据进行编码表征得到网格数据，并与传统视觉的数据融合,作为网络输入；S3、网络输入通过车道线识别算法，判断道路缺陷类型及发生道路缺陷类型的具体位置，网络输出标签与坐标；S4、对动态视觉的画面进行预检测，提取出轮廓变化明显区域，计算此区域内图像的高频信息含量；S5、将高频信息含量与设定阈值比较，若高频信息含量大于设定阈值，则进行S6，否则，返回S4；S6、判断 iOU是否大于0.5，若是，则结果确认，否则，返回S2。2.根据权利要求1所述的道路缺陷检测系统，其特征在于，所述 S1中，所述传统视觉为传统RGB视觉，所述动态视觉为DVS脉冲视觉，利用所述DVS脉冲视觉的Frame
‑
Based模式，与所述传统RGB视觉的画面进行时空配准校正，得到所述混合视觉。3.根据权利要求2所述的全天候自主道路缺陷检测方法，其特征在于，所述S2中，配准后的所述混合视觉，对离散异步脉冲DVS脉冲视觉数据进行编码表征，将（, , , ）格式的脉冲串通过频率编码成3维体素网格数据（, ,）,并与传统RGB视觉的三维数据（, , ）融合成（, , ）作为所述网络输入；其中，表示脉冲事件的发生位置，对应图像中像素点坐标，代表事件极性，代表当前事件发生的时间；表征后, 分别表示图像长宽，为DVS的通道数，默认为征服双通道=2，为RGB的通道数，默认为RGB彩色=3；DVS相机采集的数据：（, , , ），通过统计一个时间窗内脉冲的数量来表示信息：， 。4.根据权利要求1所述的全天候自主道路缺陷检测方法，其特征在于，所述S3中，所述车道线识别算法，采用DVS脉冲视觉...

【专利技术属性】
技术研发人员：陈鑫，王鲁光，
申请(专利权)人：杭州拓纬视图信息技术有限公司，
类型：发明
国别省市：