一种结合物体检测和物体跟踪的实时路牌检测方法技术

本发明专利技术公开了一种结合物体检测和物体跟踪的实时路牌检测方法，该方法构建路牌检测网络用于定位图片中路牌的坐标位置，并从含有路牌的待测视频中抽取初始帧，输入到训练好的路牌检测网络中；然后通过非极大值抑制(NMS)和置信度阈值法得到初始帧的路牌检测坐标。将路牌检测坐标输入到KCF算法中，得到待测视频中下一帧的路牌跟踪坐标，根据需求对待测视频连续跟踪固定的帧数，并将连续跟踪的最后一帧作为新的初始帧，重复以上步骤，得到待测视频中每一帧中是否含有路牌以及路牌的坐标。该方法结合了检测方法的精确性，同时利用了跟踪算法的快速性。

A real-time road sign detection method combining object detection and object tracking

【技术实现步骤摘要】
一种结合物体检测和物体跟踪的实时路牌检测方法
本专利技术属于机器视觉应用领域，特别涉及一种结合物体检测和物体跟踪的实时路牌检测方法。
技术介绍
路牌检测系统的研究从上个世纪初就开始起步，随着智能驾驶和自动驾驶备受关注，它也成为热门研究方向。基于机器学习的路牌检测方法具备成本小、准确度高、实时性强、易于实现的优点，是无人驾驶领域的必研课题。由于交通环境的复杂性，光照天气的多变性，各个国家地区交通标志的差异性，目前的路牌检测还处于初步实地应用阶段，检测的标志类别有限，检测精度和效率都有很大的提高空间，所以高精度和低延迟的路牌检测还有待开发。目前的路牌检测主要有两种主流方式：一种是双步检测方式，还有一种是单步检测方式。双步检测指的是先通过粗略的检测包含路牌的候选区域，然后再精确的定位出路牌的精确坐标，算法主要有FasterRCNN算法等。单步检测是指将图片输入神经网络，直接得到坐标的方法，比如SSD算法和YOLO算法。前者网络结构复杂且庞大，计算速度较慢，但优点是精度高，后者网络小，速度快，但是精度上远远不如前者，而且对神经网络的设计要求比较高。
技术实现思路
本专利技术的目的在于针对现有路牌检测中的技术不足，提供一种结合了物体检测和物体跟踪优点的实时路牌检测方法。本专利技术的目的是通过以下技术方案来实现的：一种结合物体检测和物体跟踪的实时路牌检测方法，包括以下步骤：(1)采集汽车行进过程中的视频；按照固定帧数间隔抽取视频帧作为训练图片集，将含有路牌的训练图片用矩形框在图片中标注出路牌的坐标，将坐标保存在xml文件中；把所有的xml文件和训练图片作为训练集；(2)构建路牌检测网络用于定位图片中路牌的坐标位置，输入步骤(1)中的训练图片集，输出为每张图片中预测的路牌坐标和置信度。所述路牌检测网络的基础网络为在ImageNet数据集上预训练的InceptionV4模型除去全连接层之后的网络，在基础网络之后利用区域候选网络(RPN)得出含有路牌候选区域坐标的特征图，将该特征图通过兴趣区域池化(ROIPooling)操作得到统一大小的候选区域的特征图，将各个特征图输入到定位和分类网络中得到候选区域在原图中的精确坐标和置信度。(3)对构建好的路牌检测网络，输入步骤(1)中得到的训练集进行训练，保存路牌检测网络参数，得到训练好的路牌检测网络；(4)从含有路牌的待测视频中抽取初始帧，输入到步骤(3)中训练好的路牌检测网络中，通过非极大值抑制(NMS)和置信度阈值法得到初始帧的路牌检测坐标。(5)将步骤(4)中输出的路牌检测坐标输入到KCF算法中，得到待测视频中下一帧的路牌跟踪坐标，根据需求对待测视频连续跟踪固定的帧数；(6)将步骤(5)中连续跟踪的最后一帧作为新的初始帧，重复步骤(4)和(5)，得到待测视频中每一帧中是否含有路牌以及路牌的坐标。进一步地，所述步骤(1)中，训练图片中路牌的坐标标注采用labelImg软件。进一步地，所述步骤(2)中，定位和分类网络均为5层网络，两者共享四层网络，分别是节点数为1024的全连接层，relu激活层，节点数为1024的全连接层和relu激活层；分类网络的第五层网络为节点数为2的全连接层，然后通过softmax操作将输出结果转化为概率的形式；定位网络的第五层为节点数为8的全连接层。进一步地，所述步骤(2)中，首先将构建好的路牌检测网络在COCO数据集上进行预训练，取预训练的网络参数结果作为路牌检测网络初始参数。进一步地，所述步骤(3)中，路牌检测网络的训练过程具体为：将步骤(2)中得到的路牌检测坐标与步骤(1)中标注的路牌坐标计算位置损失函数，同时对步骤(2)中得到的路牌置信度计算分类损失函数。将这两个损失函数相加，对总的损失函数进行求导后，通过增加了动量修正量(Momentum)的随机梯度下降法对网络中各节点的数值进行更新，得到路牌检测网络参数。进一步地，所述步骤(3)中，对训练的图像进行随机图像增广，增广操作包括：随机水平翻转、随机图片缩放、随机切割和随机旋转等。进一步地，所述步骤(5)中，在跟踪阶段，每隔固定帧对跟踪的坐标进行判断，只有当超过固定数量的连续帧中检测到同一路牌才对该路牌坐标进行跟踪，跟踪的连续帧数根据需求设定。进一步地，所述步骤(6)中，将连续跟踪的最后一帧作为新的初始帧，由步骤(4)得到新的路牌检测坐标，通过NMS算法对新的路牌检测坐标和最后一帧的路牌跟踪坐标进行整合，得到当前帧中的路牌坐标，输入到步骤(5)中的KCF算法中。本专利技术的有益效果是：本专利技术将物体检测算法和物体追踪算法进行有效的结合，搭建了实时路牌检测网络，本专利技术具有高精度和高准确性以及物体追踪的快速性。此外，在训练路牌检测模型的过程中，通过采用动量修正的随机梯度下降法指导网络权重的调整。本方法在跟踪模块中对有效的路牌跟踪坐标进行了的删减，在整合路牌检测坐标和路牌跟踪坐标时采用了NMS算法，得到最终预测的路牌坐标。附图说明图1是路牌检测卷积神经网络训练流程图；图2是实时检测算法流程图；图3是路牌标注示意图。具体实施方式下面结合附图和具体实施例对本专利技术作进一步详细说明。本专利技术通过搭建和训练路牌检测卷积神经网络模型，将其和路牌追踪算法结合后实现了高精度的实时路牌检测，其关键在于搭建和训练一个高效的检测网络架构和对检测和追踪路牌坐标的整合。首先，生成真实的训练数据用于检测神经网络的训练。其次，需要设计合理的分类和定位神经网络进行路牌预测，通过损失函数利用动量修正的随机梯度下降的方法指导网络权重的调整。并以实例证明模型的整体的精度和实时性。如图1所示，本专利技术采用的技术方案的主要步骤如下：(1)通过摄像头采集汽车行进过程中的视频。定常帧数的抽取视频帧作为训练图片集，采用labelImg软件用矩形框在训练图片中标注出路牌的坐标，将坐标保存在xml文件中。把xml文件和训练图片作为训练集。(2)搭建路牌检测深度网络来定位图片中路牌的坐标位置，输入步骤(1)中的训练图像集，输出为每张图片中的路牌的坐标和置信度。路牌检测网络结构：检测网络的基础网络为在ImageNet数据集上预训练的InceptionV4模型除去全连接层之外的网络，在其后利用区域候选网络(RPN)得出输入图片中为路牌的候选区域坐标，将候选区域的特征图通过兴趣区域池化(ROIPooling)操作得到统一大小候选区域的特征图，将各个特征图输入到定位和分类网络中得到候选区域在原图中的精确坐标和置信度。定位和分类网络为5层网络，两者共享四层网络，分别是节点数为1024的全连接层，relu激活层，节点数为1024的全连接层和relu激活层。分类网络的第五层网络为节点数为2的全连接层，然后通过softmax操作将输出结果转化为概率的形式。定位网络的第五层为节点数为8的全连接层。(3)是路牌检测网络的训练阶段，首先将构建好的路牌检测网络在COCO数据集上进行预训练，取本文档来自技高网...

【技术保护点】
1.一种结合物体检测和物体跟踪的实时路牌检测方法，其特征在于，包括以下步骤：/n(1)采集汽车行进过程中的视频；按照固定帧数间隔抽取视频帧作为训练图片集，将含有路牌的训练图片用矩形框在图片中标注出路牌的坐标，将坐标保存在xml文件中；把所有的xml文件和训练图片作为训练集；/n(2)构建路牌检测网络用于定位图片中路牌的坐标位置，输入步骤(1)中的训练图片集，输出为每张图片中预测的路牌坐标和置信度。/n所述路牌检测网络的基础网络为在ImageNet数据集上预训练的InceptionV4模型除去全连接层之后的网络，在基础网络之后利用区域候选网络(RPN)得出含有路牌候选区域坐标的特征图，将该特征图通过兴趣区域池化(ROIPooling)操作得到统一大小的候选区域的特征图，将各个特征图输入到定位和分类网络中得到候选区域在原图中的精确坐标和置信度。/n(3)对构建好的路牌检测网络，输入步骤(1)中得到的训练集进行训练，保存路牌检测网络参数，得到训练好的路牌检测网络；/n(4)从含有路牌的待测视频中抽取初始帧，输入到步骤(3)中训练好的路牌检测网络中，通过非极大值抑制(NMS)和置信度阈值法得到初始帧的路牌检测坐标。/n(5)将步骤(4)中输出的路牌检测坐标输入到KCF算法中，得到待测视频中下一帧的路牌跟踪坐标，根据需求对待测视频连续跟踪固定的帧数；/n(6)将步骤(5)中连续跟踪的最后一帧作为新的初始帧，重复步骤(4)和(5)，得到待测视频中每一帧中是否含有路牌以及路牌的坐标。/n...

【技术特征摘要】
1.一种结合物体检测和物体跟踪的实时路牌检测方法，其特征在于，包括以下步骤：
(1)采集汽车行进过程中的视频；按照固定帧数间隔抽取视频帧作为训练图片集，将含有路牌的训练图片用矩形框在图片中标注出路牌的坐标，将坐标保存在xml文件中；把所有的xml文件和训练图片作为训练集；
(2)构建路牌检测网络用于定位图片中路牌的坐标位置，输入步骤(1)中的训练图片集，输出为每张图片中预测的路牌坐标和置信度。
所述路牌检测网络的基础网络为在ImageNet数据集上预训练的InceptionV4模型除去全连接层之后的网络，在基础网络之后利用区域候选网络(RPN)得出含有路牌候选区域坐标的特征图，将该特征图通过兴趣区域池化(ROIPooling)操作得到统一大小的候选区域的特征图，将各个特征图输入到定位和分类网络中得到候选区域在原图中的精确坐标和置信度。
(3)对构建好的路牌检测网络，输入步骤(1)中得到的训练集进行训练，保存路牌检测网络参数，得到训练好的路牌检测网络；
(4)从含有路牌的待测视频中抽取初始帧，输入到步骤(3)中训练好的路牌检测网络中，通过非极大值抑制(NMS)和置信度阈值法得到初始帧的路牌检测坐标。
(5)将步骤(4)中输出的路牌检测坐标输入到KCF算法中，得到待测视频中下一帧的路牌跟踪坐标，根据需求对待测视频连续跟踪固定的帧数；
(6)将步骤(5)中连续跟踪的最后一帧作为新的初始帧，重复步骤(4)和(5)，得到待测视频中每一帧中是否含有路牌以及路牌的坐标。


2.根据权利要求1所述的一种结合物体检测和物体跟踪的实时路牌检测方法，其特征在于，所述步骤(1)中，训练图片中路牌的坐标标注采用labelImg软件。


3.根据权利要求1所述的一种结合物体检测和物体跟踪的实时路牌检测方法，其特征在于，所述步骤(2)中，定位和分类网络均为5层网络，两者共享四层网络，分别是节点数为10...

【专利技术属性】
技术研发人员：苏宏业，马龙华，陆哲明，
申请(专利权)人：浙江中创天成科技有限公司，
类型：发明
国别省市：浙江;33