一种基于语义分割增强的物体检测方法技术

本发明专利技术涉及一种基于语义分割增强的物体检测方法，包括：准备标注好的图像；图像集划分；设计基于语义分割增强的深度卷积神经网络结构，以适用于物体检测，基于语义分割增强的深度卷积神经网络包含三个主要部分：主干子网络，分割子网络和检测子网络，主干子网络用来提取图像的通用特征，该特征是类别无关的特征；分割子网络基于主干子网络提取特征的基础上，进一步提取语义分割的特征并预测每一类物体的分割的热图；将每一类物体的热图作为该类的先验知识，并与检测子网络提取的特征相融合，进而产生类别相关的特征，每一类物体有对应类别的特征，该特征显著反映该类物体的特性；模型训练。

A Method of Object Detection Based on Semantic Segmentation Enhancement

The present invention relates to a method of object detection based on semantic segmentation enhancement, which includes: preparing labeled images; partitioning image sets; designing a structure of depth convolution neural network based on semantic segmentation enhancement for object detection. The depth convolution neural network based on semantic segmentation enhancement includes three main parts: backbone subnetwork, segmentation subnetwork and detection subnetwork. The backbone sub-network is used to extract the general features of images, which are category-independent features; the segmentation sub-network extracts the features of semantic segmentation based on the backbone sub-network extracting features, and then extracts the features of semantic segmentation and predicts the thermal maps of each class of objects; the thermal maps of each class of objects are used as the prior knowledge of this class, and are fused with the features extracted by the detection sub-network to generate the thermal maps. Class-related features, each type of object has the corresponding category characteristics, which significantly reflects the characteristics of this type of object; model training.

【技术实现步骤摘要】
一种基于语义分割增强的物体检测方法
本专利技术涉及计算机视觉领域中高性能的物体检测方法，特别是涉及采用深度学习方法进行图像物体检测的方法。
技术介绍
深度学习技术作为人工智能发展过程中的关键技术，已经广泛的应用于智能监控、人机交互、辅助驾驶以及自动驾驶等多个领域，实现对场景中人、车以及其他类物体的实时检测与识别。作为深度学习技术中的重要实现方法，深度卷积神经网络在物体检测任务上已经取得了显著成果。以自动驾驶系统为例，如图1所示，在物体检测任务中，首先通过车载相机捕获现实场景中的视频/图像；进一步地，将相机捕获的视频/图像输入到物体检测算法中；通过物体检测算法的运行，输出所检测到的物体的位置以及物体的类别；经过决策层，根据检测到的物体信息进行自动驾驶的决策，实现安全的自动驾驶。作为自动驾驶中的关键技术，物体检测的精度直接关乎自动驾驶的安全程度，因此提升物体检测的精度，能够有效保证自动驾驶的安全性，进一步推动自动驾驶的发展。现有的性能较优的物体检测算法是基于深度卷积神经网络的物体检测算法。Girshick等人[1][2]提出一种基于深度卷积神经网络的物体检测算法，首先通过卷积神经网络提取特征并生成候选窗口，然后将候选窗口通过检测子网络得出最终的预测结果。Liu等人[3]为进一步提升物体检测的效率，提出一种单阶段的物体检测算法，即将图像直接输入到深度卷积神经网络中，通过网络直接输出对物体框的回归和分类结果，略去了双阶段物体检测算法中候选窗口生成的阶段，一定程度上提升了物体检测的速度，但是物体检测的精度有所下降。Dvornik等人[4]提出将语义分割和物体检测任务相结合的深度卷积神经网络算法，采用一个主干网络，和两个分支分别用于生成语义分割结果和物体检测结果，实现了多任务的联合训练和应用。以上基于深度卷积神经网络的物体检测算法虽然取得了一定效果，但是仍然存在物体检测效果不佳的问题，无法有效的满足实际物体检测的需要。本专利技术主要针对目前物体检测精度不佳的问题，设计一种新型物体检测算法，以有效提升物体检测的精度。具体地，本专利技术提出了一种基于语义分割增强的物体检测算法。通过引入语义分割的分支，以语义分割结果作为先验知识，生成类别相关的特征图，以增强不同类别物体的特征提取，并基于不同类别的特征实现对不同类别物体的检测识别。本专利技术提出的方法可用于上述介绍的领域中实现高精度的物体检测。参考文献：[1]GirshickR.FastR-CNN.IEEEInternationalConferenceonComputerVision.IEEEComputerSociety,2015:1440-1448.[2]RenS,HeK,GirshickR,etal.FasterR-CNN:TowardsReal-TimeObjectDetectionwithRegionProposalNetworks.IEEETransactionsonPatternAnalysis&MachineIntelligence,2015,39(6):1137-1149.[3]LiuW,AnguelovD,ErhanD,etal.SSD:SingleShotMultiBoxDetector.EuropeanConferenceonComputerVision.Springer,Cham,2016:21-37.[4]DvornikN,ShmelkovK,MairalJ,etal.BlitzNet:AReal-TimeDeepNetworkforSceneUnderstanding.ICCV2017.2017:4174-4182.
技术实现思路
本专利技术的目的是克服现有的基于深度卷积神经网络的物体检测算法检测精度较低的问题，提出了一种基于语义分割增强的深度卷积神经网络物体检测方法，能够有效的提升物体检测的精度，进一步促进物体检测在众多领域中的应用。技术方案如下：一种基于语义分割增强的物体检测方法，包括下列步骤：1)准备标注好的图像，收集包含各种不同类别物体的图像，并标注每张图像中的所有感兴趣物体，标注内容为每个物体的位置、每个物体的类别以及每个像素点的所属物体类别，以其作为图像标签信息；2)图像集划分，将收集的图像划分为训练集，验证集和测试集，训练集用于训练卷积神经网络，验证集用于选择最佳的训练模型，测试集为后续测试模型效果或者实际应用时使用；3)设计基于语义分割增强的深度卷积神经网络结构，以适用于物体检测，基于语义分割增强的深度卷积神经网络包含三个主要部分：主干子网络，分割子网络和检测子网络，主干子网络用来提取图像的通用特征，该特征是类别无关的特征；分割子网络基于主干子网络提取特征的基础上，进一步提取语义分割的特征并预测每一类物体的分割的热图，每一类的热图中，存在该类物体的位置响应值显著，而其他所有类别物体的位置响应值不显著，能够有效的反映出不同类别物体之间的差异；将每一类物体的热图作为该类的先验知识，并与检测子网络提取的特征相融合，进而产生类别相关的特征，每一类物体有对应类别的特征，该特征显著反映该类物体的特性，在检测子网络中，基于类别相关的特征，采用特定类别的检测器对该类别的特征进行提取和预测，以实现对每一类物体更好的检测；物体检验子网络包含对每一类物体检测的预测模块，用以产生对每一类物体的预测结果，该预测模块可以直接由回归和分类模块组成，或由候选框生成子网络以及回归和分类模块组成；4)输入数据，前向计算预测结果和损失代价，通过反向传播算法计算参数的梯度并更新参数；迭代的更新参数，待代价函数曲线收敛时，模型训练完毕；5)将训练好的模型应用于测试或实际应用中，当输入图像时，通过该训练好的模型计算得到图像的检测结果，即物体的位置和类别信息，辅助实际应用场景中的决策。本专利技术通过语义分割子网络增强语义特征的基础上，将分割结果作为先验知识，能够有效增强检测结构特征的语义信息。同时，基于类别相关的特征图进行特定类别的物体检测，有效的分解复杂的检测任务，进一步提升物体检测的精确度。将基于语义分割增强的深度卷积神经网络应用到实际任务中进行物体检测的过程中，能够实现对图像中感兴趣物体的精确检测(精确的输出物体的位置以及物体的类别信息)，进一步促进本专利技术方法在智能监控、辅助驾驶、自动驾驶等众多领域的应用，提升不同任务场景下的安全性。附图说明图1中描述了本专利技术在自动驾驶中实现物体检测的应用示例。图2中描述了传统的深度卷积神经网络应用于物体检测的方法示例。图3描述了本专利技术提出的基于语义分割增强的深度卷积神经网络应用于物体检测的示例。具体实施方式下面结合附图对本专利技术作进一步的描述。图2描述了传统的深度卷积神经网络应用于物体检测的示例。具体地，该类方法将原始图像输入到所设计的卷积神经网络中，直接回归得到所有类别物体的坐标，并输出物体的对应类别。产生预测所基于的特征是类别无关的特征，即该特征不能显式的反映每一类物体的特性。图3描述了本专利技术所提出的基于语义分割增强的深度卷积神经网络应用于物体检测的示例。具体地，该深度神经网络包含三个主要部分：主干子网络，分割子网络和检测子网络。主干子网络主要用来提取通用的特征，该特征是类别无关的特征。分割子网络基于主干子网络提取特征的基础上，进一本文档来自技高网...

【技术保护点】
1.一种基于语义分割增强的物体检测方法，包括下列步骤：1)准备标注好的图像，收集包含各种不同类别物体的图像，并标注每张图像中的所有感兴趣物体，标注内容为每个物体的位置、每个物体的类别以及每个像素点的所属物体类别，以其作为图像标签信息；2)图像集划分，将收集的图像划分为训练集，验证集和测试集，训练集用于训练卷积神经网络，验证集用于选择最佳的训练模型，测试集为后续测试模型效果或者实际应用时使用；3)设计基于语义分割增强的深度卷积神经网络结构，以适用于物体检测，基于语义分割增强的深度卷积神经网络包含三个主要部分：主干子网络，分割子网络和检测子网络，主干子网络用来提取图像的通用特征，该特征是类别无关的特征；分割子网络基于主干子网络提取特征的基础上，进一步提取语义分割的特征并预测每一类物体的分割的热图，每一类的热图中，存在该类物体的位置响应值显著，而其他所有类别物体的位置响应值不显著，能够有效的反映出不同类别物体之间的差异；将每一类物体的热图作为该类的先验知识，并与检测子网络提取的特征相融合，进而产生类别相关的特征，每一类物体有对应类别的特征，该特征显著反映该类物体的特性，在检测子网络中，基于类别相关的特征，采用特定类别的检测器对该类别的特征进行提取和预测，以实现对每一类物体更好的检测；物体检验子网络包含对每一类物体检测的预测模块，用以产生对每一类物体的预测结果，该预测模块可以直接由回归和分类模块组成，或由候选框生成子网络以及回归和分类模块组成；4)输入数据，前向计算预测结果和损失代价，通过反向传播算法计算参数的梯度并更新参数；迭代的更新参数，待代价函数曲线收敛时，模型训练完毕；5)将训练好的模型应用于测试或实际应用中，当输入图像时，通过该训练好的模型计算得到图像的检测结果，即物体的位置和类别信息，辅助实际应用场景中的决策。...

【技术特征摘要】
1.一种基于语义分割增强的物体检测方法，包括下列步骤：1)准备标注好的图像，收集包含各种不同类别物体的图像，并标注每张图像中的所有感兴趣物体，标注内容为每个物体的位置、每个物体的类别以及每个像素点的所属物体类别，以其作为图像标签信息；2)图像集划分，将收集的图像划分为训练集，验证集和测试集，训练集用于训练卷积神经网络，验证集用于选择最佳的训练模型，测试集为后续测试模型效果或者实际应用时使用；3)设计基于语义分割增强的深度卷积神经网络结构，以适用于物体检测，基于语义分割增强的深度卷积神经网络包含三个主要部分：主干子网络，分割子网络和检测子网络，主干子网络用来提取图像的通用特征，该特征是类别无关的特征；分割子网络基于主干子网络提取特征的基础上，进一步提取语义分割的特征并预测每一类物体的分割的热图，每一类的热图中，存在该类物体的位置响应值显著，而其他所有类别物体的位...

【专利技术属性】
技术研发人员：庞彦伟，李亚钊，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12