一种图像语义分割、智能行驶控制方法及装置制造方法及图纸

本公开提供了一种图像语义分割方法及装置，包括：对待分割图像进行第一特征提取，得到原始特征图；基于原始特征图，生成原始特征图对应的偏移特征图，偏移特征图中每个特征点的值表示原始特征图中与该特征点所在位置对应位置处的特征点需要偏移的值；基于偏移特征图和原始特征图，生成待分割图像对应的边缘特征图和主体特征图；边缘特征图包括待分割图像中的对象边缘特征，主体特征图包括待分割图像中的对象主体特征；基于边缘特征图和主体特征图，生成待分割图像对应的语义分割图像。

【技术实现步骤摘要】
一种图像语义分割、智能行驶控制方法及装置
本公开涉及计算机
，具体而言，涉及一种图像语义分割、智能行驶控制方法及装置。
技术介绍
图像语义分割是图像处理和机器视觉技术中重要的组成部分。语义分割即对图像中每一个像素点进行分类，确定每个点的类别(如属于背景、人或车等)，从而进行区域划分。目前，语义分割已经被广泛应用于自动驾驶、无人机落点判定等场景中。相关技术中，在进行图像语义分割时，一般通过神经网络直接对待分割的图像进行分割，但是由于神经网络的感受野有限，这就可能导致将属于同一对象的两个部分分割成不同的类别，从而影响分割结果。
技术实现思路
本公开实施例至少提供一种图像语义分割、智能行驶控制方法及装置。第一方面，本公开实施例提供了一种图像语义分割方法，包括：对待分割图像进行第一特征提取，得到原始特征图；基于所述原始特征图，生成所述原始特征图对应的偏移特征图，所述偏移特征图中每个特征点的值表示所述原始特征图中与该特征点所在位置对应位置处的特征点需要偏移的值；基于所述偏移特征图和所述原始特征图，生成所述待分割图像对应的边缘特征图和主体特征图；所述边缘特征图包括所述待分割图像中的对象边缘特征，所述主体特征图包括所述待分割图像中的对象主体特征；基于所述边缘特征图和所述主体特征图，生成所述待分割图像对应的语义分割图像。这里，属于同一对象的区域特征相似，根据原始特征图所确定的偏移特征图中每一个特征点的值表示原始特征图中与该特征点所在位置对应位置处的特征点需要偏移的值，在通过偏移特征图对原始特征图中的特征点进行偏移后，能够使得原始特征图中属于同一对象的区域特征更聚集，这样，属于同一对象的特征区域中所包含的特征点就更全面，根据偏移特征图和原始特征图能够区分出原始特征图中的属于边缘的特征部分(即边缘特征图)以及属于主体的特征部分(即主体特征图)；另外，由于通过偏移特征图对原始特征图中的特征点进行偏移后，能够使得原始特征图中属于同一对象的区域特征更聚集，这相当于在生成主体特征图的过程中扩大了神经网络的感受野，因此基于边缘特征图和主体特征图所生成的语义分割图像，精度更高。一种可能的实施方式中，所述基于所述原始特征图，生成所述原始特征图对应的偏移特征图，包括：对所述原始特征图进行特征提取，生成所述原始特征图对应的深度特征图；根据所述原始特征图和所述深度特征图，生成所述原始特征图对应的偏移特征图。这里，由于待分割图像中属于同一目标对象的区域之间的特征应该是相似的，对原始特征图进行特征提取生成的深度特征图中包括原始特征图中的高层次特征，也即包括了属于同一目标对象的高层次的特征，根据原始特征图和深度特征图生成的偏移特征图既包含了原始特征图中的特征，又包括了原始特征图中属于同一目标对象的高层次的特征，因此，基于偏移特征图控制原始特征图中的特征点进行偏移，能够使得属于同一目标对象特征点聚集，从而从原始特征图中提取出主体特征部分。一种可能的实施方式中，所述基于所述原始特征图，生成所述原始特征图对应的深度特征图，包括：对所述原始特征图进行下采样处理，并对进行所述下采样处理后的特征图进行上采样处理，得到所述原始特征图对应的深度特征图。一种可能的实施方式中，所述根据所述原始特征图和所述深度特征图，生成所述原始特征图对应的偏移特征图，包括：将所述原始特征图和所述深度特征图进行级联，并对级联后的特征图进行特征提取，得到所述偏移特征图。一种可能的实施方式中，所述基于所述偏移特征图和所述原始特征图，生成所述待分割图像对应的边缘特征图和主体特征图，包括：基于所述偏移特征图和所述原始特征图，生成所述待分割图像对应的主体特征图；基于所述原始特征图和所述主体特征图，生成所述待分割图像对应的边缘特征图。一种可能的实施方式中，所述基于所述偏移特征图和所述原始特征图，生成所述待分割图像对应的主体特征图，包括：将所述原始特征图中的每个特征点按照所述偏移特征图中与该特征点对应的需要偏移的值进行偏移，得到所述原始特征图对应的中间特征图；将所述中间特征图中的每个特征点的值按照所述偏移特征图中对应位置的权重进行双线性差值计算，得到所述原始特征图对应的主体特征图。一种可能的实施方式中，所述基于所述原始特征图和所述主体特征图，生成所述待分割图像对应的边缘特征图，包括：将所述原始特征图和所述主体特征图对应位置处的特征点的值相减，根据相减后得到的值，生成所述待分割图像对应的边缘特征图。一种可能的实施方式中，所述方法还包括：对所述待分割图像进行第二特征提取，得到低层次特征图；所述低层次特征图对应的卷积次数小于所述原始特征图对应的卷积次数；所述将所述原始特征图和所述主体特征图对应位置处的特征点的值相减，根据相减后得到的值，生成所述待分割图像对应的边缘特征图，包括：将所述原始特征图和所述主体特征图在对应位置处的特征点的值相减，得到初始边缘特征图；将所述低层次特征图与所述初始边缘特征图进行级联，并对级联后的特征图进行特征提取，得到所述待分割图像对应的边缘特征图。在低层次特征图中，原始图像中目标对象的边缘特征更加明显，将低层次特征图与初始边缘特征图进行级联，可以对初始边缘特征图中的边缘特征进行补充，从而提高边缘特征图的边缘识别精度。一种可能的实施方式中，所述基于所述边缘特征图和所述主体特征图，生成所述待分割图像对应的语义分割图像，包括：将所述边缘特征图和所述主体特征图在对应位置处的特征点的值相加，得到所述待分割图像对应的语义特征图；对所述语义特征图进行卷积运算，得到所述待分割图像对应的语义分割图像。一种可能的实施方式中，所述语义分割图像为通过神经网络对所述待分割图像进行处理得到；所述神经网络采用以下方法训练得到：获取带有第一标注信息和第二标注信息的样本图像，所述第一标注信息为对所述样本图像中的目标对象的像素区域所添加的标注，所述第二标注信息为对所述样本图像中的目标对象的边缘所添加的标注；将所述样本图像输入至所述神经网络中，得到所述样本图像对应的边缘特征图、主体特征图、以及语义特征图；基于所述边缘特征图，确定所述样本图像对应的预测边缘图像；以及，基于所述主体特征图，确定所述样本图像对应的预测主体图像；以及，基于所述语义特征图，确定所述样本图像对应的预测语义分割图像；基于所述预测边缘图像、预测主体图像、预测语义分割图像，以及所述样本图像的第一标注信息和第二标注信息，确定本次训练过程中的损失值，并基于所述损失值，对所述神经网络进行训练。上述训练过程中，对于原始特征图的边缘特征部分和主体特征部分是分开监督的，因此，相比将所有的损失值加在一起进行监督训练而言，上述方法能够进行针对性的训练，通过这种方法训练出的神经网络，分割精度更高。一种可能的实施方式中，所述基于所述预测边缘图像、预测主体图像、预测语义分割本文档来自技高网...

【技术保护点】
1.一种图像语义分割方法，其特征在于，包括：/n对待分割图像进行第一特征提取，得到原始特征图；/n基于所述原始特征图，生成所述原始特征图对应的偏移特征图，所述偏移特征图中每个特征点的值表示所述原始特征图中与该特征点所在位置对应位置处的特征点需要偏移的值；/n基于所述偏移特征图和所述原始特征图，生成所述待分割图像对应的边缘特征图和主体特征图；所述边缘特征图包括所述待分割图像中的对象边缘特征，所述主体特征图包括所述待分割图像中的对象主体特征；/n基于所述边缘特征图和所述主体特征图，生成所述待分割图像对应的语义分割图像。/n

【技术特征摘要】
1.一种图像语义分割方法，其特征在于，包括：
对待分割图像进行第一特征提取，得到原始特征图；
基于所述原始特征图，生成所述原始特征图对应的偏移特征图，所述偏移特征图中每个特征点的值表示所述原始特征图中与该特征点所在位置对应位置处的特征点需要偏移的值；
基于所述偏移特征图和所述原始特征图，生成所述待分割图像对应的边缘特征图和主体特征图；所述边缘特征图包括所述待分割图像中的对象边缘特征，所述主体特征图包括所述待分割图像中的对象主体特征；
基于所述边缘特征图和所述主体特征图，生成所述待分割图像对应的语义分割图像。


2.根据权利要求1所述的方法，其特征在于，所述基于所述原始特征图，生成所述原始特征图对应的偏移特征图，包括：
对所述原始特征图进行特征提取，生成所述原始特征图对应的深度特征图；
根据所述原始特征图和所述深度特征图，生成所述原始特征图对应的偏移特征图。


3.根据权利要求2所述的方法，其特征在于，所述对所述原始特征图进行特征提取，生成所述原始特征图对应的深度特征图，包括：
对所述原始特征图进行下采样处理，并对进行所述下采样处理后的特征图进行上采样处理，得到所述原始特征图对应的深度特征图。


4.根据权利要求2所述的方法，其特征在于，所述根据所述原始特征图和所述深度特征图，生成所述原始特征图对应的偏移特征图，包括：
将所述原始特征图和所述深度特征图进行级联，并对级联后的特征图进行特征提取，得到所述偏移特征图。


5.根据权利要求1所述的方法，其特征在于，所述基于所述偏移特征图和所述原始特征图，生成所述待分割图像对应的边缘特征图和主体特征图，包括：
基于所述偏移特征图和所述原始特征图，生成所述待分割图像对应的主体特征图；
基于所述原始特征图和所述主体特征图，生成所述待分割图像对应的边缘特征图。


6.根据权利要求5所述的方法，其特征在于，所述基于所述偏移特征图和所述原始特征图，生成所述待分割图像对应的主体特征图，包括：
将所述原始特征图中的每个特征点按照所述偏移特征图中与该特征点对应的需要偏移的值进行偏移，得到所述原始特征图对应的中间特征图；
将所述中间特征图中的每个特征点的值按照所述偏移特征图中对应位置的权重进行双线性差值计算，得到所述原始特征图对应的主体特征图。


7.根据权利要求5所述的方法，其特征在于，所述基于所述原始特征图和所述主体特征图，生成所述待分割图像对应的边缘特征图，包括：
将所述原始特征图和所述主体特征图对应位置处的特征点的值相减，根据相减后得到的值，生成所述待分割图像对应的边缘特征图。


8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
对所述待分割图像进行第二特征提取，得到低层次特征图；所述低层次特征图对应的卷积次数小于所述原始特征图对应的卷积次数；
所述将所述原始特征图和所述主体特征图对应位置处的特征点的值相减，根据相减后得到的值，生成所述待分割图像对应的边缘特征图，包括：
将所述原始特征图和所述主体特征图在对应位置处的特征点的值相减，得到初始边缘特征图；
将所述低层次特征图与所述初始边缘特征图进行级联，并对级联后的特征图进行特征提取，得到所述待分割图像对应的边缘特征图。


9.根据权利要求1所述的方法，其特征在于，所述基于所述边缘特征图和所述主体特征图，生成所述待分割图像对应的语义分割图像，包括：
将所述边缘特征图和所述主体特征图在对应位置处的特征点的值相加，得到所述待分割图像对应的语义特征图；
对所述语义特征图进行卷积运算，得到所述待分割图像对应的语义分割图像。


10.根据权利要求1所述的方法，其特征在于，所述语义分割图像为通过神经网络对所述待分割图像进行处理得到；
所述神经网络采用以下方法训练得到：

【专利技术属性】
技术研发人员：李祥泰，程光亮，李夏，石建萍，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京;11