图像分割方法、车辆控制方法及装置制造方法及图纸

本公开提供了一种图像分割方法、车辆控制方法及装置，其中，图像分割方法包括：获取待分割的目标图像，并对所述目标图像进行特征提取，得到所述目标图像对应的初始特征图；分别对所述初始特征图进行全景特征提取和部件特征提取，得到所述目标图像对应的全景特征信息和部件特征信息；基于与所述全景特征信息对应的第一查询向量对所述全景特征信息进行特征查询，得到用于表征全景分割结果的第一查询特征信息；以及，基于与所述部件特征信息对应的第二查询向量对所述部件特征信息进行特征查询，得到用于表征部件分割结果的第二查询特征信息；基于所述第一查询特征信息和所述第二查询特征信息，确定所述目标图像的目标分割结果。果。果。

【技术实现步骤摘要】
图像分割方法、车辆控制方法及装置


[0001]本公开涉及图像处理
，具体而言，涉及一种图像分割方法、车辆控制方法及装置。

技术介绍

[0002]图像分割是图像处理和是机器视觉技术中关于图像理解的重要一环。在进行图像分割时，可以通过对图像中每一个像素点进行分类，确定每个点的类别，从而实现区域划分。目前，常见的图像分割模型包括全景分割模型和部件分割模型，所述全景分割模型可以划分出待分割图像中的前景物体(比如人、汽车等)，以及后景物体(比如马路、建筑等)；所述部件分割模型可以将待分割图像中的可数物体的部件进行分割，比如人的头部、汽车的车灯等。
[0003]相关技术中，为了得到更精细化的分割效果，往往会选择使用全景分割模型和部件分割模型分别对待分割图像进行分割，并将全景分割结果和部件分割结果进行融合处理，虽然通过这种方式得到的融合后的分割结果，相较于只使用一个图像分割模型进行分割得到的分割结果的图像分割效果更好，但由于使用两个独立建模的模型进行图像分割，导致图像分割效率低下。

技术实现思路

[0004]本公开实施例至少提供一种图像分割、车辆控制方法、装置、计算机设备及存储介质。
[0005]第一方面，本公开实施例提供了一种图像分割方法，包括：
[0006]获取待分割的目标图像，并对所述目标图像进行特征提取，得到所述目标图像对应的初始特征图；
[0007]分别对所述初始特征图进行全景特征提取和部件特征提取，得到所述目标图像对应的全景特征信息和部件特征信息；
[0008]基于与所述全景特征信息对应的第一查询向量对所述全景特征信息进行特征查询，得到用于表征全景分割结果的第一查询特征信息；以及，基于与所述部件特征信息对应的第二查询向量对所述部件特征信息进行特征查询，得到用于表征部件分割结果的第二查询特征信息；
[0009]基于所述第一查询特征信息和所述第二查询特征信息，确定所述目标图像的目标分割结果。
[0010]这样，通过引入查询向量分别对，目标图像对应的初始特征图进行特征提取后得到的全景特征信息和部件特征信息进行特征查询，并基于特征查询后的第一查询特征信息和所述第二查询特征信息，确定所述目标图像的目标分割结果。这样，通过基于查询向量在一个模型中分别执行全景图像分割任务和部件图像分割任务，相较于使用多个独立建模的模型进行图像分割，提高对所述目标图像的图像分割效果和图像分割效率。
[0011]一种可能的实施方式中，所述基于所述第一查询特征信息和所述第二查询特征信息，确定所述目标图像的目标分割结果，包括：
[0012]基于所述第一查询特征信息和所述第二查询特征信息，确定所述目标图像对应的全景特征图；以及，基于所述第一查询向量和所述第二查询向量确定全景查询向量；
[0013]基于所述全景特征图对所述全景查询向量进行调整，并基于调整后的全景查询向量重新确定第一查询向量和第二查询向量；
[0014]基于重新确定的第一查询向量重新确定第一查询特征信息，以及基于重新确定的第二查询向量，重新确定第二查询特征信息；
[0015]基于重新确定的第一查询特征信息、重新确定的第二查询特征信息、重新确定的第一查询向量和重新确定的第二查询向量，返回执行确定全景特征图和全景查询向量的步骤，直至满足预设条件；
[0016]将最后一次确定的第一查询特征信息作为第一目标查询特征信息，以及将最后一次确定的第二查询特征信息作为第二目标查询特征信息，并基于所述第一目标查询特征信息和所述第二目标查询特征信息，确定所述目标图像的目标分割结果。
[0017]一种可能的实施方式中，所述基于所述第一查询特征信息和所述第二查询特征信息，确定所述目标图像对应的全景特征图，包括：
[0018]基于所述第一查询特征信息和所述全景特征信息，确定所述目标图像对应的第一特征图；以及，基于所述第二查询特征信息和所述部件特征信息，确定所述目标图像对应的第二特征图；
[0019]将所述第一特征图和所述第二特征图进行拼接，得到所述全景特征图。
[0020]这样，通过确定第一特征图和第二特征图，并对所述第一特征图和第二特征图进行拼接得到全景特征图，使得后续处理时只需要处理一个特征图即可，从而可以提高图像分割效率。
[0021]一种可能的实施方式中，所述基于所述第一查询向量和所述第二查询向量确定全景查询向量，包括：
[0022]将所述第一查询向量和所述第二查询向量进行拼接，得到所述全景查询向量。
[0023]这样，通过将第一查询向量和第二查询向量进行拼接得到全景查询向量，使得后续处理时只需要处理一个查询向量即可，从而可以提高图像分割效率。
[0024]一种可能的实施方式中，所述基于所述全景特征图对所述全景查询向量进行调整，包括：
[0025]基于所述全景查询向量和所述全景特征图进行动态卷积处理，得到中间查询向量；
[0026]基于自注意力机制算法对所述中间查询向量进行处理，得到调整后的全景查询向量。
[0027]这样，基于动态卷积处理和自注意力机制算法对所述全景查询向量进行调整，可以使得调整后的全景查询向量能够更好的提取出目标图像对应的全景特征(第一查询特征信息)和局部特征(第二查询特征信息)，从而提高图像分割效果。
[0028]一种可能的实施方式中，所述基于调整后的全景查询向量重新确定第一查询向量和第二查询向量，包括：
[0029]对调整后的全景查询向量进行拆分，得到重新确定的第一查询向量和第二查询向量。
[0030]这样，通过对调整后的全景查询向量进行拆分，可以完成对所述第一查询向量和所述第二查询向量的一次更新，并可以通过后续的更新，使得查询向量能够更好的提取出目标图像对应的全景特征(第一查询特征信息)和局部特征(第二查询特征信息)，从而提高图像分割效果。
[0031]一种可能的实施方式中，所述基于所述第一目标查询特征信息和所述第二目标查询特征信息，确定所述目标图像的目标分割结果，包括：
[0032]将所述第一目标查询特征信息和所述第二目标查询特征信息进行融合处理，得到所述目标图像的目标分割结果。
[0033]这样，通过对第一目标查询特征信息和第二目标查询特征信息进行融合处理，可以得到融合了全景分割结果和部件分割结果的目标分割结果。
[0034]一种可能的实施方式中，所述图像分割方法利用图像分割网络完成。
[0035]一种可能的实施方式中，所述图像分割网络采用以下步骤训练得到：
[0036]获取样本图像以及所述样本图像对应的样本全景分割图像和样本部件分割图像；
[0037]将所述样本图像输入至待训练的图像分割网络，确定与所述样本图像对应的第一样本查询特征信息和第二样本查询特征信息；
[0038]基于所述第一样本查询特征信息、所述第二样本查询特征信息、所述样本全景分割图像和所述样本部件分割图像，确定本次训练的目标损失值，并基于所述目标损失值本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像分割方法，其特征在于，包括：获取待分割的目标图像，并对所述目标图像进行特征提取，得到所述目标图像对应的初始特征图；分别对所述初始特征图进行全景特征提取和部件特征提取，得到所述目标图像对应的全景特征信息和部件特征信息；基于与所述全景特征信息对应的第一查询向量对所述全景特征信息进行特征查询，得到用于表征全景分割结果的第一查询特征信息；以及，基于与所述部件特征信息对应的第二查询向量对所述部件特征信息进行特征查询，得到用于表征部件分割结果的第二查询特征信息；基于所述第一查询特征信息和所述第二查询特征信息，确定所述目标图像的目标分割结果。2.根据权利要求1所述的方法，其特征在于，所述基于所述第一查询特征信息和所述第二查询特征信息，确定所述目标图像的目标分割结果，包括：基于所述第一查询特征信息和所述第二查询特征信息，确定所述目标图像对应的全景特征图；以及，基于所述第一查询向量和所述第二查询向量确定全景查询向量；基于所述全景特征图对所述全景查询向量进行调整，并基于调整后的全景查询向量重新确定第一查询向量和第二查询向量；基于重新确定的第一查询向量重新确定第一查询特征信息，以及基于重新确定的第二查询向量，重新确定第二查询特征信息；基于重新确定的第一查询特征信息、重新确定的第二查询特征信息、重新确定的第一查询向量和重新确定的第二查询向量，返回执行确定全景特征图和全景查询向量的步骤，直至满足预设条件；将最后一次确定的第一查询特征信息作为第一目标查询特征信息，以及将最后一次确定的第二查询特征信息作为第二目标查询特征信息，并基于所述第一目标查询特征信息和所述第二目标查询特征信息，确定所述目标图像的目标分割结果。3.根据权利要求2所述的方法，其特征在于，所述基于所述第一查询特征信息和所述第二查询特征信息，确定所述目标图像对应的全景特征图，包括：基于所述第一查询特征信息和所述全景特征信息，确定所述目标图像对应的第一特征图；以及，基于所述第二查询特征信息和所述部件特征信息，确定所述目标图像对应的第二特征图；将所述第一特征图和所述第二特征图进行拼接，得到所述全景特征图。4.根据权利要求2或3所述的方法，其特征在于，所述基于所述第一查询向量和所述第二查询向量确定全景查询向量，包括：将所述第一查询向量和所述第二查询向量进行拼接，得到所述全景查询向量。5.根据权利要求2～4任一所述的方法，其特征在于，所述基于所述全景特征图对所述全景查询向量进行调整，包括：基于所述全景查询向量和所述全景特征图进行动态卷积处理，得到中间查询向量；基于自注意力机制算法对所述中间查询向量进行处理，得到调整后的全景查询向量。6.根据权利要求2～5任一所述的方法，其特征在于，所述基于调整后的全景查询向量
重新确定第一查询向量和第二查询向量，包括：对调整后的全景查询向量进行拆分，得到重新确定的第一查询向量和第二查询向量。7.根据权利要求2～6任一所述的方法，其特征在于，所述基于所述第一目标查询特征信息和所述第二目标查询特征信息，确定所述目标图像的目标分割结果，包括：将所述第一目标查询特征信息和所述第二目标查询特征信息进行融合处理，得到所述目标图像的目标分割结果。8.根据权利要求1～7任一所述的方法，其特征在于，所述图像分...

【专利技术属性】
技术研发人员：李祥泰，程光亮，
申请(专利权)人：上海商汤临港智能科技有限公司，
类型：发明
国别省市：