交通场景分割方法及相关装置制造方法及图纸

本申请实施例公开了一种交通场景分割方法及相关装置，方法包括：将原始图像输入到主干网络，得到融合特征图；将融合特征图输入到分割网络，得到分割特征图；将融合特征图输入到形状网络，得到第一形状特征图，优化第一形状特征图，得到第二形状特征图；将分割特征图和第二形状特征图合并得到合并特征网络；将合并特征网络进行第一卷积运算，得到中间运算结果；将其进行解码操作，得到第一显著性特征图，对其进行优化处理，得到第二显著性特征图；依据第二显著性特征图确定带方向建议框；将带方向建议框依据进行第二卷积运算和ASPP运算，得到得分特征图；优化得分特征图，得到分割结果图像。采用本申请实施例能够提升交通场景分割精度。

Traffic scene segmentation method and related devices

【技术实现步骤摘要】
交通场景分割方法及相关装置
本申请涉及图像处理
，具体涉及一种交通场景分割方法及相关装置。
技术介绍
随着社会的发展，城市汽车数量不断攀升，由此带来的交通和环境问题也日渐加剧。为了应对这些问题，智能交通系统已成为城市发展的重点研究对象。而在智能交通系统中，对于车辆的检索，已经被证明是一项关键技术，在处理包括套牌车、故意遮挡车牌和追踪肇事逃逸等等交通问题上有着得天独厚的优势，对于智能交通系统的建设具有重要的意义，因此，如何提升交通场景分割精度的问题亟待解决。
技术实现思路
本申请实施例提供了一种交通场景分割方法及相关装置，可以提升行交通场景分割精度。第一方面，本申请实施例提供一种交通场景分割方法，应用于电子设备，所述方法包括：获取原始图像，以及所述原始图像的形状标记图和点类别标记图，所述原始图像为包括目标的图像，所述形状标记图为所述目标的边缘轮廓图像，所述点类别标记图为所述目标的区域图像；将所述原始图像输入到主干网络，得到融合特征图；将所述融合特征图输入到分割网络，得到分割特征图；将所述融合特征图输入到形状网络，得到第一形状特征图，并通过所述形状标记图优化所述第一形状特征图，得到第二形状特征图；将所述分割特征图和所述第二形状特征图进行合并，得到合并特征网络；将所述合并特征网络进行第一卷积运算，得到中间运算结果；将所述中间运算结果进行解码操作，得到第一显著性特征图，并通过所述第一显著性特征图对应的二值图对所述第一显著性特征图进行优化处理，得到第二显著性特征图；依据所述第二显著性特征图确定带方向建议框；将所述带方向建议框依据进行第二卷积运算和ASPP运算，得到得分特征图；依据所述点类别标记图优化所述得分特征图，得到分割结果图像。第二方面，本申请实施例提供了一种交通场景分割装置，应用于电子设备，所述装置包括：获取单元、输入单元、合并单元、运算单元、解码单元、确定单元和优化单元，其中，所述获取单元，用于获取原始图像，以及所述原始图像的形状标记图和点类别标记图，所述原始图像为包括目标的图像，所述形状标记图为所述目标的边缘轮廓图像，所述点类别标记图为所述目标的区域图像；所述输入单元，用于将所述原始图像输入到主干网络，得到融合特征图；以及将所述融合特征图输入到分割网络，得到分割特征图；将所述融合特征图输入到形状网络，得到第一形状特征图，并通过所述形状标记图优化所述第一形状特征图，得到第二形状特征图；所述合并单元，用于将所述分割特征图和所述第二形状特征图进行合并，得到合并特征网络；所述运算单元，用于将所述合并特征网络进行第一卷积运算，得到中间运算结果；所述解码单元，用于将所述中间运算结果进行解码操作，得到第一显著性特征图，并通过所述第一显著性特征图对应的二值图对所述第一显著性特征图进行优化处理，得到第二显著性特征图；所述确定单元，用于依据所述第二显著性特征图确定带方向建议框；所述运算单元，还具体用于将所述带方向建议框依据进行第二卷积运算和ASPP运算，得到得分特征图；所述优化单元，用于依据所述点类别标记图优化所述得分特征图，得到分割结果图像。第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面中的步骤的指令。第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。实施本申请实施例，具备如下有益效果：可以看出，本申请实施例中所描述的交通场景分割方法及相关装置，应用于电子设备，获取原始图像，以及原始图像的形状标记图和点类别标记图，原始图像为包括目标的图像，形状标记图为目标的边缘轮廓图像，点类别标记图为目标的区域图像，将原始图像输入到主干网络，得到融合特征图，将融合特征图输入到分割网络，得到分割特征图，将融合特征图输入到形状网络，得到第一形状特征图，并通过形状标记图优化第一形状特征图，得到第二形状特征图，将分割特征图和第二形状特征图进行合并，得到合并特征网络，将合并特征网络进行第一卷积运算，得到中间运算结果，将中间运算结果进行解码操作，得到第一显著性特征图，并通过第一显著性特征图对应的二值图对第一显著性特征图进行优化处理，得到第二显著性特征图，依据第二显著性特征图确定带方向建议框，将带方向建议框依据进行第二卷积运算和ASPP运算，得到得分特征图，依据点类别标记图优化得分特征图，得到分割结果图像，一方面，可以充分利用原始图像的形状标记图和点类别标记图来指导网络学习，另一方面，能够提升特征显著性，以及结合建议方向框实现目标精准定位，有利于提升图像分割精度。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1A是本申请实施例提供的一种交通场景分割方法的流程示意图；图1B是本申请实施例提供的基于主干网的时间上下文目标信息实现目标增强的演示示意图；图1C是本申请实施例提供的基于主干网的空间上下文目标信息实现目标增强的演示示意图；图1D是本申请实施例提供的实现网络优化功能的原理示意图；图1E是本申请实施例提供的另一种交通场景分割方法的流程示意图；图2是本申请实施例提供的另一种交通场景分割方法的流程示意图；图3是本申请实施例提供的另一种电子设备的结构示意图；图4是本申请实施例提供的一种交通场景分割装置的功能单元组成框图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对本文档来自技高网...

【技术保护点】
1.一种交通场景分割方法，其特征在于，应用于电子设备，所述方法包括：/n获取原始图像，以及所述原始图像的形状标记图和点类别标记图，所述原始图像为包括目标的图像，所述形状标记图为所述目标的边缘轮廓图像，所述点类别标记图为所述目标的区域图像；/n将所述原始图像输入到主干网络，得到融合特征图；/n将所述融合特征图输入到分割网络，得到分割特征图；/n将所述融合特征图输入到形状网络，得到第一形状特征图，并通过所述形状标记图优化所述第一形状特征图，得到第二形状特征图；/n将所述分割特征图和所述第二形状特征图进行合并，得到合并特征网络；/n将所述合并特征网络进行第一卷积运算，得到中间运算结果；/n将所述中间运算结果进行解码操作，得到第一显著性特征图，并通过所述第一显著性特征图对应的二值图对所述第一显著性特征图进行优化处理，得到第二显著性特征图；/n依据所述第二显著性特征图确定带方向建议框；/n将所述带方向建议框依据进行第二卷积运算和ASPP运算，得到得分特征图；/n依据所述点类别标记图优化所述得分特征图，得到分割结果图像。/n

【技术特征摘要】
1.一种交通场景分割方法，其特征在于，应用于电子设备，所述方法包括：
获取原始图像，以及所述原始图像的形状标记图和点类别标记图，所述原始图像为包括目标的图像，所述形状标记图为所述目标的边缘轮廓图像，所述点类别标记图为所述目标的区域图像；
将所述原始图像输入到主干网络，得到融合特征图；
将所述融合特征图输入到分割网络，得到分割特征图；
将所述融合特征图输入到形状网络，得到第一形状特征图，并通过所述形状标记图优化所述第一形状特征图，得到第二形状特征图；
将所述分割特征图和所述第二形状特征图进行合并，得到合并特征网络；
将所述合并特征网络进行第一卷积运算，得到中间运算结果；
将所述中间运算结果进行解码操作，得到第一显著性特征图，并通过所述第一显著性特征图对应的二值图对所述第一显著性特征图进行优化处理，得到第二显著性特征图；
依据所述第二显著性特征图确定带方向建议框；
将所述带方向建议框依据进行第二卷积运算和ASPP运算，得到得分特征图；
依据所述点类别标记图优化所述得分特征图，得到分割结果图像。


2.根据权利要求1所述的方法，其特征在于，所述依据所述第二显著性特征图确定带方向建议框，包括：
确定目标的位置对应的所述第二显著性特征图，所述目标为所述点类别标记图中的任一目标；
判断矩形i与矩形j之间是否存在重叠，所述矩形i为所述目标对应的任一框，所述矩形j为第二显著性特征图中的任一矩形；
在所述矩形i与矩形j之间存在重叠时，确定重叠区域内的点数；
确定所述点数与所述第二显著性特征图的总点数之间的比值，依据所述比值确定所述重叠区域的样本属性；
对所述重叠区域进行训练，得到所述带方向建议框。


3.根据权利要求1或2所述的方法，其特征在于，所述将所述原始图像输入到主干网络，得到融合特征图，包括：
获取与所述原始图像的拍摄时刻邻近的至少一种拍摄图像；
将所述原始图像和所述至少一种拍摄图像输入到所述主干网络，得到第一融合特征；
确定所述原始图像对应的至少一张尺度变换图像，不同尺度变换图像之间的尺度不一样；
将所述原始图像和所述至少一张尺度变换图像输入到所述主干网络，得到第二融合特征；
将所述第一融合特征和所述第二融合特征进行融合，得到所述融合特征图。


4.根据权利要求3所述的方法，其特征在于，所述将所述第一融合特征和所述第二融合特征进行融合，得到所述融合特征图，包括：
将所述第一融合图像和所述第二融合图像进行串联，得到串联图像；
对所述串联图像进行卷积运算，得到所述融合特征图。


5.根据权利要求1-4任一项所述的方法，其特征在于，所述通过所述形状标记图优化所述第一形状特征图，得到第二形状特征图，包括：
确定所述形状标记图和所述第一形状特征图之间的形状损失；
通过所述形状损失优化所述形状网络的模型参数；
通过优化后的所述形状网络对所述第一形状特征图进行运算，得到所述第二形状特征图。

【专利技术属性】
技术研发人员：施欣欣，禹世杰，范艳，
申请(专利权)人：深圳市华尊科技股份有限公司，
类型：发明
国别省市：广东;44