用于高质量图像分割的条带解码器和内外损失制造技术

本发明专利技术公开了用于检测对象的图像分割系统

【技术实现步骤摘要】
用于高质量图像分割的条带解码器和内外损失


[0001]本专利技术涉及机器学习图像分割的领域
。
具体地，本专利技术还涉及包括用于高质量图像分割的条带解码器和内外损失模块的系统
。

技术介绍

[0002]在传统的对象检测任务中，通常使用定位损失
(L2/L1
损失
)
来测量预测值与基准真值之间的差
。
然而，由于
L2/L1
损失的对称特性，扩展的边界框或收缩的边界框可以产生相同的
L2/L1
损失值
。
[0003]然而，在应用级别处，扩展的边界框优于收缩的边界框
。
当边界框内部的对象将被裁剪并用于另一任务例如分割时尤其如此
。
[0004]收缩的边界框将导致对象的不完整表示，这将导致分割故障
。
例如，第一阶段中的不完整边界框可能在所得到的分割中切除一些对象身体部分例如手
。
扩展的边界框将使分割过程集中在背景上并且生成低分辨率掩码
。
[0005]此外，使用最大池化
、
之后是感知器结构的传统的解码器结构不能捕获长距离依赖关系
。
为了解决该缺陷，本专利技术引入了条带解码器，其沿水平
、
竖直
、45
度和
‑
45
度方向取特征的平均值
。
该长内核形状能够捕获长距离依赖关系与局部细节
。
[0006]因此，一方面，扩展的边界框是优选的，并且其应当被分配有较低的损失值
。
另一方面，条带解码器通过在不同方向上使用更多的全局信息来预测更准确的边界框
。
[0007]Qibin Hou
的题为“Strip Pooling:Rethinking Spatial Pooling for Scene Parsing”的研究论文公开了条带池化
。Hou
具体公开了空间池化架构设计，该空间池化架构设计引入了新的条带池化模块，该条带池化模块使得骨干网络能够有效地对长距离依赖关系进行建模
。
该架构提出了新颖的构建块，该构建块以不同的空间池化为核心
。
此外，
Hou
系统地比较了所提出的条带池化和常规的空间池化技术的性能
。
[0008]已经证明空间池化在捕获用于逐像素预测任务例如场景解析的长距离上下文信息方面非常有效
。
除常规空间池化之外的现有技术通常具有
N
×
N
的规则形状，并且通过引入新的池化策略
——
称为条带池化
——
来临时制定空间池化，该池化策略考虑了长但窄的内核
。
[0009]尽管这样的现有技术参考文献集中于条带池化并且提供了改进的分割方法，但是这些参考文献没有公开用于图像分割的系统，该系统具有提供扩展但仍具准确结果的边界框预测以及引入内外损失以降低将背景噪声误分类为目标对象的概率的架构
。
[0010]因此，为了克服现有技术的缺陷，当前需要提供这样的用于图像分割的系统
。
此外，这样的系统包括使用
ROI
检测之后进行图像分割以改善分割结果
。
[0011]现在明显的是，在现有技术中开发的许多方法和系统足以适用于有限的目的
。
此外，即使这些专利技术可能相应地适于它们所要解决的特定目的，但是它们也不适于如前所述的本专利技术的目的
。
因此，需要提供包括用于高质量图像分割的条带解码器和内外损失模块的系统
。

技术实现思路

[0012]对象检测在计算机视觉应用中具有广泛的功能
。
例如，在自主驾驶应用中，行人和车辆检测对于准确地引导汽车的移动是至关重要的
。
在摄像装置应用中，根据用户的编辑偏好利用照片对象检测来引导对象分割
。
在理想情况下，作为
N
维中的点集
(S)
的预测边界框将是最小周长边界框；这意味着包括面积和体积的几何度量达到它们的最小值
。
然而，难以预测现实世界环境中的理想边界框
。
在大多数情况下，预测出大于或小于最小周长边界框的边界框，并且这样的情况可能导致问题
。
例如，在自主驾驶中，如果行人的预测边界框太小，则汽车可能做出不正确的移动决定并且撞击行人
。
另一方面，如果行人的边界框太大，则汽车可能比所需行驶得更慢
。
[0013]对于两阶段分割方法，本专利技术检测要用作引导的感兴趣区域
(Region of Interest
，
ROI)。
如果第一阶段
ROI
边界框太大，则第二阶段输入将具有较低的分辨率，这意味着第二阶段不能捕获对象的许多细节
。
这将导致分割掩码的粗略边界
。
另一方面，如果边界框太小，则在随后的分割阶段中对象的一部分将不可见
。
这样的缺失部分不可恢复，并且将导致不完整的分割掩码
。
[0014]较大边界框优于较小边界框，因为高估目标对象的尺寸比低估目标对象的尺寸更好
。
稍微扩展的边界框将增加对象检测模型的鲁棒性
。
然而，大多数边界框损失处理方法同等地处理较大边界框和较小边界框
。
[0015]本专利技术的主要目的是提供用于高质量分割的系统，其中，该系统包括对象检测器和分割单元
。
[0016]对象检测器检测图像中的对象
。
解码器模块是条带池化解码器，其利用不同方向上的长内核形状来捕获经处理的图像中的长距离依赖关系和多个局部细节，以提高对象检测的准确度并且形成第一经处理的图像
。
内外损失模块计算对象的内外损失以清楚地将对象与第一经处理的图像的背景分离并且产生第二经处理的图像
。
[0017]分割单元对从第二经处理的图像的背景中检测到的对象执行高质量分割
。
[0018]本专利技术的另一目的是促进对象检测在诸如自主驾驶
、
行人和车辆检测的现实生活场景中以及在摄像装置应用中的广泛应用
。
[0019]引入内外损失以降低将背景噪声误分类为目标对象的概率
。
[0020]在本专利技术中，不同的方向包括水平方向
、
竖直方向
、45
度和
‑
45
度方向
。45
度和
‑
45
度池化解码器能够检测倾斜对象
。
[0021]在本专利技术中，通过召回率计算内外损失
。
内外损失确定对象的召回率，并且测量被正确地检测本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种用于生成增强的图像的系统，其特征在于，所述系统包括：条带池化解码器，其中，所述条带池化解码器通过在多个方向上覆盖图像的较大部分来对所述图像进行解码，并且在要与所述图像的背景分离的对象周围预测边界框，其中，在所述边界框周围标记覆盖所述背景的基准真相掩码；内外损失单元，其中，所述内外损失单元计算所述图像中的内外损失，以将所述对象与所述图像的所述背景分离；输出掩码，其中，根据计算出的所述内外损失标记所述输出掩码，以将所述图像转换成被掩蔽的背景和未被掩蔽的对象；以及分割单元，其中，所述分割单元通过从所述被掩蔽的背景裁剪所述未被掩蔽的对象来执行所述未被掩蔽的对象的高质量分割，以生成所述增强的图像
。2.
根据权利要求1所述的系统，其特征在于，所述内外损失降低将所述图像中的所述背景误分类为所述对象的概率
。3.
根据权利要求1所述的系统，其特征在于，所述多个方向包括水平方向
、
竖直方向
、45
度方向和
‑
45
度方向
。4.
根据权利要求3所述的系统，其特征在于，所述
45
度方向和所述
‑
45
度方向检测所述图像中的一个或更多个倾斜对象
。5.
根据权利要求1所述的系统，其特征在于，通过召回率计算所述内外损失
。6.
根据权利要求5所述的系统，其特征在于，所述内外损失单元利用所述对象的所述召回率并且测量被检测为所述背景的背景像素的数目
。7.
根据权利要求1所述的系统，其特征在于，长内核形状捕获所述图像内的长距离依赖关系和局部细节
。8.
根据权利要求1所述的系统，其特征在于，所述条带池化解码器通过沿所述多个方向增加感受域来增加边界框预测的准确度
。9.
一种用于对图像中的对象执行两阶段分割以生成增强的图像的系统，其特征在于，所述系统包括：条带池化解码器，其中，所述条带池化解码器通过在四个方向上覆盖经...

【专利技术属性】
技术研发人员：关西贝佳，吴铁成，李博，
申请(专利权)人：黑芝麻科技公司，
类型：发明
国别省市：