用于图像的语义分割的系统和方法技术方案

本发明专利技术提供一种用于检测输入图像中的对象的实例的方法和系统。检测图像中的对象的实例的方法包括：从输入图像提取多个核心实例特征；根据核心实例特征计算多尺度分辨率下的多个特征图；根据核心实例特征计算检测框；针对检测框的每个检测框计算特征图的多尺度分辨率下的分割掩膜；合并多尺度分辨率下的多个分割掩膜，以针对在图像中检测到的每个对象生成实例掩膜；通过由辅助网络计算像素级度量来细化所述实例掩膜的置信度得分；以及输出所述实例掩膜作为检测到的实例。

【技术实现步骤摘要】
用于图像的语义分割的系统和方法相关申请的交叉引用本申请要求于2017年8月18日在美国专利和商标局提交的美国临时专利申请No.62/547,740的优先权和利益，其全部公开内容通过引用并入本文。
本公开一般地涉及计算机视觉。具体地，本公开涉及用于图像的语义分割的系统和方法。
技术介绍
图像识别系统提供一种计算机应用，其检测并识别来自数字图像或视频帧的一个或多个对象。基于深度学习的系统和方法已经在视觉理解方面实现越来越精确的表现。但是，可能很难在图像中检测到相对较小、杂乱或被其他对象遮挡的对象。其他典型的系统可能无法检测此类实例，也可能无法检测整个对象的一部分，也可能无法将对象的不同部分组合到整个对象中。例如，系统可能将被遮挡的第一用户的面部和第二用户的肩部错误地检测为同一用户。
技术实现思路
本公开的实施例的方面涉及用于输入图像的语义分割的系统和方法。根据本公开的一个实施例，用于检测输入图像中的对象的实例的方法包括：从所述输入图像提取多个核心实例特征；根据所述核心实例特征计算多尺度分辨率下的多个特征图；根据所述核心实例特征计算多个检测框，每个检测框对应于在所述图像中检测到的对象；针对所述检测框的每个检测框计算所述特征图的多尺度分辨率下的多个分割掩膜；合并所述多尺度分辨率下的所述多个分割掩膜，以针对在所述输入图像中检测到的每个对象生成实例掩膜，所述实例掩膜与置信度得分相关联；通过由辅助网络计算像素级度量来细化所述实例掩膜的置信度得分；以及输出所述实例掩膜作为所述输入图像中的对象的检测到的实例。可以通过将所述输入图像提供至完全卷积实例语义分割网络来提取所述多个核心实例特征。可以通过将所述核心实例特征提供至特征金字塔网络来计算多尺度分辨率下的特征图。所述特征金字塔网络可以通过以下步骤来产生所述多个特征图中的特征图：对来自所述完全卷积实例语义分割网络的所述核心实例特征进行上采样；将卷积核应用于先前特征图以产生卷积的先前特征图；以及将上采样的核心实例特征和卷积的先前特征图进行组合来生成所述特征图。所述特征金字塔网络可以通过使用最近邻技术来对所述核心实例特征进行上采样。所述特征金字塔网络可以通过使用去卷积层和插值卷积核来对所述核心实例特征进行上采样。合并所述多尺度分辨率下的所述多个分割掩膜以生成所述实例掩膜可以包括：计算交集与自身之比度量并移除其中交集与自身之比度量超过阈值的实例。可以通过将所述核心实例特征提供至区域建议网络来计算所述检测框。所述方法还可以包括：针对所述输入图像的每个像素计算所属边界框，所属边界框中的每一个指定该像素所属的实例的边界框位置；针对所述输入图像中的每个像素计算多个密度度量；以及根据所述密度度量对所述实例掩膜进行过滤，以最小化根据所述实例掩膜和所述密度度量计算出的差分掩膜差异。针对所述输入图像的每个像素计算所属边界框可以包括：计算表示该像素的所属边界框的四个特征矢量，所述四个特征矢量包括最顶像素、最底像素、最左像素和最右像素。细化所述实例掩膜的置信度得分可以包括：根据所述图像中检测到的对象的所属边界框来计算平均边界框；计算所述实例掩膜和所述平均边界框之间的交并比度量；以及基于所述交并比度量来缩放所述实例掩膜的置信度得分。根据所述密度度量对所述实例掩膜进行过滤可以包括：针对所述图像中的每个像素计算像素密度差异；针对每个实例掩膜计算差分掩膜差异；以及最小化生存掩膜集合的差分掩膜差异。可以通过以下操作来最小化所述生存掩膜集合的差分掩膜差异：使用贪婪搜索通过迭代地切换具有更大差分掩膜差异的实例掩膜的生存状态来更新生存掩膜集合，直到所述差分掩膜差异被最小化为止。根据本公开的一个实施例，一种用于检测输入图像中的对象的实例的系统包括：核心实例特征提取网络，其被配置为从所述输入图像生成多个核心实例特征；多尺度分辨率特征图计算器，其被配置为根据所述核心实例特征计算多尺度分辨率下的多个特征图；检测框计算器，其被配置为根据所述核心实例特征计算多个检测框，每个检测框对应于在所述图像中检测到的对象；分割掩膜预测网络，其被配置为针对所述检测框中的每个检测框计算所述特征图的多尺度分辨率下的多个分割掩膜；金字塔分割网络，其被配置为合并所述多尺度分辨率下的所述多个分割掩膜，以针对在所述输入图像中检测到的每个对象生成实例掩膜，所述实例掩膜与置信度得分相关联；基于区域建议网络(RPN)的得分细化模块，其被配置为通过计算像素级度量来细化所述实例掩膜的置信度得分；以及输出模块，其被配置为输出所述实例掩膜作为所述输入图像中的对象的检测到的实例。所述核心实例特征提取网络可以包括完全卷积实例语义分割网络。所述多尺度分辨率特征图计算器可以包括特征金字塔网络。所述特征金字塔网络可以被配置为通过以下步骤生成所述多个特征图中的特征图：对来自所述完全卷积实例语义分割网络的所述核心实例特征进行上采样；将卷积核应用于先前特征图以产生卷积的先前特征图；以及将上采样的核心实例特征和卷积的先前特征图进行组合来生成所述特征图。所述特征金字塔网络可以被配置为使用最近邻技术对所述核心实例特征进行上采样。所述特征金字塔网络可以被配置为使用去卷积层和插值卷积核对所述核心实例特征进行上采样。所述金字塔分割网络可以被配置为：通过计算交集与自身之比度量并移除其中交集与自身之比度量超过阈值的实例来合并所述多尺度分辨率下的所述多个分割掩膜以生成所述实例掩膜。所述检测框计算器可以包括区域建议网络(RPN)。所述的系统，还可以包括：所属边界框预测网络，其被配置为针对所述输入图像的每个像素计算所属边界框，所属边界框中的每一个指定该像素所属的实例的边界框位置；密度预测网络，其被配置为针对所述输入图像中的每个像素计算多个密度度量；以及基于密度的过滤模块，其被配置为根据所述密度度量对所述实例掩膜进行过滤，以最小化根据所述实例掩膜和所述密度度量计算出的差分掩膜差异。所述所属边界框预测网络可以被配置为：通过计算表示所述输入图像的每个像素的所属边界框的四个特征矢量来计算该像素的所属边界框，所述四个特征矢量包括最顶像素、最底像素、最左像素和最右像素。所述基于RPN的得分细化模块可以被配置为通过以下步骤来细化所述实例掩膜的置信度得分：根据所述图像中检测到的对象的所属边界框来计算平均边界框；计算所述实例掩膜和所述平均边界框之间的交并比度量；以及基于所述交并比度量来缩放所述实例掩膜的置信度得分。所述基于密度的过滤模块可以被配置为通过以下步骤根据所述密度度量对所述实例掩膜进行过滤：针对所述图像中的每个像素计算像素密度差异；针对每个实例掩膜计算差分掩膜差异；以及最小化生存掩膜集合的差分掩膜差异。可以通过以下操作来最小化所述生存掩膜集合的差分掩膜差异：使用贪婪搜索通过迭代地切换具有更大差分掩膜差异的实例掩膜的生存状态来更新生存掩膜的集合，直到所述差分掩膜差异被最小化为止。附图说明图1A示出根据一个实施例的利用多神经网络用于实例语义分割的本系统的示例性框图。图1B是根据本公开的一个实施例的用于语义分割的方法的流程图。图2A示出根据本公开的一个实施例的图像的位置回归目标图的示例性示图。图2B示出根据本公开的一个实施例的根据两个输入图像计算的四个特征的两个示例。图3是根据本公开的一个实施例的用于细化对本文档来自技高网...

【技术保护点】
1.一种用于检测输入图像中的对象的实例的方法，所述方法包括：从所述输入图像提取多个核心实例特征；根据所述核心实例特征计算多尺度分辨率下的多个特征图；根据所述核心实例特征计算多个检测框，所述检测框中的每一个对应于在所述图像中检测到的对象；针对所述检测框的每个检测框计算所述特征图的多尺度分辨率下的多个分割掩膜；合并所述多尺度分辨率下的所述多个分割掩膜，以针对在所述输入图像中检测到的每个对象生成实例掩膜，所述实例掩膜与置信度得分相关联；通过由辅助网络计算像素级度量来细化所述实例掩膜的置信度得分；以及输出所述实例掩膜作为所述输入图像中的对象的检测到的实例。

【技术特征摘要】
2017.08.18 US 62/547,740;2018.01.04 US 15/862,6021.一种用于检测输入图像中的对象的实例的方法，所述方法包括：从所述输入图像提取多个核心实例特征；根据所述核心实例特征计算多尺度分辨率下的多个特征图；根据所述核心实例特征计算多个检测框，所述检测框中的每一个对应于在所述图像中检测到的对象；针对所述检测框的每个检测框计算所述特征图的多尺度分辨率下的多个分割掩膜；合并所述多尺度分辨率下的所述多个分割掩膜，以针对在所述输入图像中检测到的每个对象生成实例掩膜，所述实例掩膜与置信度得分相关联；通过由辅助网络计算像素级度量来细化所述实例掩膜的置信度得分；以及输出所述实例掩膜作为所述输入图像中的对象的检测到的实例。2.根据权利要求1所述的方法，其中，通过将所述输入图像提供至完全卷积实例语义分割网络来提取所述多个核心实例特征。3.根据权利要求2所述的方法，其中，通过将所述核心实例特征提供至特征金字塔网络来计算多尺度分辨率下的特征图。4.根据权利要求3所述的方法，其中，所述特征金字塔网络通过以下步骤来产生所述多个特征图中的特征图：对来自所述完全卷积实例语义分割网络的所述核心实例特征进行上采样；将卷积核应用于先前特征图以产生卷积的先前特征图；以及将上采样的核心实例特征和卷积的先前特征图进行组合来生成该特征图。5.根据权利要求4所述的方法，其中，所述特征金字塔网络通过使用最近邻技术来对所述核心实例特征进行上采样。6.根据权利要求4所述的方法，其中，所述特征金字塔网络通过使用去卷积层和插值卷积核来对所述核心实例特征进行上采样。7.根据权利要求1所述的方法，其中，合并所述多尺度分辨率下的所述多个分割掩膜以生成所述实例掩膜包括：计算交集与自身之比度量并移除其中所述交集与自身之比度量超过阈值的实例。8.根据权利要求1所述的方法，其中，通过将所述核心实例特征提供至区域建议网络来计算所述检测框。9.根据权利要求1所述的方法，还包括：针对所述输入图像的每个像素计算所属边界框，所述所属边界框中的每一个指定该像素所属的实例的边界框位置；针对所述输入图像中的每个像素计算多个密度度量；以及根据所述密度度量对所述实例掩膜进行过滤，以最小化根据所述实例掩膜和所述密度度量计算出的差分掩膜差异。10.根据权利要求9所述的方法，其中，针对所述输入图像的每个像素计算所属边界框包括：计算表示该像素的所属边界框的四个特征矢量，所述四个特征矢量包括最顶像素、最底像素、最左像素和最右像素。11.根据权利要求9所述的方法，其中，细化所述实例掩膜的置信度得分包括：根据所述图像中检测到的对象的所属边界框来计算平均边界框；计算所述实例掩膜和所述平均边界框之间的交并比度量；以及基于所述交并比度量来缩放所述实例掩膜的置信度得分。12.根据权利要求9所述的方法，其中，根据所述密度度量对所述实例掩膜进行过滤包括：针对所述图像中的每个像素计算像素密度差异；针对每个实例掩膜计算差分掩膜差异；以及最小化生存掩膜集合的差分掩膜差异。13.根据权利要求12所述的方法，其中，通过以下操作来最小化所述生存掩膜集合的差分掩膜差异：使用贪婪搜索通过迭代地切换具有更大差分掩膜差异的实例掩膜的生存状态来更新所述生存掩膜集合，直到所述差分掩膜差异被最小化为止。14.一种用于检测输入图像中的对象的实例的系统，所述系统包括：核心实例特征提取网络，其被配置为从所述输入...

【专利技术属性】
技术研发人员：穆斯塔法·坎依，李之仲，李正元，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国,KR