用于对对象分割的前景掩模校正的图像处理设备和方法技术

用于对对象分割的前景掩模校正的图像处理设备和方法，包括一系列图像帧的接收。利用与输入图像帧关联的深度信息，并通过使输入图像帧与输入图像帧的背景(BG)图像之差二值化，来估计第一FG掩模。在估计的第一FG掩模的边界区中，标识具有待被更新为第二掩模值的第一掩模值的第一组像素。根据估计的第一FG掩模的边界区中的所述第一组像素的标识，来确定第二FG掩模。

【技术实现步骤摘要】
用于对对象分割的前景掩模校正的图像处理设备和方法对相关申请的交叉引用/通过引用的合并无。
本公开的各个实施例涉及用于对象分割的图像处理。更具体地，本公开的各个实施例涉及用于对对象分割的前景(FG)掩模校正的图像处理设备和方法。
技术介绍
视频监视系统，机器人和汽车行业领域中的机器视觉系统，以及消费电子(CE)设备的领域的最新进展主要归因于图像处理技术的快速技术发展。一种这样的图像处理技术是图像分割，图像分割可以是指根据特定的规则，把图像分成若干区域。尽管已知把图像或视频的前景对象和背景分开的各种分割方法，不过，复杂性、精确性和计算资源要求会根据要达到的目的而变化。在常规的视频分割方法中，分割前景对象的常见途径是从新捕捉的图像中，减除预先确定的静态背景图像。减除之后的剩余像素可被标记为前景。预先确定的静态背景图像可以是在视频分割处理开始时生成的完全静态的背景图像。用户可以用图像捕捉设备来捕捉背景场景的多个图像，并对多个图像进行平均来生成完全静态的背景图像。于是，在预先确定的静态背景图像的生成期间，用户可能需要确保没有移动对象(包括用户)出现在捕捉的场景中。此外，如果图像捕捉设备移离其初始位置，那么可能需要再次生成静态背景图像，这是麻烦的。目前，分割前景对象的另一种途径是利用来自深度传感器的深度信息。然而，由于存在于多数深度传感器中的严重的噪声，严重依赖于深度值获得的前景对象区的边界通常不平滑。由于来自深度传感器的无效的深度值，在前景对象区内可能存在一些不希望的孔洞。通过描述的系统和参考附图在本申请的剩余部分中记载的本公开的一些方面的比较，对本领域技术人员来说，常规和传统途径的其他限制和缺点将变得明显。
技术实现思路
提供一种用于对对象分割的前景掩模校正的图像处理设备和方法，其实质上如附图至少之一中所示和/或结合附图至少之一所述地更完整地记载在权利要求书中。通过对连同附图(其中相似的附图标记是指相似的部分)对本公开的以下详细描述的检阅，可领会本公开的这些及其他特征和优点。附图说明图1是按照本公开的实施例图解说明用于对对象分割的前景掩模校正的示例网络环境的框图。图2是按照本公开的实施例图解说明用于对对象分割的前景掩模校正的示例图像处理设备的框图。图3是按照本公开的实施例图解说明公开的用于对对象分割的前景掩模校正的图像处理设备和方法的示例实现情形的详细框图。图4是按照本公开的实施例图解说明用于对对象分割的前景掩模校正的示例操作的流程图。具体实施方式在用于对对象分割的前景掩模校正的图像处理设备和方法之中，存在各种实现。本公开的示例方面可包括一种通过图像处理设备从图像捕捉设备接收一系列图像帧的方法。在接收的一系列图像帧之中的输入图像帧中，可估计对象的第一前景(FG)掩模。可利用与输入图像帧关联的深度信息来估计第一FG掩模。可通过使输入图像帧与输入图像帧的背景(BG)图像之差二值化来估计第一FG掩模。在估计的第一FG掩模的边界区中，可标识具有第一掩模值的第一组像素，该第一掩膜值待被更新为第二掩模值。可至少根据估计的第一FG掩模的边界区中的所述第一组像素的标识，来确定第二FG掩模。按照实施例，输入图像帧可被分离成FG区和BG区。分离的BG区可对应于BG图像。可根据面部检测和/或人体检测技术来检测待从分离的FG区中除去的一个或多个FG区，以用于第一FG掩模的估计。按照实施例，可以通过与边界区关联的每个像素的颜色分量、深度分量和空间位置，来标识第一组像素。根据从输入图像帧得到的边缘信息，可确定一个或多个FG掩模校正参数。所述第一组像素的标识进一步基于从输入图像帧得到的边缘信息。按照实施例，可对边界区的每个边界像素应用均值漂移滤波，以用于与估计的第一FG掩模关联的误标记的掩模值的校正，以便确定第二FG掩模。在均值漂移滤波的应用期间，在边界区附近的指定窗口大小中，可以利用多个样本向量。所述多个样本向量可对应于与边界区关联的每个像素的颜色分量、深度分量和空间位置。与边界区关联的像素的空间位置可通过该像素的纵坐标和横坐标指定。按照实施例，可以选择具有第一指定维数的核函数以用于对象的第一FG掩模的平滑。在估计的第一FG掩模的第一部分位于输入图像中的均匀区中的情况下，可选择具有第一指定维数的核函数。可以进行用于第一FG掩模的平滑的选择，以使估计的第一FG掩模的第一部分能够与从输入图像帧得到的对象的对应边缘一致。此外，在估计的第一FG掩模的第二部分与从输入图像帧得到的对象的对应边缘一致的情况下，可以选择具有第二指定维数的核函数。按照实施例，根据估计的第一FG掩模的边界区中的第一组像素的标识，可确定第二FG掩模。利用确定的对象的第二FG掩模，可以实时或近实时地动态分割出现在一系列图像帧中的对象。在所述分割期间，可以定期或不定期地更新BG图像。图1是按照本公开的实施例图解说明用于对象分割的FG掩模校正的示例网络环境的框图。参见图1，图中示出了网络环境100。网络环境100可包括图像处理设备102、图像捕捉设备104、显示设备106、通信网络108和一个或多个用户，比如用户110。还示出了通过图像捕捉设备104捕捉的一系列图像帧112。一系列图像帧112可包括一个或多个对象，比如对象114。图像处理设备102可经通信网络108通信耦接到图像捕捉设备104和显示设备106。图像处理设备102可包含可被配置成经通信网络108从图像捕捉设备104接收一系列图像帧的适当的逻辑、电路、接口和/或代码。图像处理设备102可被配置成估计接收的一系列图像帧之中的输入图像帧中的对象的第一FG掩模(比如初始FG掩模)。图像处理设备102还可被配置成根据估计的第一FG掩模的边界区中的特定像素的掩模值的标识和校正，来确定第二FG掩模(比如校正的FG掩模)。图像处理设备102的例子可包括(但不限于)数字相机、便携式摄像机、头戴式设备(HMD)、智能电话、智能眼镜、膝上型计算机、平板电脑、基于增强现实的设备、大型机、计算设备和/或其他消费电子(CE)设备。图像捕捉设备104可包含可被配置成捕捉一系列图像帧的适当的逻辑、电路、接口和/或代码。图像捕捉设备104可包括可使一系列图像帧的捕捉成为可能的图像感测电路。图像捕捉设备104可包含取景器，该取景器可被配置成构成和/或聚焦由图像捕捉设备104捕捉的场景。图像捕捉设备104的例子至少可包括(但不限于)相机、便携式摄像机、图像传感器和/或运动摄像机。显示设备106可包含可被配置成渲染从图像捕捉设备104接收的一系列图像帧的适当的逻辑、电路、接口和/或代码。显示设备106还可被配置成渲染对象的第一FG掩模和第二FG掩模。显示设备106的例子可包括(但不限于)显示屏、电视(TV)、膝上型计算机、平板计算机、智能电话和/或光学头戴式显示设备。通信网络108可包括图像处理设备102、图像捕捉设备104和显示设备106可通过其相互通信的介质。通信网络108的例子可包括(但不限于)因特网、云网络、长期演进(LTE)网络、无线保真(Wi-Fi)网络、无线个域网(WPAN)、无线局域网(WLAN)、局域网(LAN)、无线广域网(WWAN)、电话线(POTS)和/或城域网(MAN)。网络环境100中的各个设备可按照各种有线和无线通本文档来自技高网...

【技术保护点】
一种图像处理设备，包括：一个或多个电路，所述一个或多个电路被配置成：从图像捕捉设备接收一系列图像帧；利用与所述接收的一系列图像帧的输入图像帧关联的深度信息，并通过使所述输入图像帧与所述输入图像帧的背景图像之差二值化，来估计所述输入图像帧中的对象的第一前景掩模；在所述估计的第一前景掩模的边界区中，标识具有待被更新为第二掩模值的第一掩模值的第一组像素；和至少根据所述估计的第一前景掩模的所述边界区中的所述第一组像素的所述标识，来确定第二前景掩模。

【技术特征摘要】
2016.11.28 US 15/361,7231.一种图像处理设备，包括：一个或多个电路，所述一个或多个电路被配置成：从图像捕捉设备接收一系列图像帧；利用与所述接收的一系列图像帧的输入图像帧关联的深度信息，并通过使所述输入图像帧与所述输入图像帧的背景图像之差二值化，来估计所述输入图像帧中的对象的第一前景掩模；在所述估计的第一前景掩模的边界区中，标识具有待被更新为第二掩模值的第一掩模值的第一组像素；和至少根据所述估计的第一前景掩模的所述边界区中的所述第一组像素的所述标识，来确定第二前景掩模。2.按照权利要求1所述的图像处理设备，其中所述第一掩模值和所述第二掩模值对应于前景掩模值和背景掩模值中的一个。3.按照权利要求1所述的图像处理设备，其中所述一个或多个电路还被配置成：把所述输入图像帧分离成前景区和背景区，其中所述分离的背景区对应于所述背景图像。4.按照权利要求3所述的图像处理设备，其中所述一个或多个电路还被配置成：根据面部检测和/或人体检测技术，来检测待从所述分离的前景区中除去的一个或多个前景区，以用于所述第一前景掩模的所述估计。5.按照权利要求1所述的图像处理设备，其中所述一个或多个电路还被配置成：把与所述边界区关联的每个像素的颜色分量、深度分量和空间位置，用于所述边界区中的具有待被更新为所述第二掩模值的所述第一掩模值的所述第...

【专利技术属性】
技术研发人员：武田浩行，M·格哈拉维艾尔克哈萨里，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP