图像处理设备、方法和程序技术

公开了图像处理设备、方法和程序。图像处理设备包括：特征向量提取单元，其在输入图像中针对包括样本像素的每个局部区域提取样本像素的特征向量；权重计算单元，其针对划分所述输入图像的划分区域，基于与所述局部区域的位置关系来计算所述局部区域的权重；特征分布模型计算单元，其对于每个所述划分区域，计算用针对所述局部区域中的每一个计算出的所述权重对所述局部区域的特征向量加权的加权平均来作为所述局部区域中的特征分布模型；以及像素似然性计算单元，其基于特征分布模型，来计算输入图像中的每个像素的像素似然性。

【技术实现步骤摘要】

本公开内容涉及图像处理设备、方法和程序，尤其涉及能够以高准确度实施分割的图像处理设备、方法和程序。
技术介绍
将图像中的对象图像(被摄体图像或前景图像)与背景图像分离对于许多应用 (比如图像编辑或视频处理)有用。在许多方法中，利用图像的颜色信息作为线索来分离对象图像与背景图像。颜色信息被用来计算似然性，似然性是通过使用图像的全部或指定部分的像素的颜色计算概率模型，并根据像素所具有的颜色来从模型获得的。用于计算概率模型的对象的颜色或背景的颜色是通过如下的预处理指定的在预处理中由用户对图像的对象或背景区域的一部分像素进行标记，或者通过执行预定的软件程序来进行标记。在简单图像中，可根据基于背景图像或对象图像的颜色分布状态上的差别的似然性差来分离被摄体。然而，在更普遍的图像中颜色分布是复杂的，并且在许多情况下，以基于整个图像的颜色分布确定的似然性会获得对象图像与背景图像的不清楚的分离结果。可以考虑通过如下方式来改进颜色分离的方法不使用整个图像的颜色全局地获取颜色分布模型，而是如按照每个图像区域发生改变那样局部地获取颜色分布模型。作为计算局部颜色模型的一种方法，已经提出了如下方法利用对象在视频的连续帧中的移动所引起的变化较小来在根据移动预期的对象的边界上布置小窗口组； 计算小窗口组中的颜色分布模型；以及执行对象图像和背景图像的分离优化计算(参见 US7609888，名禾尔为"separating a video object from a background of a video sequence，，) 0对于颜色分布模型，存在一种利用高斯混合模型(GMM)计算和使用五维概率模型的方法，该五维概率模型除了 RGB的三个维度之外还包括XY-图像空间位置(参见 US2007/0237393，名禾尔为“image segmentation using spatial-color Gaussian mixture models” )。
技术实现思路
MM ^/TiSiM^il^^/ "separating a video object from a background of a video sequence”的US7609888的方法，需要通过提供对象的近似形状以将小窗口的位置指定在对应于对象边界的位置处。另外，因为仅从小窗口的内部确定对象的轮廓，所以为了安全需要将窗口的尺寸指定得稍大。如上所述，在名称为“S印arating a video object from a background of a video sequence” 的 US7609888 的方法中要输入许多条件。另夕卜，在名禾尔为 “image segmentation using spatial-color Gaussian mixture models")的US2007/0237393的方法中需要增加构成GMM的五维高斯函数的数量以表示详细的颜色分布，从而并不认为该方法高效。鉴于以上情形提出了本公开内容，并且尤其希望高效地计算局部颜色分布模型并计算分离精度较好的像素的似然性，从而能够以高精度从输入图像中分离出被摄体图像。根据本公开内容的一个实施例的图像处理设备包括特征向量提取单元，其在输入图像中针对包括样本像素的每个局部区域提取所述样本像素的特征向量；权重计算单元，其针对划分所述输入图像的划分区域，基于与所述局部区域的位置关系来计算所述局部区域的权重；特征分布模型计算单元，其对于每个所述划分区域，计算用针对所述局部区域中的每一个计算出的所述权重对所述局部区域的特征向量加权的加权平均来作为所述局部区域中的特征分布模型；以及像素似然性计算单元，其基于所述特征分布模型来计算所述输入图像中的每个像素的像素似然性。所述特征向量提取单元可针对所述输入图像中包括所述样本像素的每个所述局部区域，提取包括所述局部区域中的像素的颜色、运动向量、深度、过滤器响应值或法向向量的向量作为所述特征向量。所述样本像素可包括判别对象在所述图像中的位置的信息。所述权重计算单元可针对每个所述划分区域，基于图像空间中所述划分区域与所述局部区域之间的距离或者由多个所述图像实现的运动图像中的帧之间的距离，来计算所述局部区域中的每一个的权重。所述局部区域和所述划分区域可以是对所述输入图像进行层级划分的块结构，并且所述权重计算单元可基于在图像空间中所述输入图像中的所述划分区域和比所述划分区域的层级更高的所述局部区域之间的距离，或者基于由多个所述图像实现的运动图像中的帧之间的距离，来计算所述局部区域中的每一个的权重。所述特征分布模型计算单元可针对每个所述划分区域，生成所述局部区域的被量化的量化向量的多维直方图，用所述权重对所述多维直方图加权，从而计算所述划分区域的特征分布模型。所述特征分布模型计算单元可从所述输入图像的两个或更多个代表颜色获得颜色样本，用所述权重对所述局部区域中的所述颜色样本的识标识编号的直方图加权，从而计算所述划分区域的特征分布模型。根据本公开内容的另一实施例的图像处理设备的图像处理方法，所述图像处理设备包括特征向量提取单元，其在输入图像中针对包括样本像素的每个局部区域提取所述样本像素的特征向量；权重计算单元，其针对划分所述输入图像的划分区域，基于与所述局部区域的位置关系来计算所述局部区域的权重；特征分布模型计算单元，其对于每个所述划分区域，计算用针对所述局部区域中的每一个计算出的所述权重对所述局部区域的特征向量加权的加权平均来作为所述局部区域中的特征分布模型；以及像素似然性计算单元， 其基于所述特征分布模型来计算所述输入图像中的每个像素的像素似然性。所述方法包括利用所述特征向量提取单元，针对所述输入图像中的包括所述样本像素的每个所述局部区域，提取所述样本像素的特征向量；利用所述权重计算单元，针对所述输入图像的每个所述划分区域，基于与所述局部区域的位置关系来计算每个所述局部区域的权重；利用所述特征分布模型计算单元，对于每个所述划分区域，计算用针对所述局部区域中的每一个计算出的所述权重对所述局部区域的特征向量加权的加权平均来作为所述局部区域中的特征分布模型；以及利用所述像素似然性计算单元，基于所述特征分布模型来计算所述输入图像中的每个像素的像素似然性。根据本公开内容的又一实施例的在控制图像处理设备的计算机中执行处理的程序，所述图像处理设备包括特征向量提取单元，其在输入图像中针对包括样本像素的每个局部区域提取所述样本像素的特征向量；权重计算单元，其针对划分所述输入图像的划分区域，基于与所述局部区域的位置关系来计算所述局部区域的权重；特征分布模型计算单元，其对于每个所述划分区域，计算用针对所述局部区域中的每一个计算出的所述权重对所述局部区域的特征向量加权的加权平均来作为所述局部区域中的特征分布模型；以及像素似然性计算单元，其基于所述特征分布模型来计算所述输入图像中的每个像素的像素似然性。所述处理包括利用特征向量提取单元，在输入图像中针对包括样本像素的每个所述局部区域提取所述样本像素的特征向量；利用权重计算单元，针对所述输入图像的每个划分区域，基于与所述局部区域的位置关系来计算每个所述局部区域的权重；利用特征分布模型计算单元，对于每个所述划分区域，计算用针对所述局部区本文档来自技高网...

【技术保护点】

【技术特征摘要】
...

【专利技术属性】
技术研发人员：山田英史，
申请(专利权)人：索尼公司，
类型：发明
国别省市：