图像和视频的内容感知大小调整制造技术

本发明专利技术涉及对输入图像进行大小调整的方法，该方法首先构建网格图。所述网格图包括分别针对所述输入图像中的各像素的一个节点，并且所述网格图中的相邻节点由弧连接。各弧是有向的并且具有相关联的代价。使用代价函数对所述网格图的所述弧应用切割。由所述切割确定像素的接缝，使得所述接缝中的像素的坐标施加单调性约束和连接性约束。然后，根据所述接缝对所述输入图像进行大小调整以产生输出图像，同时与所述输入图像相比使所述输出图像的能量变化最小化。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术总体上涉及图像处理，并且更具体地说，涉及对图像和视频进行大小调整。
技术介绍
接缝焊接(seam carving)是用于对内容感知(content aware)图像进行大小调 整(resizing)的有效技术。可能需要针对显示设备利用不同高宽比或不同分辨率对图像 进行大小调整。以类似的方式，应该可以通过改变视频的高宽比、分辨率和时间跨度三者的 任意组合来针对电视机、计算机终端、蜂窝电话和其他手持显示设备对视频进行大小调整。对视频进行接缝焊接的朴素扩展(naive extention)是将各视频帧视为图像， 并独立于其他帧来对各帧进行大小调整。然而，由于缺少时间相关性，这导致抖动伪影 (artifact)0常规的接缝焊接还具有其他限制。在出现凸显(salient)空间结构的图像中，接 缝焊接可能生成令人生厌的伪影。这些伪影会在视频中被放大，其中，空间伪影可能被时间 伪影放大和增加。实际上，由于人类的感知方式，在视频中时间伪影甚至可能更加令人生 厌，因为人的眼睛对运动高度敏感。对于图像和视频的大小调整，已知有多种方法和技术。已经将基于人的时空感知 的注意模型用来检测图像和视频中的感兴趣区域(ROI)。然后，ROI用来限定要在设备上使 用的显示路径，其中，显示大小小于视频(或图像)大小。视频的最不重要的内容被裁剪， 以较大比例保留重要特征，基本上产生类似放大的效果。虚拟摄像机运动或者伪放大/缩小效果已经被用于以视觉愉悦的方式呈现内容。 类似地，裁剪和缩放已经与虚拟摄像机运动一起用来模仿使宽屏特征的胶片和DVD适应标 准电视格式的处理。一种系统基于图像中的对象和诸如面部这样的检测到的对象来最小化 信息损失。然而，裁剪丢弃了相当大的信息量，并且例如在重要的特征位于视频帧的边缘附 近的情况下会有问题可能是有问题的，而这在宽镜头或肩上镜头中是普遍的，因为这些镜 头通常用于拍摄两个演员之间的对话。一种替代方式是将图像分割成背景层和前景层，然后对各层独立地进行缩放。然 后，这些层被重新组合来产生大小调整后的图像。该技术关键是依赖于分割的质量，而这就 其本身而言是困难且复杂的任务。另一种方法是基于对象。输入视频被分割成对象和活动。然后，短视频提要可以 由分割成的对象构成。该方法仅处理重新定时的视频，而不改变其空间范围。另一种方法使用非均勻的全局弯折(warping)，并关注于对包括空间的边、面部检 测和运动检测的视频的有效凸显度图。一种替代方法将2D流形映射到新视频序列中的帧。被称为演进时间前部 (Evolving Time Fronts)的该方法使得能够操纵动态视频场景中的时间。图划分和基于图的代价最小化技术被广泛用于图像和视频处理应用，例如，图像 恢复、图像分割、对象识别以及形状重建。基于相似度测度和约束将表示图像的图划分成两 个不相交的子集。一种方法使用图切割来将2D或3D纹理修补成图像。
技术实现思路
本专利技术的实施方式提供了用于内容感知图像和视频的大小调整的方法和系统。所 述方法针对2D图像去除或者插入ID像素接缝，并针对诸如视频这样的3D空时体去除或插 入2D流形。本专利技术使用适合于3D体的图切割。在网格图中，表示输入图像中的像素的节点通 过有向弧来连接。在该形式中，接缝由网格图中的弧上的切割来定义，从而所产生的接缝中 的像素是单调且相连的(即直接相邻)。另外，本专利技术提供了能够改善经过大小调整后的图像和视频的可视质量的能量函 数。本专利技术使用前向能量，并将接缝应用于输入图像以产生输出图像，从而与输入图像相 比，输出图像的能量变化(ΔΕ)被最小化。该准则可以表示为ΔΕ = IE (I0)-[E (I1)-E (Ci)]其中，E是能量函数，例如逐个像素强度差，I1是输入图像，I0是输出图像，Ci是具 有相关联代价的像素的接缝。附图说明图1是用于根据本专利技术的一个实施方式的内容感知大小调整方法的流程图；图2是包括接缝的示例性输入图像，该接缝用于不同网格图构建；图3A-3D是图像划分和图2的对应网格图的框图；图3Ε是根据本专利技术的实施方式的网格图的框图；图4A-4C是根据本专利技术的实施方式的图切割的示意图；图5是空时视频体和形成2D流形的接缝的框图；图6是作为被去除接缝的函数的输出图像能量变化图；图7A-7C示出了垂直接缝的三种可能的方向；图8A-8C比较了分别针对输入图像的现有技术的输出图像和根据本专利技术的一个 实施方式的由输入图像获得的输出图像；图9Α-9Β示出了具有现有技术的接缝的图像和具有根据本专利技术的一个实施方式 的接缝的图像；以及图IOA和IOB示出了图9Α-9Β的对应能量图像。具体实施例方式本专利技术的实施方式提供了使用从图切割获得的像素的接缝来对图像和视频进行 大小调整的方法。如本文所定义的，“接缝”是像素从图像的顶边到相对的底边或者从左边 到相对的右边的单调且相连的路径。对于视频(即图像的时间序列)来说，接缝可以是时 间维度上的2D流形。通过去除或者插入一个接缝，图像的大小在水平、垂直或者时间维度 上被减小或者增大1个像素。可以重复地去除或插入接缝，以产生期望大小的输出图像。在视频中，我们确定帧序列中的2D接缝(流形)。可以反复应用接缝来增大或减 小输出图像的大小或者去除输入图像中的特定部分来实现对象去除。可以通过复制接缝的 像素并可选地将大小调整后的像素混合到输出图像中，来增大输入图像的大小。在一些实施方式中，图像中的能量与像素强度、颜色或在视频情况下的运动有关。 可以根据能量函数来确定图像中的能量。例如，如本文所描述的，能量函数可以考虑局部凸 显性的测度，包括强度、亮度、颜色、视运动(apparent motion)以及象似性(iconicity)的 变化。我们构建通过有向弧连接的节点的网格图。对于输入图像中的各像素存在一个节 点，并且基于像素的能量对有向弧指派代价(cost)。具有无穷大代价的有向弧被用来施加 单调性和连接性约束，如下面更详细描述的。或者，我们搜索视频帧中具有低重要性的区域。这通过独立地评估各帧上的能量 函数并随后在各像素位置取最大能量来实现。该能量用来对所有帧进行大小调整。我们称 通过该静态方法确定的接缝为“静态”接缝，因为它们在各帧之间不随时间变化。在我们较早于2007年3月6日由Avidan等递交的序列号为11/682，521的已转 让给 Mitsubishi Electric Research Laboratories 公司的美国专利申请 “Method for Retargeting Images”中，我们描述了基于内容的图像重定目标方法，该方法使用动态规划 来从输入图像中去除最小代价的接缝。然而，一些输出图像仍然具有令人生厌的伪影。我 们认识到这些伪影的出现是由于我们未考虑接缝去除对大小调整后的输出图像的能量的 影响。在我们较早的工作中，我们使由于接缝去除造成的输入图像的能量(即，后向能量) 变化最小化。现在，我们最小化输出图像中的能量(即，前向能量)变化。我们还认识到， 我们之前的方法对于对视频进行大小调整来说并不实际。本专利技术通过使用对多维网格图进行切割而非之前的动态规划来解决这些问题。另 外，作为对最小代价的接缝进行去除的替代，当与输入图像进行比较时，我们现在对本文档来自技高网...

【技术保护点】
一种用于对图像进行大小调整的方法，该方法包括以下步骤：根据输入图像构建网格图，所述网格图针对所述输入图像中的各个像素分别包括一个节点，其中，所述网格图中的相邻节点由弧连接，并且各弧是有向的并且与一个代价相关联；使用代价函数对所述网格图的所述弧应用切割；根据所述切割确定像素的接缝，其中，所述接缝中的像素对应于所述网格图中与所述切割的一侧直接相邻的节点，并且其中，所述接缝中的像素的坐标施加单调性约束和连接性约束；以及根据所述接缝对所述输入图像进行大小调整以产生输出图像，同时与所述输入图像相比使所述输出图像的能量变化最小化。

【技术特征摘要】
【国外来华专利技术】US 2007-11-30 60/991,361一种用于对图像进行大小调整的方法，该方法包括以下步骤根据输入图像构建网格图，所述网格图针对所述输入图像中的各个像素分别包括一个节点，其中，所述网格图中的相邻节点由弧连接，并且各弧是有向的并且与一个代价相关联；使用代价函数对所述网格图的所述弧应用切割；根据所述切割确定像素的接缝，其中，所述接缝中的像素对应于所述网格图中与所述切割的一侧直接相邻的节点，并且其中，所述接缝中的像素的坐标施加单调性约束和连接性约束；以及根据所述接缝对所述输入图像进行大小调整以产生输出图像，同时与所述输入图像相比使所述输出图像的能量变化最小化。2.根据权利要求1所述的方法，其中，所述网格图是由图像的时间序列构建的，且所述 网格图是三维的，并且所述接缝形成所述网格图的空间维度为χ和y且时间维度为t的流形。3.根据权利要求2所述的方法，其中，所述能量是基于像素的强度，并且所述代价由能量函数确定。4.根据权利要求3所述的方法，其中，所述能量函数考虑强度的局部变化。5.根据权利要求1所述的方法，该方法进一步包括以下步骤 使用所述弧的代价来施加所述单调性约束和所述连接性约束。6.根据权利要求1所述的方法，其中，将所述最小化表示为 ΔΕ = E (I0)-[E (I1)-E (Ci)]其中，E是能量函数，I1是输入图像，I。是输出图像，Ci是具有与所述切割相关联的代 价的像素的接缝。7.根据权利要求1所述的方法，该方法进一步包括以下步骤 呈现所述输出图像。8.根据权利要求1所述的方法，其中，所述能量根据下式将空间L1范数梯度幅度能量Espatial与时间梯度幅度能量Et p。ral进行组合...

【专利技术属性】
技术研发人员：迈克尔鲁宾斯坦，阿里埃勒沙米尔，什穆埃尔阿维丹，马修E布兰德，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：JP[]