内容感知图像旋转制造技术

根据本公开内容的实现，以内容感知方式对图像内容进行旋转。在一种实现中，在图像上形成一个网格，并且识别图像内容中的图像线。使用用于对这些线的一个子集旋转预定的旋转角度，而对其它线旋转与该预定的旋转角度不同的角度的能量函数，对该图像进行变形。举一个例子，对于在校正之后旨在是水平或垂直的线，按照将使得它们变成水平或垂直的旋转角度进行旋转，而对倾斜线旋转不同于该旋转角度的角度。

【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
数字图像(尤其是随便拍摄的数字图像)通常出现倾斜和旋转。常规的图像编辑技术通过对图像旋转某个倾斜角，并将作为结果的倾斜图像裁剪成期望的大小或者宽高比(即，提供常规形状的矩形边界)来校正非期望的倾斜。但是，裁剪步骤不可避免地会删除内容。在一些实例中，5度的旋转和后续裁剪，可能会删除20％的原始内容。其它方法尝试增加内容，而不是裁剪，并具有不同的成功。在另一种提出的解决方案中，在图像内容中产生接缝，在这些接缝处增加或删除内容。在这些解决方案的每一种中，无论是由于删除还是增加了内容，经校正的图像都不同于原始图像内容。
技术实现思路
本申请描述了图像旋转校正的示例性实施例。在各个实施例中，用户可以识别用于进行基于旋转的图像校正的图像。在一些实施例中，图像旋转校正系统在图像内容上形成输入网格。输入网格可以具有与该图像内容的原始边界相对应的边界。在一些实施例中，在已应用了该网格之后，校正系统根据能量函数，对该网格进行优化。在一个实施例中，该能量函数可以具有旋转保持项、线保持项、形状保持项和边界保持项。例如，线保持项可以包括旋转项和平滑项二者，这两项一起指示针对不同组的线的不同的、但相互有关的旋转。在一个实施例中，该能量函数需要校正系统对水平线和垂直线旋转固定的旋转角度，而对所有其它倾斜线旋转某个不同的角度。随后，校正系统可以根据该优化的网格，对该图像内容进行变形，以产生校正的图像。在一些实施例中，输入图像的图像内容和经校正的图像的<br>图像内容是相同的，这意味着该网格优化并不增加或者删除内容。本概要部分介绍了将在以下的具体实施例方式中进一步描述的内容感知图像旋转校正的简化概念。本概要部分并不是旨在标识所声明主题的必要特征，也不是用于限制所声明主题的范围。附图说明参照附图描述具体实施方式。在这些附图中，附图标记的最左侧数字标识该附图标记第一次出现时的附图。不同附图中对于相同附图标记的使用，指示类似或相同的项。图1示出了包括示例性图像旋转校正系统的示例性环境。图2更详细地示出了图1的示例性图像旋转校正系统。图3示出了根据本公开内容的一种实现，编辑接收到的图像内容的示例性场景。图4示出了根据本公开内容的实现来编辑接收到的图像，与使用常规技术来编辑接收到的图像的对比性示例。图5示出了图像内容的内容感知旋转的示例性方法。图6示出了图像内容的内容感知旋转的示例性方法。具体实施方式概述如上所述，图像(尤其是随便捕获的图像)可能具有非意愿的倾斜。人类视觉研究教示对图像倾斜的感知是由于倾斜的水平线(或者其它水平线)。与所有其它倾斜的直角相比，人类眼睛对法线的直角(即，其具有一个水平边和一个垂直边)更为敏感。视觉研究还教示人类并不能很好地感知锐角或者钝角的绝对值。利用这些研究，本公开内容的实现寻求以下面的方式对内容进行旋转：分别将用户预期是垂直和水平的线变得垂直和水平，而允许其它线具有更大的旋转灵活度。结果是一个赏心悦目的效果，尽管图像内容中的一些发生了变形。本公开内容描述了一种图像旋转校正系统，其使用内容感知旋转图像处理，以快速和有效的方式对原始图像内容进行旋转。经校正的图像可以包括全部的原始图像内容，例如，无需在旋转之后进行裁剪或者填充空间。根据本专利技术的一些方面，在图像上形成网格以便进行弯曲，并且识别图像内容中的图像线。使用对这些线的子集旋转预定的旋转角度，而将其它线旋转与该预定的旋转角度不同的角度的能量函数，来对该图像进行弯曲。举一个例子，对于旨在校正之后是水平或垂直的线，按照将使得它们变成水平或垂直的旋转角度进行旋转，而对倾斜线旋转不同于该旋转角度的角度。在一些实现中，可以根据这些倾斜线的方向，对它们进行组合，使得对这些分组进行类似地处理。在一些实现中，该能量函数包括多个项。例如，在下面所描述的示例性框架中，该能量函数可以包括：旋转保持项，用于促进保持图像内容的旋转，以抵消关于旋转角度的旋转；线保持项，用于定义线和网格的顶点之间的关系；形状保持项，用于促进某些形状在变形之后的连续性；和/或边界保持项，用于将经优化的网格约束到图像内容的边界或者某个其它边界。本申请描述了多个并且不同的实现和实施例。下面的部分描述适用于实施各种实现的示例性环境。接着，本申请描述用于实现图像旋转校正系统的示例性系统、设备和过程。示例性环境图1示出了可用于实现图像旋转校正系统102的示例性环境100。在一个实施例中，环境100可以包括客户端设备104、服务器106和网络108。客户端设备104和/或服务器106可以经由网络108，与图像旋转校正系统102通信数据。尽管将图1中的图像旋转校正系统102示出为与客户端设备104和服务器106分开，但在一个实施例中，可以将图像旋转校正系统102的功能包括和分布在一个或多个客户端设备104和/或一个或多个服务器106之中。例如，客户端设备104可以包括图像旋转校正系统102的功能的一部分，而图像旋转校正系统102的其它功能可以包括在服务器106中。在一些实施例中，可以将图像旋转校正系统102的所有功能都包括在客户端设备104中，或者包括在服务器106上。可以将客户端设备104实现成各种常规的计算设备中的任何一种，例如，其包括：笔记本或便携式计算机、手持设备、上网本、互联网工具、便携式阅读设备、电子书阅读器设备、平板设备或slatecomputer、游戏控制台、移动设备(例如，移动电话、个人数字助理、智能电话等等)、媒体播放器等等或者其组合。网络108可以是无线网络或有线网络或者其组合。网络108可以是彼此之间互连的单独网络的集合，并充当为单个大型网络(例如，互联网或内联网)。这些单独网络的例子包括，但不限于：电话网络、有线电视网络、局域网(LAN)、广域网(WAN)和城域网(MAN)。此外，这些单独网络可以是无线网络或有线网络或者其组合。在所示出的实施例中，设备104包括耦合到存储器112的一个或多个处理器110。存储器112包括一个或多个应用114(例如，图像捕获应用、图像旋转校正应用等等)和其它程序数据116。存储器112可以耦合到其它设备、与其它设备相关联和/或对于其它设备可访问，这些其它设备例如为网络服务器、路由器、服务器106和/或其它客户端设备(没有示出)。该一个或多个处理器110可以包括中央处理单元(CPU)、图形处理单元(GPU)、微处理器、数字信号处理器等等。存储器112可以被配置为存储一个或多个软件和/或固件模块，其本文档来自技高网...

【技术保护点】
一种用于使用计算设备，对由照相机捕获的数字图像进行校正的系统，所述系统包括：一个或多个处理器；存储器，其通信地耦合到所述一个或多个处理器，其存储有可执行指令，其中当所述可执行指令被所述一个或多个处理器执行时，配置所述一个或多个处理器执行包括以下各项的动作：接收包含图像内容的输入图像，其中所述图像内容与由照相机捕获的景物相对应，所述图像内容旋转了一个旋转角度；识别与所述景物中的线性特征相对应的线；向所述图像内容适配网格，所述网格具有与所述图像内容的边界相对应的网格边界；将所述线分组到多个分组中，其中所述多个分组包括一个或多个倾斜分组和水平分组或垂直分组中的至少一个；根据能量函数对所述网格进行优化，以定义优化的网格，所述能量函数包括：旋转保持项，用于促进保持所述图像内容的旋转，以抵消关于所述旋转角度的所述旋转；线保持项，用于定义所述线和所述网格的顶点之间的关系；形状保持项；以及边界保持项，用于将所述优化的网格约束到所述图像内容的所述边界；以及根据所述优化的网格，对所述图像内容进行变形，以产生校正的图像。

【技术特征摘要】
【国外来华专利技术】2013.11.27 US 14/092,0321.一种用于使用计算设备，对由照相机捕获的数字图像进行校正的系统，所述系统包
括：
一个或多个处理器；
存储器，其通信地耦合到所述一个或多个处理器，其存储有可执行指令，其中当所述可
执行指令被所述一个或多个处理器执行时，配置所述一个或多个处理器执行包括以下各项
的动作：
接收包含图像内容的输入图像，其中所述图像内容与由照相机捕获的景物相对应，所
述图像内容旋转了一个旋转角度；
识别与所述景物中的线性特征相对应的线；
向所述图像内容适配网格，所述网格具有与所述图像内容的边界相对应的网格边界；
将所述线分组到多个分组中，其中所述多个分组包括一个或多个倾斜分组和水平分组
或垂直分组中的至少一个；
根据能量函数对所述网格进行优化，以定义优化的网格，所述能量函数包括：
旋转保持项，用于促进保持所述图像内容的旋转，以抵消关于所述旋转角度的所述旋
转；
线保持项，用于定义所述线和所述网格的顶点之间的关系；
形状保持项；以及
边界保持项，用于将所述优化的网格约束到所述图像内容的所述边界；以及
根据所述优化的网格，对所述图像内容进行变形，以产生校正的图像。
2.根据权利要求1所述的系统，其中，对所述图像内容进行所述变形包括：将作为水平
线或垂直线出现在所述校正的图像中的线旋转所述旋转角度。
3.根据权利要求1或2所述的系统，其中，对所述图像内容进行所述变形包括：将作为倾
斜线出现在所述校正的图像中的线旋转不同于所述旋转角度的角度。
4.根据权利要求1-3中的任何一项所述的系统，其中，所述校正的图像包含所述输入图
像的所述图像内容的全部。
5.根据权利要求1-4中的任何一项所述的系统，其中，所述校正的图像只包含所述输入
图像的所述图像内容。
6.根据权利要求1-5中的任何一项所述的系统，其中，对所述网格进行优化包括：使用
半二次分裂技术，对所述能量函数进行优化。
7.一种其上存储有处理器可执行指令的计算机可读介质，其中在所述处理器可执行指
令被执行时，配置处理器执行包括以下各项的动作：
从具有照相机的设备接收与由所述照相机捕获的景物相对应的输入图像，其中所述输
入图像相对于期望的方向是倾斜的；
在所述输入图像上生成输入网格；
根据具有旋转保持项、线保持项、形状保持项和边界保持项的能量函数，对所述输入网
格进行优化，以生成优化的网格...

【专利技术属性】
技术研发人员：K·何，H·常，J·孙，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US