图像处理系统和图像处理方法技术方案

本发明专利技术涉及一种图像处理系统，其包括接收器，用于接收定义输出范围的输入值；生成器，用于生成具有被附着到三维构造上的目标图像的三维模型；决策部，用于根据输入值来决定视角和视点位置；以及投影仪，用于从视点投影三维模型，其中，当输入值在第一范围内时，决策部优选地通过改变视角来改变视场内的目标图像的范围；当输入值在第二范围内时，决策部优选地通过改变视点来改变视场内的目标图像的范围，所述第二范围为比所述第一范围更广角度侧。

Image processing system and image processing method

The invention relates to an image processing system, which includes a receiver for receiving the output range of input value; generator for generating has been attached to the 3D model of target image on three-dimensional structure; decision making, to decide for perspective and viewpoint based on the input value; and the projector, for which from the 3D model, view the projection, when the input values in the first range, preferably to change the decision-making department within the field of view of the target image range by changing the angle of view; when the input value is in the range of second, preferably to change the decision-making department within the field of view of the target image range by changing the point of view, the second range is more wide than the the first range of side.

【技术实现步骤摘要】
本申请是申请日为2013年12月26日、申请号为201310738978.3、专利技术名称为“图像处理系统和图像处理方法”的专利技术专利申请的分案申请。相关申请的交叉引用本申请基于2012年12月26日提交的日本专利申请No.2012-282899，并主张其优先权，其全部内容以引用的方式合并入本文中。
技术介绍
本专利技术涉及一种图像处理技术的改进，更具体地，涉及一种用于根据三维模型来投影广角图像的图像处理系统和图像处理方法。迄今已知全景图像浏览器作为用于在平面上显示摄像机等拍摄的图像的显示系统。全景图像浏览器是一种将多个从不同方向拍摄的局部重合的目标图像组合起来并在显示器中显示所组合的图像的系统。众所周知的全景图像浏览器具有多种功能，能够改变显示范围例如摇摆(视场的左右移动)、俯仰(视场的上下移动)和缩放(放大和缩小)。全景图像浏览器常常具有这种技术：将附着在圆柱体侧表面或球体外表面上的图像以该圆柱体或该球体重心上的视图投影到平面上。在这种情况下，在平面显示器上，附着在三维表面上的图像被投影成平面图像，并根据用户设置的每个摇摆、俯仰和缩放设置值进行显示。该图像的焦点取决于圆柱体的侧表面或球体的表面。然而，现存的全景图像浏览器存在的问题是：当通过显示范围的改变操作，特别是通过缩放使视场变得比特定范围更广时，在图像的视场边缘上会产生失真等现象。作为被设计用于显示例如全景图像的广角图像的技术，已知有非专利文献(下文中称为非专利文献1)：在纽约的ACM出版的第93号文章，ACMTransactionsonGraphics(TOG)ProceedingsofACMSIGGRAPH2007，2007年7月，第3期，第26卷，J.Kopf等人所著的“CapturingandViewingGigapixelImages”。非专利文献1公开了以能够获得全景图像的视场来显示图像的浏览器。在非专利文献1中公开的浏览器，连续控制其投影方法以在小的视场内执行透视投影以及在大的视场内执行圆柱状投影或球状投影。然而，由于非专利文献1中的一般技术是根据缩放而改变投影方法，所以导致进行实时处理时处理复杂并且需要高性能的计算。另一方面，近来，不但在个人电脑中，而且在计算性能相对低的智能电话或平板电脑终端中也频繁提供有全景图像浏览器。在这种计算性能相对低的信息终端设备中，很难执行如非专利文献1所述的、以30fps(帧/秒，FrameperSecond)进行诸如实时显示的复杂处理。近来，信息终端设备中除包括CPU之外还常常包括作为图像计算器的GPU(GraphicsProcessingUnit,图形处理单元)。典型的，GPU包括诸如OPENGL等的对应于API(ApplicationProgrammingInterface，应用程序接口)的计算功能，并且能够进行高速图像处理计算。然而，由于在智能电话等中提供的GPU是OPENGL的子集版本，因此其计算模型相对简单。考虑到上述情况，描述了这样的技术发展：即使在计算性能有限的信息终端设备中，在提供高速显示的同时，可以在以大的视场显示时，降低因目标的顶/底和左/右边缘被放大而导致的失真等。
技术实现思路
考虑到上述现有技术中的问题而提出本专利技术。本专利技术的目的是：提供一种图像处理系统、一种图像处理方法以及一种程序，部分降低了对计算性能的需求，用于显示全景图像显示器的大的视场，其能够降低因目标的顶/底和左/右边缘被放大而导致的失真等，并且高速显示。为了达到该目的，本专利技术的实施方式提供：一种图像处理系统，包括接收器，用于接收定义输出范围的输入值；生成器，用于生成具有被附着到三维构造上的目标图像的三维模型；决策部，用于根据输入值来决定视点位置和视角；以及投影仪，用于从视点投影三维模型，其中，当输入值在第一范围内时，决策部优选地通过改变视角来改变视场内的目标图像的范围；当输入值在第二范围内时，决策部优选地通过改变视点来改变视场内的目标图像的范围，所述第二范围的角度边界比所述第一范围的角度边界更广。附图说明图1示意性地说明了根据本专利技术实施例的全向图像显示系统。图2是根据本专利技术实施例的全向图像显示系统的全向图像输出处理功能的框图。图3是全向图像输出处理过程中图像数据的流程图。图4A-4D示出了在鱼眼镜头的情况下使用的投影方法的示例。图5A和5B示出了根据本专利技术实施例的全向图像格式的图像数据结构。图6示出了在三维图形显示中执行的透视投影。图7是示出了根据本专利技术实施例的图像处理器执行的全向图像显示处理的流程图。图8示出了在预先确定的范围内显示全向图像的图像浏览器屏幕的示例。图9是根据本专利技术实施例，放置在图像处理器中的平面图像生成器的功能框图。图10示出了模型坐标系统、摄像机的视点位置(d)、视角(θ)和场角之间的关系。图11A-11E示出了根据设计的缩放值来决定图像生成参数的方法。图12示出了根据本专利技术实施例的图像处理器的硬件配置。具体实施方式下文将给出根据本专利技术的实施例的描述，但本专利技术的实施例并不限于下面的实施例。在实施例的描述中，将作为图像处理系统的例子而描述全向图像显示系统，包括全向成像设备和图像处理器，其通过全向成像设备接收图像，并为显示设备生出输出图像等。图1示意性示出了根据本专利技术实施例的全向图像显示系统100的配置。图1所示的全向图像显示系统100包括：全向成像设备110、智能电话120、平板电脑终端122和个人计算机124。智能电话120、平板电脑终端122和个人计算机124中的每一个都构成了根据本实施例的图像处理器，其具有作为图像浏览器的功能，在显示器等中显示由全向成像设备110获得的图像。在如图1所示的本实施例中，全向成像设备110和图像处理器120到124通过无线LAN(LocalAreaNetwork，局域网)、无线USB(UniversalSerialBus,通用串行总线)、Bluetooth(注册商标)等无线连接。然而，这些设备间的连接并不限于上述连接。由全向成像设备110获得的预先确定格式的图像经由无线通信被发送给图像处理器120到124，并在经过预先确定的图像处理之后，在图像处理器120到124中所提供的显示设备上被显示。尽管上述连接状态是示例，也可以使用例如有线LAN、有线USB等有线方式。在本文所描述的实施例中，全向成像设备110包括两个成像光学系统，其中的每一个都包括透镜光学系统和固态成像元件，并且通过各个成像光学系统从每个方向拍摄来生成图像。透镜光学系统可被配置为具有六组七镜头的鱼眼镜头。鱼眼镜头的场角大于180度(＝360度/n；n＝2)，优选地为185度或更大，更优选地190度或更大。在本实施例中，鱼眼镜头包括所谓的广角镜头和超广角镜头。全向成像设备110将由多个固态成像元件中的每一个所成像的图像组合起来，并以4π弧度立体角生成图像(下文中，称为全向图像)。全向图像具有从拍摄点可见的全向视场。如上所述，由于鱼眼镜头的视角大于180度的场角，因此在每个成像光学系统所获得的图像的超过180度的部分中，拍摄范围是重叠的。在组合图像时，将重叠的部分被指代为基本数据，其表示同一物体，然后生成全向图像。在本文描述的实施例中，生成4π弧度立体角的全向图像。然而，另一具体实施例也可以获本文档来自技高网...

【技术保护点】
一种在显示器上显示全向图像作为平面图像的方法，包括：接收放大命令的步骤；在显示器上显示全向图像的步骤；其中平面图像包括在预定放大范围内以圆形状显示全向图像的三维模型的内侧的图像。

【技术特征摘要】
2012.12.26 JP 2012-2828991.一种在显示器上显示全向图像作为平面图像的方法，包括：接收放大命令的步骤；在显示器上显示全向图像的步骤；其中平面图像包括在预定放大范围内以圆形状显示全向图像的三维模型的内侧的图像。2.一种在显示器上显示全向图像作为平面图像的方法，包括：接收放大命令的步骤；在显示器上显示全向图像的步骤；其中当缩小结束时在显示器上以球状显示全向图像。3.一种图像处理装置，包括：图像生成器，用于在三维表面上投影图像以成为平面图像；图像输出部，用于显示由图像生成器生成的平面图像；以及接收器，用于接收作为图像输出范围的改变操作的输入值，该输入值至少包括位置改变命令或缩放指定值；其中，当输入值包括放大或缩小图像的命令和位置改变命令时，图像生成器在图像输出部上显示投影的平面图像，其中至少在三维表面上的图像的视点或视角以及显示位置已经改变。4.根据权利要求3所述的装置，其中根据位置改变命令关于在三维表面上的图像的位置改...

【专利技术属性】
技术研发人员：庄原诚，今江望，原田亨，山本英明，上田康雄，伊藤洋一，泽口聪，竹中博一，增田宪介，佐藤裕之，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本;JP