目的是使得可以任意地设置虚拟照相机的高度和移动速度，并且可以通过简单操作在短时间内获得虚拟视点视频。信息处理设备是用于设置与基于多个照相机获得的多个图像所生成的虚拟视点图像有关的虚拟视点的移动路径的信息处理设备，并且包括：指定单元，用于指定虚拟视点的移动路径；显示控制单元，用于在显示画面上显示与指定单元所指定的移动路径相对应的多个虚拟视点图像；接收单元，用于接收针对显示画面上所显示的多个虚拟视点图像至少之一的操作；以及改变单元，用于根据所述接收单元接收到针对虚拟视点图像的操作来改变指定单元所指定的移动路径。
Information processing equipment, methods and procedures related to the generation of virtual viewpoint images
【技术实现步骤摘要】
【国外来华专利技术】与虚拟视点图像的生成有关的信息处理设备、方法和程序
本专利技术涉及设置生成虚拟视点视频图像时的虚拟照相机路径的技术。
技术介绍
作为通过使用多个真实照相机所拍摄的视频图像来生成来自实际上不存在但虚拟地布置在三维空间内的照相机(虚拟照相机)的视频图像的技术，存在虚拟视点视频图像技术。为了获得虚拟视点视频图像，需要设置虚拟照相机路径等，为此，需要沿时间轴(t)适当地控制虚拟照相机的诸如位置(x，y，z)、转动角度视角(θ)和注视点(xo，yo，zo)等的参数。为了适当地设置和控制这许多参数，需要技能并且普通人难以进行该操作，并且只有具有专业知识的熟练和有经验的人才能进行该操作。关于这一点，专利文献1公开了如下方法：基于从上方观看作为对象的三维空间的情况下的平面图(例如，美术馆内的平面图)来设置虚拟照相机的参数，并检查指定位置处的虚拟视点视频图像。现有技术文献专利文献专利文献1：日本特开2013-90257
技术实现思路
专利技术要解决的问题然而，利用上述专利文献1的方法，需要多次重复进行诸如平面图上的虚拟照相机的参数设置、与该设置相对应的虚拟视点视频图像的所有序列的检查以及参数的修改(再设置)等的一系列操作，因此存在工作时间延长的问题。此外，利用该方法，最初，无法设置虚拟照相机的高度或移动速度，因此，无法获得这些参数被改变的虚拟视点视频图像。用于解决问题的方案根据本专利技术的信息处理装置是一种信息处理设备，其用于设置与虚拟视点图像有关的虚拟视点的移动路径，所述虚拟视点图像是基于多个照相机获得的多个图像所生成的，所述信息处理设备包括：指定单元，其被配置为指定虚拟视点的移动路径；显示控制单元，其被配置为在显示画面上显示与所述指定单元所指定的移动路径相对应的多个虚拟视点图像；接收单元，其被配置为接收针对所述显示画面上所显示的所述多个虚拟视点图像至少之一的操作；以及改变单元，其被配置为根据所述接收单元接收到针对虚拟视点图像的操作来改变所述指定单元所指定的移动路径。专利技术的效果根据本专利技术，还可以任意设置虚拟照相机的高度和移动速度，并且可以通过简单的操作来获得虚拟视点视频图像。通过以下参考附图对实施例的说明，本专利技术的其它特征将变得明显。附图说明图1是示出虚拟视点视频图像系统的结构的示例的图；图2是示出构成照相机组的各照相机的布置示例的图；图3A是示出根据第一实施例的虚拟视点视频图像生成时使用的GUI画面的示例的图；图3B是示出根据第一实施例的虚拟视点视频图像生成时使用的GUI画面的示例的图；图4是示出根据第一实施例的生成虚拟视点视频图像的处理的粗略流程的流程图；图5是示出根据第一实施例的虚拟照相机设置处理的详情的流程图；图6A是被摄体的位置和3D形状投影至的静态2D地图的示例；图6B是指定注视点路径和照相机路径的结果的示例；图6C是示出缩略图布置处理的结果的示例的图；图7是示出缩略图布置处理的详情的流程图；图8A是说明缩略图布置处理的过程的图；图8B是说明缩略图布置处理的过程的图；图8C是说明缩略图布置处理的过程的图；图9是示出照相机路径调整处理的详情的流程图；图10A是说明照相机路径调整处理的过程的图；图10B是说明照相机路径调整处理的过程的图；图10C是说明照相机路径调整处理的过程的图；图11A是示出添加了渐变图标的状态的图；图11B是说明各缩略图图像、虚拟照相机的移动速度和虚拟视点视频图像的再现时间之间的关系的图；图12是示出注视点路径调整处理的详情的流程图；图13A是说明注视点路径调整处理的过程的图；图13B是说明注视点路径调整处理的过程的图；图13C是说明注视点路径调整处理的过程的图；图13D是说明注视点路径调整处理的过程的图；图14是示出根据第二实施例的虚拟视点视频图像生成时的GUI画面的示例的图；图15是示出根据第二实施例的生成虚拟视点视频图像的处理的粗略流程的流程图；图16是示出根据第二实施例的虚拟照相机设置处理的详情的流程图；图17A是动态2D地图的开始帧的示例；图17B是以时间序列示出在动态2D地图上指定注视点路径的方式的图；图17C是以时间序列示出在动态2D地图上指定注视点路径的方式的图；图17D是以时间序列示出在动态2D地图上指定注视点路径的方式的图；图18A是以时间序列示出在注视点路径的指定完成之后的动态2D地图上指定照相机路径的方式的图；图18B是以时间序列示出在注视点路径的指定完成之后的动态2D地图上指定照相机路径的方式的图；图18C是以时间序列示出在注视点路径的指定完成之后的动态2D地图上指定照相机路径的方式的图；图19A是说明指定照相机路径时的模式之间的差异的图；图19B是说明指定照相机路径时的模式之间的差异的图；图20A是示出被摄体信息在空间上变窄的示例的图；图20B是示出被摄体信息在空间上变窄的示例的图；图21A是示出注视点路径指定接收处理的详情的流程图；图21B是示出注视点路径指定接收处理的详情的流程图；图22A是示出照相机路径指定接收处理的详情的流程图；图22B是示出照相机路径指定接收处理的详情的流程图；以及图23是示出路径调整处理的详情的流程图。具体实施方式在下文中，参考附图来说明本专利技术的实施例。以下实施例不旨在限制本专利技术，并且本实施例中所说明的特征的所有组合对于本专利技术的解决方案不一定是必不可少的。通过将相同的符号附加到相同的结构来给出说明。[第一实施例]图1是示出本实施例中的虚拟视点视频图像系统的结构的示例的图。图1所示的虚拟视点视频图像系统包括图像处理设备100和多个摄像设备(照相机组)109。然后，图像处理设备100包括CPU101、主存储器102、存储单元103、输入单元104、显示单元105和外部I/F106，并且各单元经由总线107连接。图像处理设备是用于设置与基于由多个摄像设备(照相机组)获得的多个图像所生成的虚拟视点图像有关的虚拟视点的移动路径的设备。首先，CPU101是用于通过执行存储在存储单元103等中的各种程序来集中控制图像处理设备100并进行各种处理的算术运算处理装置。主存储器102针对CPU101以及各种处理中所使用的数据和参数等的临时存储提供工作区域。存储单元103是用于存储各种程序和GUI(图形用户界面)显示所需的各种数据的大容量存储装置，并且例如使用诸如硬盘和硅盘等的非易失性存储器。输入单元104是诸如键盘、鼠标、电子笔和触摸面板等的装置，并且从用户接收操作输入。显示单元105包括液晶面板等，并且产生用于虚拟视点视频图像生成时的虚拟照相机路径设置的GUI显示等。外部I/F单元106经由LAN108与构成照相机组109的各照相机连接，并且进行视频图像数据和控制信号数据的发送和接收。总线107连接上述各单元并进行数据传送。照相机组109经由LAN108与图像处理设备100连接，并且基于来自图像处理设备100的控制信号，开始或停止摄像、改变照相机设置(快门速度和光圈等)、并且传送所拍摄的视频图像数据。在系统结构中，除了上述那些之外还可以存在各种组件，但是省略其说明。图2是示出构成照相机组109的各照相机的布置示例的图。这里，通过在橄榄球运动的体育场内安装十个照相机的情况给出说明。然而，构成照相机组109的照相机的数量不限于十个。在照相机数量少的情况下，本文档来自技高网...
【技术保护点】
1.一种信息处理设备，用于设置与虚拟视点图像有关的虚拟视点的移动路径，所述虚拟视点图像是基于多个照相机获得的多个图像所生成的，所述信息处理设备包括：指定单元，其被配置为指定虚拟视点的移动路径；显示控制单元，其被配置为在显示画面上显示与所述指定单元所指定的移动路径相对应的多个虚拟视点图像；接收单元，其被配置为接收针对所述显示画面上所显示的所述多个虚拟视点图像至少之一的操作；以及改变单元，其被配置为根据所述接收单元接收到针对虚拟视点图像的操作来改变所述指定单元所指定的移动路径。
【技术特征摘要】
【国外来华专利技术】2016.09.15 JP 2016-1805271.一种信息处理设备，用于设置与虚拟视点图像有关的虚拟视点的移动路径，所述虚拟视点图像是基于多个照相机获得的多个图像所生成的，所述信息处理设备包括：指定单元，其被配置为指定虚拟视点的移动路径；显示控制单元，其被配置为在显示画面上显示与所述指定单元所指定的移动路径相对应的多个虚拟视点图像；接收单元，其被配置为接收针对所述显示画面上所显示的所述多个虚拟视点图像至少之一的操作；以及改变单元，其被配置为根据所述接收单元接收到针对虚拟视点图像的操作来改变所述指定单元所指定的移动路径。2.根据权利要求1所述的信息处理设备，其中，所述显示控制单元确定所述显示画面上所要显示的虚拟视点图像的数量，使得所述多个虚拟视点图像在所述显示画面上彼此不重叠。3.根据权利要求1所述的信息处理设备，其中，在所述多个虚拟视点图像按所述移动路径的预定间隔显示的条件下两个以上的虚拟视点图像在所述显示画面上彼此重叠的情况下，所述显示控制单元减少所述显示画面上所要显示的虚拟视点图像的数量。4.根据权利要求1所述的信息处理设备，其中，所述显示控制单元在从所述移动路径的起点和终点至少之一起的预定范围内显示比所述移动路径上的其它部分中的虚拟视点图像更多的虚拟视点图像。5.根据权利要求1所述的信息处理设备，其中，所述显示控制单元在从所述移动路径中的虚拟视点的变化大的点起的预定范围内显示比所述移动路径上的其它部分中的虚拟视点图像更多的虚拟视点图像。6.根据权利要求1所述的信息处理设备，其中，所述显示控制单元确定所述多个虚拟视点图像中的各虚拟视点图像...
【专利技术属性】
技术研发人员：花本贵志，岩尾知赖，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本,JP
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。