显示控制设备和显示控制方法技术

在用于与虚拟视点的位置和方向有关的操作的操作画面上显示与多个虚拟视点的位置和方向相对应的多个虚拟视点图像。基于通过由多个照相机对摄像对象区域进行拍摄而获得的多个拍摄图像来生成与多个虚拟视点中的被选择作为位置和方向操作对象的虚拟视点相对应的虚拟视点图像，并将该虚拟视点图像发送到其它设备。

Display control equipment and display control method

【技术实现步骤摘要】
【国外来华专利技术】显示控制设备和显示控制方法
本专利技术涉及一种基于拍摄图像显示虚拟视点图像的技术。
技术介绍
近年来，使用放置在不同位置的多个照相机在多视点进行同步摄像、并且使用通过摄像获得的多个图像(多个视点图像)不仅生成来自照相机安装位置的图像而且生成来自任意视点(虚拟视点)的图像(虚拟视点图像)的技术已经受到关注。可以通过以下处理来实现基于多个视点图像的虚拟视点图像的生成和查看。即，在诸如服务器等的图像处理单元中收集由多个照相机拍摄的图像，图像处理单元执行诸如基于虚拟视点的渲染等的处理以生成虚拟视点图像，然后在用户终端上显示虚拟视点图像。使用虚拟视点图像的服务使得视频制作者能够根据例如通过拍摄足球比赛或篮球比赛所获得的视频来制作强大的视点内容。另外，该服务还使得正在查看内容的用户能够通过自由地移动他/她的视点来观看比赛，从而向用户提供高临场感。专利文献1公开了由用户选择多个虚拟视点之一的技术。现有技术文献专利文献专利文献1：日本特开2014-215828
技术实现思路
专利技术要解决的问题根据专利文献1中描述的专利技术，用户可以选择多个准备的虚拟视点之一，以显示选择的虚拟视点处的虚拟视点图像。另外，由于虚拟视点的大致位置通过字符串显示，因此可以区分虚拟视点。然而，例如，如果虚拟视点的操作者在体育的实况广播中使用，则他/她在切换虚拟视点之前不能知道切换之后将在虚拟视点图像中示出什么。因此，可能无法根据性能适当地选择虚拟视点。本专利技术提供用于使得用户能够选择适当的虚拟视点的技术。用于解决问题的方案根据本专利技术的一个方面，提供一种显示控制设备，其特征在于，包括：获取部件，用于获取与多个虚拟视点的位置和方向相对应的多个虚拟视点图像；以及显示控制部件，用于在用于与所述虚拟视点的位置和方向有关的操作的操作画面上显示由所述获取部件所获取的所述多个虚拟视点图像，其中，基于通过由多个照相机对摄像对象区域进行拍摄而获得的多个拍摄图像来生成与所述多个虚拟视点中被选择作为位置和方向操作对象的虚拟视点相对应的虚拟视点图像，并且将该虚拟视点图像发送到其它设备。专利技术的效果根据本专利技术的布置可以使得用户能够选择适当的虚拟视点。根据以下结合附图的描述，本专利技术的其它特征和优点将变得明显，其中在所有附图中，相同的附图标记表示相同或相似的部件。附图说明并入说明书并构成说明书的一部分的附图示出了本专利技术的实施例，并且与说明书一起用于说明本专利技术的原理。图1是示出系统的布置的示例的框图；图2是示出显示控制设备100的功能布置的示例的框图；图3是示出由系统执行的处理的流程图；图4A是示出显示画面的布置的示例的图；图4B是示出虚拟视点的布置的示例的图；图5是示出“与多个虚拟视点有关的信息”的结构的示例的表；图6是示出显示控制设备100的功能布置的示例的框图；图7是示出由系统执行的处理的流程图；图8是示出输入装置的示例的图；图9A是示出由系统执行的处理的流程图；图9B是示出由系统执行的处理的流程图；图10是示出显示控制设备100的功能布置的示例的框图；图11A是示出由系统执行的处理的流程图；图11B是示出由系统执行的处理的流程图；图12A是用于说明第四实施例的图；图12B是用于说明第四实施例的表；图13A是用于说明第四实施例的表；图13B是用于说明第四实施例的表；图13C是用于说明第四实施例的表；图13D是用于说明第四实施例的表；图13E是用于说明第四实施例的表；图13F是用于说明第四实施例的表；图14A是示出虚拟视点设置的示例的图；以及图14B是示出表信息的结构的示例的表。具体实施方式下面将参考附图描述实施例。注意，下面要描述的实施例是本专利技术的详细实现的示例或在所附权利要求中描述的布置的详细示例。[第一实施例]将参考图1所示的框图描述根据本实施例的系统的布置的示例。如图1所示，根据本实施例的系统包括显示控制设备100、图像生成设备110和摄像设备109-1至109-n(n是2以上的整数)。首先，将描述摄像设备109-1至109-n。提供摄像设备109-1至109-n以从多个不同方向拍摄被摄体的视频。摄像设备109-1至109-n各自将形成拍摄视频的各个帧的图像(拍摄图像)输出至图像生成设备110。摄像设备109-1至109-n和图像生成设备110之间的连接模式不限于特定模式。也就是说，摄像设备109-1至109-n和图像生成设备110之间的连接模式可以是菊花链或星形网络。此外，连接模式可以是无线网络、有线网络或其组合。接着将描述显示控制设备100。显示控制设备100请求图像生成设备110生成基于虚拟视点的虚拟视点图像，并进行图像生成设备110根据请求生成的虚拟视点图像的显示控制。显示控制设备100由诸如PC(个人计算机)、智能电话或平板终端设备等的计算机设备形成。CPU(中央处理单元)101使用ROM(只读存储器)102和RAM(随机存取存储器)103中存储的计算机程序和数据来执行处理。然后，CPU101在执行或控制稍后被描述为由显示控制设备100执行的各个处理的同时，控制整个显示控制设备100的操作。ROM102存储不需要重写的诸如启动程序和设置数据等的计算机程序和数据。RAM103具有用于存储从ROM102或HDD(硬盘驱动器)104加载的计算机程序和数据的区域。此外，RAM103具有用于存储经由通信I/F(接口)106从图像生成设备110接收的数据(例如，虚拟视点图像)的区域。RAM103具有CPU101用于执行各种处理的工作区域。这样，RAM103可以适当地提供各种区域。HDD104保存OS(操作系统)以及用于使CPU101执行或控制如由显示控制设备100执行的稍后描述的各个处理的计算机程序和数据。HDD104中保存的数据包括在以下描述中被描述为已知信息的那些数据。HDD104中保存的计算机程序和数据在CPU101的控制下适当地加载到RAM103中，并由CPU101处理。显示单元105由CRT或液晶画面等形成，并且可以使用图像或字符来显示CPU101的处理结果。注意，显示单元105可以是用于将CPU101的处理结果投影为图像或字符的投影设备。显示单元105可以是触摸面板画面、(诸如HMD(头戴式显示器)等的)头戴式显示装置、手持式显示装置、智能电话或平板终端设备。通信I/F106用作用于与图像生成设备110进行数据通信的接口。显示控制设备100和图像生成设备110之间的连接模式不限于特定模式。例如，显示控制设备100和图像生成设备110之间的网络可以是无线网络、有线网络或其组合。操作单元107由诸如键盘、鼠标、操纵杆、游戏垫或触摸面板等的用户接口形成，并且可以由用户操作以向CPU10本文档来自技高网...

【技术保护点】
1.一种显示控制设备，其特征在于，包括：/n获取部件，用于获取与多个虚拟视点的位置和方向相对应的多个虚拟视点图像；以及/n显示控制部件，用于在用于与所述虚拟视点的位置和方向有关的操作的操作画面上显示由所述获取部件所获取的所述多个虚拟视点图像，/n其中，基于通过由多个照相机对摄像对象区域进行拍摄而获得的多个拍摄图像来生成与所述多个虚拟视点中被选择作为位置和方向操作对象的虚拟视点相对应的虚拟视点图像，并且将该虚拟视点图像发送到其它设备。/n

【技术特征摘要】
【国外来华专利技术】20171221 JP 2017-2453921.一种显示控制设备，其特征在于，包括：
获取部件，用于获取与多个虚拟视点的位置和方向相对应的多个虚拟视点图像；以及
显示控制部件，用于在用于与所述虚拟视点的位置和方向有关的操作的操作画面上显示由所述获取部件所获取的所述多个虚拟视点图像，
其中，基于通过由多个照相机对摄像对象区域进行拍摄而获得的多个拍摄图像来生成与所述多个虚拟视点中被选择作为位置和方向操作对象的虚拟视点相对应的虚拟视点图像，并且将该虚拟视点图像发送到其它设备。


2.根据权利要求1所述的显示控制设备，其特征在于，通过广播将所述虚拟视点图像发送到所述其它设备。


3.一种显示控制设备，其特征在于，包括：
获取部件，用于获取与多个虚拟视点的位置和方向相对应的多个虚拟视点图像；以及
显示控制部件，用于在用于与所述虚拟视点的位置和方向有关的操作的操作画面上显示由所述获取部件所获取的所述多个虚拟视点图像，
其中，由所述显示控制部件在所述操作画面上显示的所述多个虚拟视点图像至少之一是基于通过由多个照相机对摄像对象区域进行拍摄而获得的多个拍摄图像生成的图像，以及
响应于用于添加虚拟视点的用户操作，所述显示控制部件在所述操作画面上新显示与该虚拟视点的位置和方向相对应的虚拟视点图像。


4.一种显示控制设备，其特征在于，包括：
获取部件，用于获取与多个虚拟视点的位置和方向相对应的多个虚拟视点图像；以及
显示控制部件，用于在用于与所述虚拟视点的位置和方向有关的操作的操作画面上显示由所述获取部件所获取的所述多个虚拟视点图像，
其中，由所述显示控制部件在所述操作画面上显示的所述多个虚拟视点图像至少之一是基于通过由多个照相机对摄像对象区域进行拍摄而获得的多个拍摄图像生成的图像，以及
响应于预定的用户操作，所述显示控制部件从在所述操作画面上显示与多个第一虚拟视点相对应的多个第一虚拟视点图像的状态切换到在所述操作画面上显示与多个第二虚拟视点相对应的多个第二虚拟视点图像的状态。


5.一种显示控制设备，其特征在于，包括：
获取部件，用于获取与多个虚拟视点的位置和方向相对应的多个虚拟视点图像；以及
显示控制部件，用于在用于与所述虚拟视点的位置和方向有关的操作的操作画面上显示由所述获取部件所获取的所述多个虚拟视点图像，
其中，由所述显示控制部件在所述操作画面上显示的所述多个虚拟视点图像至少之一是基于通过由多个照相机对摄像对象区域进行拍摄而获得的多个拍摄图像生成的图像，以及
响应于用于删除虚拟视点的用户操作，所述显示控制部件进行控制以不在所述操作画面上显示与该虚拟视点的位置和方向相对应的虚拟视点图像。


6.一种显示控制设备，其特征在于，包括：
获取部件，用于获取与多个虚拟视点的位置和方向相对应的多个虚拟视点图像；以及
显示控制部件，用于在用于与所述虚拟视点的位置和方向有关的操作的操作画面上显示由所述获取部件所获取的所述多个虚拟视点图像，
其中，由所述显示控制部件在所述操作画面上显示的所述多个虚拟视点图像至少之一是基于通过由多个照相机对摄像对象区域进行拍摄而获得的多个拍摄图像生成的图像，以及
响应于用于重新布置虚拟视点图像的用户操作，所述显示控制部件改变所述操作画面上显示的所述多个虚拟视点图像中的至少一些虚拟视点图像的显示顺序。


7.根据权利要求1至6中任一项所述的显示控制设备，其特征在于，同与所述多个虚拟视点中的未被用户选择的虚拟视点相对应的虚拟视点图像相比，所述显示控制部件将与所述多个虚拟视点中的被用户选择的虚拟视点相对应的虚拟视点图像显示得更大。


8.根据权利要求1至6中任一项所述的显示控制设备，其特征在于，与所述多个虚拟视点中的未被用户选择的虚拟视点相对应的虚拟视点图像是相比与所述多个虚拟视点中的被用户选择的虚拟视点相对应的虚拟视点图像通过负荷更小的生成处理来生成的图像。


9.根据权利要求1至6中任一项所述的显示控制设备，其特征在于，同与所述多个虚拟视点中的未被用户选择的虚拟视点相对应的虚拟视点图像的帧频相比，所述显示控制部件以更高的帧频显示与所述多个虚拟视点中的被用户选择的虚拟视点相对应的虚拟视点图像。


10.根据权利要求1至9中任一项所述的显示控制设备，其特征在于，还包括接受部件，所述接受部件用于接受用户从与所述显示控制部件所显示的所述多个虚拟视点图像相对应的所述多个虚拟视点中选择作为位置和方向操作对象的虚拟视点的操作。


11.根据权利要求1至9中任一项所述的...

【专利技术属性】
技术研发人员：奥谷泰夫，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本;JP