图像处理装置和图像处理方法制造方法及图纸

本发明专利技术涉及能够减轻绘制处理的处理负荷的图像处理装置和图像处理方法。图像处理装置设置有：确定单元，其确定在与由多个成像装置中的每一个捕获的捕获图像对应的纹理图像中是否捕获到被摄体；以及输出单元，其将确定单元的确定结果添加到被摄体的3D模型的3D形状数据中，然后输出所得到的数据。本技术可以应用于例如生成对象的3D模型的数据的图像处理装置等。装置等。装置等。

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置和图像处理方法


[0001]本技术涉及图像处理装置和图像处理方法，更具体地，涉及允许减少绘制处理的处理负荷的图像处理装置和图像处理方法。

技术介绍

[0002]已经提出了各种技术来生成和发送3D模型。例如，已经提出了如下方法：将被摄体的3D模型的三维数据转换为从多个视点捕获的多个纹理图像和深度图像，发送到再现装置，并且在再现侧上显示(例如，参见专利文献1)。
[0003]引用列表
[0004]专利文献
[0005]专利文献1：WO 2017/082076 A。

技术实现思路

[0006]本专利技术要解决的问题
[0007]再现装置需要确定与多个视点对应的多个纹理图像中的哪一个可以用于粘贴要绘制的对象的颜色，并且该确定需要大量处理负荷。
[0008]鉴于这种情况作出了本技术，并且本技术可以减少再现侧上的绘制处理的处理负荷。
[0009]问题的解决方案
[0010]本技术的第一方面提供一种图像处理装置，包括：确定单元，其确定在与由多个成像装置中的每一个捕获的捕获图像对应的纹理图像中是否捕获到被摄体；以及输出单元，其将确定单元的确定结果添加到被摄体的3D模型的3D形状数据中，然后输出确定结果。
[0011]本技术的第一方面提供了一种图像处理方法，包括：由图像处理装置确定在与由多个成像装置中的每一个捕获的捕获图像对应的纹理图像中是否捕获到被摄体，以及将确定结果添加到被摄体的3D模型的3D形状数据中，然后输出确定结果。
[0012]在本技术的第一方面中，确定在与由多个成像装置中的每一个捕获的捕获图像对应的纹理图像中是否捕获到被摄体，并且确定结果被添加到被摄体的3D模型的3D形状数据中，然后被输出。
[0013]本技术的第二方面提供一种图像处理装置，包括：绘制处理单元，其基于包含确定结果的3D形状数据来生成被摄体的3D模型的图像，3D形状数据是添加了确定结果的3D模型的3D形状数据，确定结果指示在纹理图像中是否捕获到被摄体。
[0014]本技术的第二方面提供了一种图像处理方法，包括：由图像处理装置基于包含确定结果的3D形状数据来生成被摄体的3D模型的图像，3D形状数据是添加了确定结果的3D模型的3D形状数据，确定结果指示在纹理图像中是否捕获到被摄体。
[0015]在本技术的第二方面，基于包含确定结果的3D形状数据来生成被摄体的3D模型的图像，3D形状数据是添加了确定结果的3D模型的3D形状数据，确定结果指示在纹理图像中
是否捕获到被摄体。
[0016]注意，可以通过使计算机执行程序来实现根据本技术的第一方面和第二方面的图像处理装置。要由计算机执行的程序可以通过经由传输介质传输或者记录在记录介质上来提供。
[0017]图像处理装置可以是独立的装置，或者可以是构成一个装置的内部块。
附图说明
[0018]图1是示出应用本技术的图像处理系统的概要的图。
[0019]图2是示出应用本技术的图像处理系统的配置示例的框图。
[0020]图3是示出布置多个成像装置的示例的图。
[0021]图4是示出3D模型数据的示例的图。
[0022]图5是示出选择用于在对象的3D形状上粘贴颜色信息的纹理图像的图。
[0023]图6是示出在存在遮挡的情况下粘贴纹理图像的图。
[0024]图7是示出可见性标志的示例的图。
[0025]图8是示出生成装置的详细配置示例的框图。
[0026]图9是示出可见性确定单元的处理的图。
[0027]图10是示出可见性确定单元的处理的图。
[0028]图11是示出打包网格数据和可见性信息的处理的示例的图。
[0029]图12是示出再现装置的详细配置示例的框图。
[0030]图13是示出生成装置的3D模型数据生成处理的流程图。
[0031]图14是示出图13的步骤S7中的可见性确定处理的细节的流程图。
[0032]图15是示出再现装置的相机选择处理的流程图。
[0033]图16是示出绘制处理单元的绘制处理的流程图。
[0034]图17是示出生成装置的修改例的框图。
[0035]图18是示出三角形图块细分处理的示意图。
[0036]图19是示出三角形图块细分处理的示意图。
[0037]图20是示出三角形图块细分处理的示意图。
[0038]图21是示出应用本技术的计算机的一个实施方式的配置示例的框图。
具体实施方式
[0039]下面将描述用于执行本公开内容的方式(在下文中被称为实施方式)。注意，将按以下顺序进行描述。
[0040]1.图像处理系统的概述
[0041]2.图像处理系统的配置示例
[0042]3.图像处理系统的特征
[0043]4.生成装置22的配置示例
[0044]5.再现装置25的配置示例
[0045]6.3D模型数据生成处理
[0046]7.可见性确定处理
[0047]8.相机选择处理
[0048]9.绘制处理
[0049]10.修改例
[0050]11.计算机的配置示例
[0051]<1.图像处理系统的概要>
[0052]首先，参照图1，将描述应用本技术的图像处理系统的概要。
[0053]应用本技术的图像处理系统由以下部件构成：分发侧，其根据通过利用多个成像装置进行成像而获得的捕获图像生成并分发对象的3D模型；以及再现侧，其接收从分发侧发送的3D模型，然后再现并显示3D模型。
[0054]在分发侧，使用多个成像装置从预定成像空间的外围对预定成像空间进行成像，从而获得多个捕获图像。捕获图像由例如运动图像构成。然后，通过使用从不同方向的多个成像装置获得的捕获图像，生成要在成像空间中显示的多个对象的3D模型。对象的3D模型的生成也称为3D模型的重建。
[0055]图1示出了如下示例：将成像空间设置为足球场的场地，并且通过布置在构成场地外围的看台侧上的多个成像装置对场地上的球员等进行成像。在执行3D模型的重构时，例如，将场上的球员、裁判、足球和球门提取为对象，并且针对每个对象生成(重构)3D模型。所生成的大量对象的3D模型的数据(在下文中也称为3D模型数据)被存储在预定存储装置中。
[0056]然后，响应于来自再现侧的请求，发送存储在预定存储装置中的成像空间中存在的大量对象中的预定对象的3D模型，并且在再现侧再现和显示这些3D模型。
[0057]再现侧可以在成像空间中存在的大量对象中仅请求要查看的对象，并且使显示装置显示该对象。例如，再现侧假设其成像范围与观看者的观看范围一致的虚拟相机，在成像空间中存在的大量对象中仅请求能够由虚拟相机捕获的对象，并且使显示装置显示这些对象。虚拟相机的视点可以被设置为任何位置，使得观看者可以从现实世界中的任何视点看到球场本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种图像处理装置，包括：确定单元，其确定在与由多个成像装置中的每一个捕获的捕获图像对应的纹理图像中是否捕获到被摄体；以及输出单元，其将所述确定单元的确定结果添加到所述被摄体的3D模型的3D形状数据中，然后输出所述确定结果。2.根据权利要求1所述的图像处理装置，其中，所述被摄体的3D模型的3D形状数据是用多边形网格表示所述被摄体的3D形状的网格数据。3.根据权利要求2所述的图像处理装置，其中，所述确定单元针对所述多边形网格的每个三角形图块确定是否捕获到所述被摄体作为所述确定结果。4.根据权利要求2所述的图像处理装置，其中，所述输出单元通过将所述确定结果存储在所述多边形网格的法线向量信息中来将所述确定结果添加到所述3D形状数据中。5.根据权利要求1所述的图像处理装置，其中，所述纹理图像是对由所述成像装置捕获的捕获图像的镜头失真和颜色进行了校正的图像。6.根据权利要求1所述的图像处理装置，还包括：深度图生成单元，其通过使用相机参数和与所述多个成像装置对应的多个纹理图像来生成深度图，其中，所述确定单元通过使用所述深度图的深度值生成所述确定结果。7.根据权利要求1所述的图像处理装置，还包括：细分单元，其以如下方式划分三角形图块，该方式使得指示是否捕获到所述被摄体的确定结果之间的边界与所述被摄体的3D模型的三角形图块之间的边界一致。8.根据权利要求1所述的图像处理装置，还包括：图像发送单元，其发送相机参数以及与所述成像装置的捕获图像对应的...

【专利技术属性】
技术研发人员：泉伸明，
申请(专利权)人：索尼集团公司，
类型：发明
国别省市：