修改三维模型的方法及电子设备技术

本发明专利技术提供一种修改三维模型的方法及电子设备。在方法中，通过扫描真实环境获得多个二维图像。在二维图像中识别真实环境的真实对象。基于二维图像产生三维模型。三维模型与真实对象的深度信息有关。接收用于修改三维模型中的一个或多个虚拟对象的修改操作。虚拟对象对应于一个或多个真实对象。基于二维图像中的真实对象的识别结果以及真实对象的深度信息将修改操作映射到二维图像中，以产生修改图像。基于修改图像产生修改的三维模型，以提供适当的修改结果。适当的修改结果。适当的修改结果。

【技术实现步骤摘要】
修改三维模型的方法及电子设备


[0001]本公开涉及一种三维模型产生，确切地说，涉及一种修改三维模型的方法及电子设备。

技术介绍

[0002]在显示器上查看对应于真实场景或真实对象的三维模型对于用户来说是方便的。用户可改变三维模型的任何视角或在所关注区域上放大/缩小。现今，用户可使用深度相关相机或三维扫描器来扫描真实场景或真实对象。此外，基于扫描结果产生对应三维模型也不会花费很长时间。
[0003]应注意到，三维模型是以数字格式记录的。有时，用户可使用特定应用程序来修改三维模型。
[0004]然而，如果直接修改三维模型，那么有时可能会产生不恰当模型。举例来说，由于用户删除了位在后方的另一对象，对象的某一部分从三维模型去除。

技术实现思路

[0005]三维模型经修改后，虚拟对象的部分可能不正常。相应地，本公开涉及一种的修改三维模型的方法及电子设备，以提供修改结果。
[0006]在示例性实施例中的一个中，方法包含但不限于以下步骤。通过扫描真实环境获得多个二维图像。在二维图像中识别真实环境的真实对象。基于二维图像产生三维模型。三维模型与真实对象的深度信息有关。接收用于修改三维模型中的一个或多个虚拟对象的修改操作。虚拟对象对应于一个或多个真实对象。基于二维图像中的真实对象的识别结果以及真实对象的深度信息将修改操作映射到二维图像中，以产生修改图像。基于修改图像产生修改的三维模型。
[0007]在示例性实施例中的一个中，电子设备包含但不限于存储器和处理器。存储器用于存储程序代码。所述处理器耦接存储器且加载程序代码以执行：通过扫描真实环境获得二维图像；在二维图像中识别真实环境的真实对象；基于二维图像产生三维模型；接收用于修改三维模型中的一个或多个虚拟对象的修改操作；基于二维图像中的真实对象的识别结果以及真实对象的深度信息将修改操作映射到二维图像中以产生修改图像；以及基于修改图像产生修改的三维模型。虚拟对象对应于真实对象中的一个或多个。所述三维模型与真实对象的深度信息有关。
[0008]基于上述，根据本专利技术实施例的修改三维模型的方法及电子设备，在三维模型上针对虚拟对象的修改操作可映像到二维图像，而二维图像中对应于修改操作的数个真实对象之间的位置关系将用于重新产生三维模型。藉此，仅从修改的三维模型中修改操作对应的虚拟对象，且将其他虚拟对象维持相同。
[0009]然而，应理解，此概述可能不含有本公开的所有方面和实施例，不意图以任何方式具有限制性或局限性，且如本文中所公开的专利技术由且将由本领域普通技术人员理解为涵盖
对其所作的明显改进和修改。
附图说明
[0010]包含附图以提供对本公开的进一步理解，且附图并入本说明书并构成本说明书的一部分。附图示出本公开的实施例，并与描述一起用于解释本公开的原理。
[0011]图1为示出根据本公开的示例性实施例中的一个的电子设备的方块图；
[0012]图2为示出根据本公开的示例性实施例中的一个的修改三维模型的方法的流程图；
[0013]图3A为示出根据本公开的示例性实施例中的一个的三维模型的示意图；
[0014]图3B到图3C为示出根据本公开的示例性实施例中的一个的虚拟对象的删除操作的示意图；
[0015]图4为示出根据本公开的示例性实施例中的一个的虚拟对象的添加操作的示意图。
[0016]附图标号说明
[0017]100：电子设备；
[0018]110：存储器；
[0019]120：显示器；
[0020]130：图像捕捉装置；
[0021]150：处理器；
[0022]MA1、MA2：修改区域；
[0023]OV1、OV2：一部分；
[0024]S210、S220、S230、S240、S250、S260：步骤；
[0025]VC：虚拟椅子；
[0026]VL：虚拟落地灯；
[0027]VT：虚拟桌子。
具体实施方式
[0028]现将详细参考本专利技术的优选实施例，其实例在附图中示出。只要可能，相同附图标号在附图和描述中用以指代相同或相似部分。
[0029]图1为示出根据本公开的示例性实施例中的一个的电子设备100的方块图。参考图1，电子设备100包含但不限于存储器110、显示器120、图像捕捉装置130以及处理器150。在一个实施例中，电子设备100可为智能电话、平板计算机、笔记本计算机或服务器。在一些实施例中，电子设备100适于扩展现实(XR)或其它现实相关技术。
[0030]存储器110可以是任何类型的固定或可移动随机存取存储器(random
‑
access memory,RAM)、只读存储器(read
‑
only memory,ROM)、闪存、类似装置或上文装置的组合。存储器110记录程序代码、装置配置、缓冲器数据或永久性数据(例如图像、模型、深度信息或虚拟对象材料)，且稍后将描述这些数据。
[0031]显示器120可以是LCD、LED显示器或OLED显示器。
[0032]图像捕捉装置130可以是相机(例如单色相机或彩色相机)、深相机、录像机或能够
捕捉图像的其它图像捕捉装置。在一个实施例中，图像捕捉设备130安置于电子设备100的主体处以在外部捕捉。举例来说，当用户穿戴电子设备100时，图像捕捉设备130可位于用户眼睛前方的位置处。在一些实施例中，电子设备100可进一步包含深度传感器、飞行时间相机，或能够获得外部对象的深度或距离信息的其它传感器。
[0033]处理器150耦接存储器110、显示器120以及图像捕捉装置130。处理器150被配置成加载存储在存储器110中的程序代码，以执行本公开的示例性实施例的程序。
[0034]在一些实施例中，处理器150可以是中央处理单元(central processing unit,CPU)、微处理器、微控制器、图形处理单元(graphics processing unit,GPU)、数字信号处理(digital signal processing,DSP)芯片、现场可编程门阵列(field
‑
programmable gate array,FPGA)。处理器150的功能还可通过独立电子装置或集成电路(integrated circuit,IC)来实施，且处理器150的操作还可通过软件来实施。
[0035]在一个实施例中，HMD或数字眼镜包含存储器110、显示器120、图像捕捉装置130以及处理器150。在一些实施例中，处理器150可不与显示器120和/或图像捕捉装置130安置在同一设备中。然而，分别配备有显示器120、图像捕捉装置130以及处理器150的设备可还包含具有兼容通信技术(例如蓝牙(Bluetooth)、Wi
‑
Fi以及IR无线通信)的通信收发器或物理传输线以彼此发射或接收数据。举例来说，处理器150可安置在HM本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种修改三维模型的方法，包括：通过扫描真实环境获得二维图像；在所述二维图像中识别所述真实环境的真实对象；基于所述二维图像产生三维模型，其中所述三维模型与所述真实对象的深度信息有关；接收用于修改所述三维模型中的至少一个虚拟对象的修改操作，其中所述至少一个虚拟对象对应于所述真实对象中的至少一个；基于所述二维图像中的所述真实对象的识别结果以及所述真实对象的所述深度信息将所述修改操作映射到所述二维图像中，以产生修改图像；以及基于所述修改图像产生修改的三维模型。2.根据权利要求1所述的修改三维模型的方法，其中将所述修改操作映射到所述二维图像中的步骤包括：将所述修改操作的修改区域映射到所述二维图像的图像层中，其中所述图像层对应于对所述三维模型的所述修改操作的视角，且所述修改区域对应于所述至少一个虚拟对象的轮廓；基于所述真实对象的所述识别结果选择位于所述图像层的所述修改区域内的所述真实对象；以及基于所选真实对象的所述深度信息产生所述修改图像。3.根据权利要求2所述的修改三维模型的方法，其中所述修改操作为从所述三维模型删除所述至少一个虚拟对象，所述至少一个虚拟对象对应于所选真实对象中的至少一个第一真实对象，且产生所述修改图像的步骤包括：基于所述所选真实对象的所述深度信息确定所述所选真实对象中的第二真实对象是否位于所述图像层的所述修改区域内；以及基于所述第二真实对象的所确定结果从所述图像层删除所述修改区域。4.根据权利要求3所述的修改三维模型的方法，其中从所述图像层删除所述修改区域的步骤包括：确定所述第二真实对象位于所述修改区域内，且进一步将所述第二真实对象保留在所述修改图像中。5.根据权利要求3所述的修改三维模型的方法，其中从所述图像层删除所述修改区域的步骤包括：确定所述第二真实对象并不位于所述修改区域内，且进一步从所述图像层删除整个所述修改区域。6.根据权利要求3所述的修改三维模型的方法，其中在从所述图像层删除所述修改区域的步骤之后，所述修改三维模型的方法还包括：基于邻近对象的深度信息填补对应于所述修改区域的删除区域。7.根据权利要求2所述的修改三维模型的方法，其中所述修改操作为将所述至少一个虚拟对象添加到所述三维模型中，且产生所述修改图像的步骤包括：基于所述所选真实对象的所述深度信息确定所述所选真实对象中的第三真实对象是否位于所述图像层的所述修改区域内；以及
基于所述第三真实...

【专利技术属性】
技术研发人员：陈威廷，王自强，蔡仲智，
申请(专利权)人：未来市股份有限公司，
类型：发明
国别省市：