对混合现实三维场景进行编辑的方法及混合现实设备技术

本申请实施例公开了一种对混合现实三维场景进行编辑的方法及混合现实设备，用于在混合现实系统中对真实场景进行编辑。本申请实施例包括：混合现实设备根据采集到的真实场景的点云数据建立该真实场景的三维模型，并在接收到用户的交互指令之后，确定该交互指令对应的目标物体的三维模型，根据交互指令控制目标物体的三维模型的显示效果。因此，用户可以对真实场景的三维模型中目标物体的三维模型的显示效果进行控制和操纵，从而提升用户使用混合现实设备的体验感，增强用户体验。

【技术实现步骤摘要】
对混合现实三维场景进行编辑的方法及混合现实设备
本申请实施例涉及混合现实领域，具体涉及一种对混合现实三维场景进行编辑的方法及混合现实设备。
技术介绍
随着大数据时代的发展，直观的二维图像已经满足不了人们的日常生活需求，在更多的场景中需要对真实的三维场景执行一些编辑操作来满足工业生产、医疗教育、设计等诸多场景的需求。在这种需求下，混合现实技术应运而生。混合现实技术(mixedreality，MR)是虚拟现实技术的进一步发展，该技术通过在现实场景呈现虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。混合现实技术可实现对真实场景的编辑。对真实场景的编辑主要指的是两个方面，一方面是指去除真实场景中存在的三维内容(即去除语义)，例如在混合现实终端呈现的虚拟场景空间中将一把椅子去除掉，看起来就像原来的位置没有了那把椅子；另一方面是对真实场景的三维物体进行移动操作，即在真实场景中移动已有的三维内容，例如将一个房间床边的一把椅子移动到房间的墙边。目前，在真实场景中增加虚拟可视内容已经取得一定发展，也就是将虚拟的内容在3D真实空间中成像显示，但是这种方法仍然无法实现去除真实场景中的3D物体以及移动3D物体等复杂操纵。因此，亟需一种能够在混合现实系统中对真实场景进行编辑的技术方案。
技术实现思路
本申请实施例提供了一种对混合现实三维场景进行编辑的方法及混合现实设备，用于在混合现实系统中对真实场景进行编辑。本申请实施例第一方面提供了一种对混合现实三维场景进行编辑的方法，所述方法包括：采集真实场景的点云数据，并对所述真实场景的点云数据进行分割，得到所述真实场景包括的至少一个物体的点云数据；根据至少一个物体的点云数据建立所述真实场景的三维模型，所述真实场景包括所述至少一个物体的三维模型；接收到用户输入的对所述至少一个物体中的目标物体进行操作的交互指令后，在所述所述真实场景的三维模型中确定所述目标物体的三维模型；根据所述交互指令控制所述目标物体的三维模型的显示效果。本申请实施例第二方面提供了一种混合现实设备，所述混合现实设备包括：点云采集单元，用于采集真实场景的点云数据；点云分割单元，用于对所述真实场景的点云数据进行分割，得到所述真实场景包括的至少一个物体的点云数据；模型建立单元，用于根据至少一个物体的点云数据建立所述真实场景的三维模型，所述真实场景包括所述至少一个物体的三维模型；确定单元，用于接收到用户输入的对所述至少一个物体中的目标物体进行操作的交互指令后，在所述真实场景的三维模型中确定所述目标物体的三维模型；显示单元，用于根据所述交互指令控制所述目标物体的三维模型的显示效果。本申请实施例第三方面提供了一种混合现实设备，所述混合现实设备包括：处理器、存储器、总线、输入输出设备；所述处理器与所述存储器、输入输出设备相连；所述总线分别连接所述处理器、存储器以及输入输出设备；所述处理器用于采集真实场景的点云数据，对所述真实场景的点云数据进行分割，得到所述真实场景包括的至少一个物体的点云数据，根据至少一个物体的点云数据建立所述真实场景的三维模型，所述真实场景包括所述至少一个物体的三维模型，接收到用户输入的对所述至少一个物体中的目标物体进行操作的交互指令后，在所述真实场景的三维模型中确定所述目标物体的三维模型，根据所述交互指令控制所述目标物体的三维模型的显示效果。本申请实施例第四方面提供了一种计算机存储介质，计算机存储介质中存储有指令，该指令在计算机上执行时，使得计算机执行前述第一方面的方法。从以上技术方案可以看出，本申请实施例具有以下优点：本申请实施例中，混合现实设备根据采集到的真实场景的点云数据建立该真实场景的三维模型，并在接收到用户的交互指令之后，确定该交互指令对应的目标物体的三维模型，根据交互指令控制目标物体的三维模型的显示效果。因此，用户可以对真实场景的三维模型中目标物体的三维模型的显示效果进行控制和操纵，从而提升用户使用混合现实设备的体验感，增强用户体验。附图说明图1为本申请实施例中对混合现实三维场景进行编辑的方法一个流程示意图；图2为本申请实施例中对混合现实三维场景进行编辑的方法另一流程示意图；图3为本申请实施例中执行点云补全的神经网络模型一种结构示意图；图4为本申请实施例中混合现实设备移除目标物体的三维模型一种效果示意图；图5为本申请实施例中混合现实设备移动目标物体的三维模型一种效果示意图；图6为本申请实施例中混合现实设备一个结构示意图；图7为本申请实施例中混合现实设备另一结构示意图。具体实施方式本申请实施例提供了一种对混合现实三维场景进行编辑的方法及混合现实设备，用于在混合现实系统中对真实场景进行编辑。请参阅图1，本申请实施例中对混合现实三维场景进行编辑的方法一个实施例包括：101、采集真实场景的点云数据，并对真实场景的点云数据进行分割，得到真实场景包括的至少一个物体的点云数据；本实施例的方法可应用于混合现实设备，该混合现实设备可以是混合现实终端。混合现实设备可以配置点云数据采集装置，并通过该点云数据采集装置来采集真实场景的点云数据，该点云数据采集装置可以是用于采集点云数据的dToF(directtimeofflight)激光雷达传感器、iTof(indirecttimeofflight)深度传感器等点云数据采集装置。其中，真实场景是现实中的场景，因此，真实场景包括了现实中的至少一个物体。例如，真实场景是书房的场景时，真实场景便包括了书、桌椅等物体。在采集到真实场景的点云数据之后，对真实场景的点云数据进行分割，得到真实场景包括的至少一个物体的点云数据，也就是将不同类型的点云数据进行分割和分类，分割得到的每一组点云数据分别对应该真实场景中的一个物体。因此，点云分割可以将真实场景中的不同物体所分别对应的点云数据进行分类，从而确定每一物体对应的点云数据。102、根据至少一个物体的点云数据建立真实场景的三维模型；在分割得到真实场景的至少一个物体的点云数据之后，根据至少一个物体的点云数据建立真实场景的三维模型，其中，真实场景包括至少一个物体的三维模型。103、接收到用户输入的对至少一个物体中的目标物体进行操作的交互指令后，在真实场景的三维模型中确定目标物体的三维模型；混合现实设备的用户可以对真实场景的三维模型中目标物体的三维模型的显示效果进行控制，因此，在需要控制三维模型的显示效果时，用户向混合现实设备输入交互指令，该交互指令用于表示对真实场景的至少一个物体中的目标物体的三维模型进行操作。混合现实设备响应该交互指令，在真实场景的三维模型中确定目标物体的三维模型。104、根据交互指令控制目标物体的三维模型的显示效果；在确定出用户需要控制显示效果的目标物体的三本文档来自技高网...

【技术保护点】
1.一种对混合现实三维场景进行编辑的方法，其特征在于，所述方法包括：/n采集真实场景的点云数据，并对所述真实场景的点云数据进行分割，得到所述真实场景包括的至少一个物体的点云数据；/n根据至少一个物体的点云数据建立所述真实场景的三维模型，所述真实场景包括所述至少一个物体的三维模型；/n接收到用户输入的对所述至少一个物体中的目标物体进行操作的交互指令后，在所述真实场景的三维模型中确定所述目标物体的三维模型；/n根据所述交互指令控制所述目标物体的三维模型的显示效果。/n

【技术特征摘要】
1.一种对混合现实三维场景进行编辑的方法，其特征在于，所述方法包括：
采集真实场景的点云数据，并对所述真实场景的点云数据进行分割，得到所述真实场景包括的至少一个物体的点云数据；
根据至少一个物体的点云数据建立所述真实场景的三维模型，所述真实场景包括所述至少一个物体的三维模型；
接收到用户输入的对所述至少一个物体中的目标物体进行操作的交互指令后，在所述真实场景的三维模型中确定所述目标物体的三维模型；
根据所述交互指令控制所述目标物体的三维模型的显示效果。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
识别所述至少一个物体的语义信息及所述至少一个物体在所述真实场景中的位置信息；
所述根据至少一个物体的点云数据建立所述真实场景的三维模型，包括：
在预设的数据库中获取所述真实场景的每一物体的语义信息分别对应的目标基础模型，所述数据库预先存储多个基础模型，每一基础模型分别对应一种物体的语义信息；
分别将所述真实场景的每一物体的点云数据与目标基础模型进行结合，得到所述真实场景的每一物体的三维模型，所述真实场景的至少一个物体的三维模型构成所述真实场景的三维模型。


3.根据权利要求2所述的方法，其特征在于，所述交互指令具体用于表示将所述目标物体的三维模型从所述真实场景的三维模型中移除；
所述根据所述交互指令控制所述目标物体的三维模型的显示效果，包括：
响应所述交互指令删除所述目标物体的三维模型对应的场景内容；
确定所述目标物体在所述真实场景中的位置信息，对所述真实场景的三维模型中所述目标物体的位置信息对应的三维空间进行补全。


4.根据权利要求2所述的方法，其特征在于，所述交互指令具体用于表示将所述目标物体的三维模型从当前位置移动至目标位置；
所述根据所述交互指令控制所述目标物体的三维模型的显示效果，包括：
响应所述交互指令删除所述目标物体的三维模型对应的场景内容；
确定所述目标物体在所述真实场景中的位置信息，对所述真实场景的三维模型中所述目标物体的位置信息对应的三维空间进行补全；
根据所述目标物体对应的点云数据建立所述目标物体的三维模型；
调取所述目标物体的三维模型，将所述目标物体的三维模型放置于所述目标位置。


5.根据权利要求2所述的方法，其特征在于，所述识别所述至少一个物体的语义信息，包括：
获...

【专利技术属性】
技术研发人员：刘聪，田第鸿，
申请(专利权)人：深圳市人工智能与机器人研究院，
类型：发明
国别省市：广东;44