增强现实虚实融合方法、电子设备和存储介质技术

本申请实施例提供一种增强现实虚实融合方法、电子设备和存储介质，其中方法包括：终端设备通过相机采集目标场景的多个连续视频帧，并发送给服务端；服务端根据多个连续视频帧，为所述目标场景构建语义地图并将所述语义地图发送给终端设备；所述终端设备根据所述语义地图确定虚拟角色在所述目标场景中的位姿信息，并向用户展示包含所述虚拟角色和所述目标场景的画面。本申请实施例可以根据相机采集的未知场景的视频帧，构建出语义地图，并控制虚拟角色在目标场景中的移动路径、精确放置并展示虚拟物体，实现与未知场景的互动。同时采用端云分离的方法降低了对终端硬件设备的要求，实现节约成本的目的。实现节约成本的目的。实现节约成本的目的。

【技术实现步骤摘要】
增强现实虚实融合方法、电子设备和存储介质


[0001]本申请涉及增强现实领域，尤其涉及一种增强现实虚实融合方法、电子设备和存储介质。

技术介绍

[0002]目前增强现实应用大多面向已知场景，在已知场景中摆放虚拟角色实现人机交互相较于未知场景明显更加轻松，在面对未知场景大多数增强现实应用无能为力。并且大多数增强现实应用对设备硬件的要求很高，配置相应设备的成本高昂。

技术实现思路

[0003]本申请实施例的主要目的在于提供一种增强现实虚实融合方法、电子设备和存储介质，用以高效地在未知场景实现增强现实的应用。
[0004]第一方面，本申请实施例提供一种增强现实虚实融合方法，包括：
[0005]终端设备通过相机采集目标场景的多个连续视频帧，并发送给服务端；
[0006]服务端根据多个连续视频帧，为所述目标场景构建语义地图并将所述语义地图发送给终端设备，其中，所述语义地图中包括所述目标场景中关键物体的语义信息、姿态信息和位置信息；
[0007]所述终端设备根据所述语义地图确定虚拟角色在所述目标场景中的位姿信息，并向用户展示包含所述虚拟角色和所述目标场景的画面。
[0008]可选的，服务端根据多个连续视频帧，为所述目标场景构建语义地图并将所述语义地图发送给终端设备，包括：
[0009]服务端从所述多个连续视频帧中筛选出至少一个关键帧，根据所述至少一个关键帧构建语义点云地图；其中，所述语义点云地图包括所述目标场景中各个三维空间点的位置信息、姿态信息和语义信息；
>[0010]根据所述多个连续视频帧和语义点云地图，确定相机位姿信息和重建网格信息；
[0011]根据所述语义点云地图、相机位姿信息和重建网格信息对所述目标场景进行重建，得到语义地图并发送给终端设备。
[0012]可选的，根据所述至少一个关键帧构建语义点云地图，包括：
[0013]用MobileNetV3代替DeeplabV3+模型中的骨干网络ResNet
‑
101，得到改进后的DeeplabV3+模型；
[0014]将所述至少一个关键帧输入改进后的DeeplabV3+模型中进行语义分割，得到每一关键帧的三维语义点云，所述三维语义点云用于指示所述关键帧对应的三维空间点的位置信息和语义信息；
[0015]根据三维语义点云，得到所述目标场景中关键物体的姿态信息；
[0016]根据所述至少一个关键帧的语义信息与所述目标场景中关键物体的姿态信息，通过服务端的建图模块，构建出所述目标场景的语义点云地图。
[0017]可选的，根据三维语义点云，得到所述目标场景中关键物体的姿态信息，包括：
[0018]根据三维语义点云，构建基于全局描述子的特征描述；
[0019]基于全局描述子的特征描述，得到所述目标场景中关键物体的姿态信息。
[0020]可选的，根据所述多个连续视频帧和语义点云地图，确定相机位姿信息和重建网格信息，包括：
[0021]用Voxel Hashing算法来代替Bundle Fusion模型中的TSDF Fusion算法，得到改进后的Bundle Fusion模型；
[0022]根据语义点云地图得到相机位姿信息，将所述多个连续视频帧和所述相机位姿信息输入改进后Bundle Fusion模型，得到重建网格信息。
[0023]可选的，所述终端设备根据所述语义地图确定虚拟角色在所述目标场景中的位姿信息，并向用户展示包含所述虚拟角色和所述目标场景的画面，包括：
[0024]所述终端设备根据所述语义地图中关键物体的语义信息、姿态信息和位置信息，确定虚拟角色在所述目标场景中的移动路径以及操作信息，其中，所述操作信息包括所述虚拟角色操作虚拟物体时的位姿信息以及所述虚拟物体的位姿信息；
[0025]根据所述移动路径和所述操作信息，构建包含所述虚拟角色和所述虚拟物体的虚拟图像；
[0026]将所述虚拟图像与所述相机采集的图像进行融合，并向用户展示融合后的画面。
[0027]第二方面，本申请实施例提供一种增强现实虚实融合方法，应用于终端设备，所述方法包括：
[0028]通过相机采集目标场景的多个连续视频帧，并发送给服务端，以使所述服务端根据多个连续视频帧，为所述目标场景构建语义地图，其中，所述语义地图中包括所述目标场景中关键物体的语义信息、姿态信息和位置信息；
[0029]接收服务端发送的所述语义地图，根据所述语义地图确定虚拟角色在所述目标场景中的位姿信息，并向用户展示包含所述虚拟角色和所述目标场景的画面。
[0030]第三方面，本申请实施例提供一种增强现实虚实融合方法，应用于服务端，所述方法包括：
[0031]接收终端设备通过相机采集目标场景的多个连续视频帧；
[0032]根据多个连续视频帧，为所述目标场景构建语义地图并将所述语义地图发送给终端设备，以使所述终端设备根据所述语义地图确定虚拟角色在所述目标场景中的位姿信息，并向用户展示包含所述虚拟角色和所述目标场景的画面，其中，所述语义地图中包括所述目标场景中关键物体的语义信息、姿态信息和位置信息。
[0033]第四方面，本申请实施例提供一种电子设备，包括：
[0034]至少一个处理器；以及与所述至少一个处理器通信连接的存储器；
[0035]其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述电子设备执行上述任一方面所述的方法。
[0036]第五方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现上述任一方面所述的方法。
[0037]本实施例提供的增强现实虚实融合方法、电子设备和存储介质，终端设备通过相
机采集目标场景的多个连续视频帧，并发送给服务端；服务端根据多个连续视频帧，为所述目标场景构建语义地图并将所述语义地图发送给终端设备，其中，所述语义地图中包括所述目标场景中关键物体的语义信息、姿态信息和位置信息；所述终端设备根据所述语义地图确定虚拟角色在所述目标场景中的位姿信息，并向用户展示包含所述虚拟角色和所述目标场景的画面。本申请实施例提供的增强现实虚实融合方法，可以根据相机采集的未知场景的视频帧，构建出语义地图，语义地图中包含关键物体的语义和姿态信息，并控制虚拟角色在目标场景中的移动路径、精确放置并展示虚拟物体，实现与未知场景的互动。同时采用端云分离的方法降低了对终端硬件设备的要求，实现节约成本的目的。
附图说明
[0038]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0039]图1为本申请实施例提供的一种系统架构图；
[0040]图2为本申请实施例提供的一种增强现实虚实融合方法的流程示意图；
[0041]图3为本申请实施例提供的一张稀疏本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种增强现实虚实融合方法，其特征在于，包括：终端设备通过相机采集目标场景的多个连续视频帧，并发送给服务端；服务端根据多个连续视频帧，为所述目标场景构建语义地图并将所述语义地图发送给终端设备，其中，所述语义地图中包括所述目标场景中关键物体的语义信息、姿态信息和位置信息；所述终端设备根据所述语义地图确定虚拟角色在所述目标场景中的位姿信息，并向用户展示包含所述虚拟角色和所述目标场景的画面。2.根据权利要求1所述的方法，其特征在于，服务端根据多个连续视频帧，为所述目标场景构建语义地图并将所述语义地图发送给终端设备，包括：服务端从所述多个连续视频帧中筛选出至少一个关键帧，根据所述至少一个关键帧构建语义点云地图；其中，所述语义点云地图包括所述目标场景中各个三维空间点的位置信息、姿态信息和语义信息；根据所述多个连续视频帧和语义点云地图，确定相机位姿信息和重建网格信息；根据所述语义点云地图、相机位姿信息和重建网格信息对所述目标场景进行重建，得到语义地图并发送给终端设备。3.根据权利要求2所述的方法，其特征在于，根据所述至少一个关键帧构建语义点云地图，包括：用MobileNetV3代替DeeplabV3+模型中的骨干网络ResNet
‑
101，得到改进后的DeeplabV3+模型；将所述至少一个关键帧输入改进后的DeeplabV3+模型中进行语义分割，得到每一关键帧的三维语义点云，所述三维语义点云用于指示所述关键帧对应的三维空间点的位置信息和语义信息；根据三维语义点云，得到所述目标场景中关键物体的姿态信息；根据所述至少一个关键帧的语义信息与所述目标场景中关键物体的姿态信息，通过服务端的建图模块，构建出所述目标场景的语义点云地图。4.根据权利要求3所述的方法，其特征在于，根据三维语义点云，得到所述目标场景中关键物体的姿态信息，包括：根据三维语义点云，构建基于全局描述子的特征描述；基于全局描述子的特征描述，得到所述目标场景中关键物体的姿态信息。5.根据权利要求2所述的方法，其特征在于，根据所述多个连续视频帧和语义点云地图，确定相机位姿信息和重建网格信息，包括：用Voxel Hashing算法来代替Bundle Fusion模型中的TSDF Fusion算法，得到改进后的Bundle ...

【专利技术属性】
技术研发人员：齐越，段宛彤，王君义，王宇泽，曲延松，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：