本发明专利技术公开了一种将人体三维影像投射于真实物理场景中的方法及相关装置。方法包括：三维重建系统对真实场景进行三维重建，形成真实场景的视觉地图并部署于增强现实服务器；客户端根据采集到的多个人体实时图像生成人体三维虚拟影像，并利用增强现实技术根据视觉地图将人体三维虚拟影像投射于真实场景中，形成虚拟人物场景内容部署在增强现实服务器；增强现实服务器根据视觉地图以及用户移动端采集的视频流，判断用户移动端的移动设备位姿信息，根据移动设备位姿信息，反求出真实场景与用户移动端之间的相对位置并传输至用户移动端；用户移动端根据相对位置将根据真实场景搭建的虚拟人物场景内容投放给用户。建的虚拟人物场景内容投放给用户。建的虚拟人物场景内容投放给用户。
【技术实现步骤摘要】
将人体三维影像投射于真实物理场景中的方法及相关装置
[0001]本专利技术涉及人工智能
，并且更具体地，涉及一种将人体三维影像投射于真实物理场景中的方法及相关装置。
技术介绍
[0002]市面上将真实的三维影像(例如人的影像)投射于一个远程的真实物理场景中，主要依据以下两种技术方法：
[0003]全息投影：市面上的部分全息投影技术可以支持将真实的三维物体(例如人等真实的移动物体)远程投射于另一个场景下，例如一些全息投影课堂技术可以支持将教师的三维影像投射于一个远程的教室中，达到更生动的远程教学；
[0004]增强现实应用：另外，市面上多数AR技术和应用也可以在一个真实的场景中投放一个虚拟的三维物体，来与用户进行一些交互。
[0005]但是上述现有技术中存在以下问题：1.全息投影技术的播放需要复杂的硬件设备；2.在传统的增强现实技术中不支持对远程的真实三维物体进行实时采集和投射。
技术实现思路
[0006]针对现有技术的不足，本专利技术提供一种将人体三维影像投射于真实物理场景中的方法及相关装置。
[0007]根据本专利技术的一个方面，提供了一种将人体三维影像投射于真实物理场景中的方法，包括：
[0008]三维重建系统对真实场景进行三维重建，形成真实场景的视觉地图并部署于增强现实服务器；
[0009]客户端根据采集到的多个人体实时图像，生成人体三维虚拟影像，并利用增强现实技术根据视觉地图将人体三维虚拟影像投射于真实场景中，形成虚拟人物场景内容，并部署在增强现实服务器；
[0010]增强现实服务器根据视觉地图以及用户移动端采集的视频流，判断用户移动端的移动设备位姿信息，并根据移动设备位姿信息，反求出真实场景与用户移动端之间的相对位置并传输至用户移动端；
[0011]用户移动端根据相对位置将根据真实场景搭建的虚拟人物场景内容投放给用户。
[0012]可选地，三维重建系统包括全景相机以及客户端，其中三维重建系统对真实场景进行三维重建，形成真实场景的视觉地图的操作，包括：
[0013]利用全景相机采集真实场景环境信息，经全景相机处理后输出三维点云信息和图像信息至客户端；
[0014]客户端根据三维点云信息和图像信息，搭建视觉地图。
[0015]可选地，客户端根据采集到的多个人体实时图像，生成人体三维虚拟影像的操作，包括：
[0016]多个图像采集设备采集真实人体的多个人体实时图像，并利用人体分割算法将人体图像中的主体人物与环境进行分割，得到多个人体深度图传输至客户端；
[0017]客户端将人体深度图转换为点云信息，并将多个点云信息融和后转换为MESH和纹理贴图，并根据MESH和纹理贴图，生成人体三维虚拟影像。
[0018]可选地，增强现实服务器根据视觉地图以及用户移动端采集的视频流，判断用户移动端的移动设备位姿信息，并根据移动设备位姿信息，反求出真实场景与用户移动端之间的相对位置并传输至用户移动端的操作，包括：
[0019]用户移动端启动运行摄像头对真实场景进行拍摄，获取视频流并传输至增强现实服务器；
[0020]增强现实服务器提取视频流的当前图片帧的二维特征点；
[0021]增强现实服务器将视频流的所有图片帧的二维特征点构成一个词典树在增强现实服务器之前存储的图片及其特征点中进行搜索和匹配，找到服务器存储中和当前帧图片最匹配的图片，调用该图片所对应的点云信息；
[0022]增强现实服务器根据二维、三维的匹配关系求出该当前图片帧所在点云空间中的三维位姿；
[0023]增强现实服务器根据三维位姿计算出用户移动端当前六个自由度的相对位置。
[0024]可选地，该方法还包括：
[0025]采用边缘网络技术进行增强现实服务器和客户端以及用户移动端之间的通信以及数据传输。
[0026]根据本专利技术的另一个方面，提供了一种将人体三维影像投射于真实物理场景中的装置，包括：
[0027]第一形成模块，用于客户端对真实场景进行三维重建，形成真实场景的视觉地图并部署于增强现实服务器；
[0028]第二形成模块，用于客户端根据采集到的多个人体实时图像，生成人体三维虚拟影像，并利用增强现实技术根据视觉地图将人体三维虚拟影像投射于真实场景中，形成虚拟人物场景内容，并部署在增强现实服务器；
[0029]计算模块，用于增强现实服务器根据视觉地图以及用户移动端采集的视频流，判断用户移动端的移动设备位姿信息，并根据移动设备位姿信息，反求出真实场景与用户移动端之间的相对位置并传输至用户移动端；
[0030]投放模块，用于用户移动端根据相对位置将根据真实场景搭建的虚拟人物场景内容投放给用户。
[0031]根据本专利技术的又一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本专利技术上述任一方面所述的方法。
[0032]根据本专利技术的又一个方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本专利技术上述任一方面所述的方法。
[0033]从而，本申请采用数个预设图像采集设备在各个角度对一个真人进行全景拍摄，逐帧将获取到的各个角度的深度图最终转换为三维的MESH和材质贴图，再通过增强现实技术将其投射于真实的场景中，用户就可以通过移动设备或AR眼镜，实时的看到从远方拍摄
的真实人物三维影像实时的呈现在自己眼前，用户可以从各个角度去观看这个人，也能与他进行“近在眼前”的互动。
附图说明
[0034]通过参考下面的附图，可以更为完整地理解本专利技术的示例性实施方式：
[0035]图1是本专利技术一示例性实施例提供的将人体三维虚拟影像投射于真实物理场景中的方法的流程示意图；
[0036]图2是本专利技术一示例性实施例提供的将人体三维虚拟影像投射于真实物理场景中的方法的另一流程示意图；
[0037]图3是本专利技术一示例性实施例提供的将人体三维虚拟影像投射于真实物理场景中的装置的结构示意图；
[0038]图4是本专利技术一示例性实施例提供的电子设备的结构。
具体实施方式
[0039]下面，将参考附图详细地描述根据本专利技术的示例实施例。显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是本专利技术的全部实施例，应理解，本专利技术不受这里描述的示例实施例的限制。
[0040]应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本专利技术的范围。
[0041]本领域技术人员可以理解，本专利技术实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
[0042]还应理解，在本专利技术实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
[本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种将人体三维影像投射于真实物理场景中的方法，其特征在于，包括：三维重建系统对真实场景进行三维重建，形成真实场景的视觉地图并部署于增强现实服务器；客户端根据采集到的多个人体实时图像，生成人体三维虚拟影像，并利用增强现实技术根据所述视觉地图将所述人体三维虚拟影像投射于所述真实场景中，形成虚拟人物场景内容，并部署在所述增强现实服务器；所述增强现实服务器根据所述视觉地图以及用户移动端采集的视频流，判断所述用户移动端的移动设备位姿信息，并根据所述移动设备位姿信息，反求出所述真实场景与所述用户移动端之间的相对位置并传输至所述用户移动端；所述用户移动端根据所述相对位置将根据所述真实场景搭建的所述虚拟人物场景内容投放给用户。2.根据权利要求1所述的方法，其特征在于，所述三维重建系统包括全景相机以及所述客户端，其中三维重建系统对真实场景进行三维重建，形成真实场景的视觉地图的操作，包括：利用所述全景相机采集所述真实场景环境信息，经所述全景相机处理后输出三维点云信息和图像信息至所述客户端；所述客户端根据所述三维点云信息和图像信息，搭建所述视觉地图。3.根据权利要求1所述的方法，其特征在于，所述客户端根据采集到的多个人体实时图像，生成人体三维虚拟影像的操作，包括：多个所述图像采集设备采集所述真实人体的多个所述人体图像，并利用人体分割算法将所述人体图像中的主体人物与环境进行分割，得到多个人体深度图传输至所述客户端；所述客户端将所述人体深度图转换为点云信息，并将多个所述点云信息融和后转换为MESH和纹理贴图，并根据所述MESH和纹理贴图，生成所述人体三维虚拟影像。4.根据权利要求1所述的方法，其特征在于，所述增强现实服务器根据所述视觉地图以及用户移动端采集的视频流，判断所述用户移动端的移动设备位姿信息，并根据所述移动设备位姿信息，反求出所述真实场景与所述用户移动端之间的相对位置并传输至所述用户移动端的操作，包括：所述用户移动端启动运行摄像头对所述真实场景进行拍摄，获取所述视频流并传输至所述增强现实服务器；所述增强现实服务器提取所述视频流的当前图片帧的二维特征点；所述增强现实服务器将所述视频流的所有图片帧的二维特征点构成一...
【专利技术属性】
技术研发人员：赵岩伟，赵辰，王振阳，郭于晨，
申请(专利权)人：杭州场域未来科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。