一种支持多人模式增强现实应用的方法及装置制造方法及图纸

本文公开了一种支持多人模式增强现实应用开发的方法及装置。所述方法包括：参与同一个多人模式AR应用的客户端通过SLAM模组对预先布置在现实场景中指定位置的标识图进行识别；在识别到标识图后，建立以标识图为参照物的目标坐标系；所述客户端确定摄像头对应的第一相机坐标系与目标坐标系之间的第一变换关系，以及虚拟相机对应的第二相机坐标系与目标坐标系之间的第二变换关系；获得客户端在目标坐标系中的位姿变化以及虚拟对象在目标坐标系中的位姿变化；基于客户端和虚拟对象在目标坐标系中的位姿变化对现实场景和虚拟场景进行融合显示。本文的技术方案能解决多人AR应用中不同客户端感知的场景之间出现的错位问题。

A method and device to support the application of multi person mode augmented reality

【技术实现步骤摘要】
一种支持多人模式增强现实应用的方法及装置
本专利技术涉及增强现实
，尤其涉及的是一种支持多人模式增强现实应用的方法及装置。
技术介绍
近年来增强现实(AugmentedReality，简称AR)技术受到越来越多的关注，增强现实设备不断刷新人们的认知。以苹果、谷歌和微软为代表的国际巨头纷纷布局AR领域，发布AR硬件或者抢占开发平台。对于多人共同参与的AR应用来说，由于需要保证不同客户端感知到的是同一个没有错位的世界，因此相关技术中，将多人互动应用移植到AR平台上通常需要借助第三方ARSDK(SoftwareDevelopmentKit，软件开发工具包)，由于第三方ARSDK对软硬件的要求较高，因此增加了多人模式AR应用的开发成本。
技术实现思路
本专利技术实施例提供一种支持多人模式增强现实应用的方法及装置，能够提供一种不依赖第三方AR软件开发工具包的多人模式AR应用，解决多人应用时不同客户端感知的场景之间出现的错位问题。根据本申请的第一方面，本专利技术实施例提供一种支持多人模式增强现实应用的方法，包括：参与同一个多人模式增强现实AR应用的任意一个客户端通过视觉同步定位与构图SLAM模组对预先布置在现实场景中指定位置的标识图进行识别；在识别到所述标识图后，建立以所述标识图为参照物的目标坐标系；所述客户端确定所述视觉SLAM模组的摄像头对应的第一相机坐标系与所述目标坐标系之间的第一变换关系，以及所述应用的虚拟相机对应的第二相机坐标系与所述目标坐标系之间的第二变换关系；所述客户端利用所述视觉SLAM模组在现实场景中对所述客户端进行空间定位和运动追踪，根据所述第一变换关系获得所述客户端在所述目标坐标系中的位姿变化；利用所述应用的虚拟相机在虚拟场景中对虚拟对象进行空间定位和运动追踪，根据所述第二变换关系获得所述虚拟对象在所述目标坐标系中的位姿变化；所述客户端基于所述客户端和虚拟对象在所述目标坐标系中的位姿变化对所述现实场景和虚拟场景进行融合显示。根据本申请的第二方面，本专利技术实施例提供一种支持多人模式增强现实应用的装置，应用于多人模式增强现实AR应用的客户端，包括：目标坐标系建立模块，用于通过视觉同步定位与构图SLAM模组对预先布置在现实场景中指定位置的标识图进行识别；在识别到所述标识图后，建立以所述标识图为参照物的目标坐标系；坐标系变换模块，用于确定所述视觉SLAM模组的摄像头对应的第一相机坐标系与所述目标坐标系之间的第一变换关系，以及所述应用的虚拟相机对应的第二相机坐标系与所述目标坐标系之间的第二变换关系；位姿追踪模块，用于利用所述视觉SLAM模组在现实场景中对所述客户端进行空间定位和运动追踪，根据所述第一变换关系获得所述客户端在所述目标坐标系中的位姿变化；利用所述应用的虚拟相机在虚拟场景中对虚拟对象进行空间定位和运动追踪，根据所述第二变换关系获得所述虚拟对象在所述目标坐标系中的位姿变化；融合显示模块，用于基于所述客户端和虚拟对象在所述目标坐标系中的位姿变化对所述现实场景和虚拟场景进行融合显示。与相关技术相比，本专利技术实施例提供的一种支持多人模式增强现实应用的方法及装置，参与同一个多人模式增强现实AR应用的任意一个客户端通过视觉同步定位与构图SLAM模组对预先布置在现实场景中指定位置的标识图进行识别；在识别到所述标识图后，建立以所述标识图为参照物的目标坐标系；所述客户端确定所述视觉SLAM模组的摄像头对应的第一相机坐标系与所述目标坐标系之间的第一变换关系，以及所述应用的虚拟相机对应的第二相机坐标系与所述目标坐标系之间的第二变换关系；所述客户端利用所述视觉SLAM模组在现实场景中对所述客户端进行空间定位和运动追踪，根据所述第一变换关系获得所述客户端在所述目标坐标系中的位姿变化；利用所述应用的虚拟相机在虚拟场景中对虚拟对象进行空间定位和运动追踪，根据所述第二变换关系获得所述虚拟对象在所述目标坐标系中的位姿变化；所述客户端基于所述客户端和虚拟对象在所述目标坐标系中的位姿变化对所述现实场景和虚拟场景进行融合显示。本专利技术实施例的技术方案能够提供一种不依赖第三方ARSDK的多人模式AR应用，解决多人应用时不同客户端感知的场景之间出现的错位问题，降低多人模式AR应用的开发成本。附图说明图1为本专利技术实施例1的一种支持多人模式增强现实应用的方法流程图；图2为本专利技术实施例1的一种标识图图案的示意图；图3为本专利技术实施例1中利用标识图建立统一坐标系的示意图；图4为本专利技术实施例1的一种标识图识别算法的流程图；图5为本专利技术实施例1中多人模式的AR游戏应用的架构示意图；图6为本专利技术实施例2的一种支持多人模式增强现实应用的装置示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，下文中将结合附图对本专利技术的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。本专利技术实施例的技术方案提出一种基于Marker(标识图)识别算法和SLAM(SimultaneousLocalizationandMapping，同步定位与构图)算法的AR系统解决方案，可以在没有配备第三方ARSDK的普通AR平台(比如AR眼镜)上开发多人模式的AR应用。实施例1如图1所示，本专利技术实施例提供了一种支持多人模式增强现实应用的方法，包括：步骤S110，参与同一个多人模式增强现实AR应用的任意一个客户端通过视觉同步定位与构图SLAM模组对预先布置在现实场景中指定位置的标识图进行识别；在识别到所述标识图后，建立以所述标识图为参照物的目标坐标系；步骤S120，所述客户端确定所述视觉SLAM模组的摄像头对应的第一相机坐标系与所述目标坐标系之间的第一变换关系，以及所述应用的虚拟相机对应的第二相机坐标系与所述目标坐标系之间的第二变换关系；步骤S130，所述客户端利用所述视觉SLAM模组在现实场景中对所述客户端进行空间定位和运动追踪，根据所述第一变换关系获得所述客户端在所述目标坐标系中的位姿变化；利用所述应用的虚拟相机在虚拟场景中对虚拟对象进行空间定位和运动追踪，根据所述第二变换关系获得所述虚拟对象在所述目标坐标系中的位姿变化；步骤S140，所述客户端基于所述客户端和虚拟对象在所述目标坐标系中的位姿变化对所述现实场景和虚拟场景进行融合显示。其中，位姿指的是位置和姿态；在一种实施方式中，如图2所示，所述标识图(Marker)包括黑色边框和二进制编码图案；其中，所述黑色边框用于快速识别，所述二进制编码图案用于表示所述标识图的ID；图2中的标识图包括一个4x4，16bit的黑白色块矩阵，所述黑白色块矩阵可以进行二进制编码生成所述标识图的ID。在一种实施方式中，建立以所述标识图为参照物的目标坐标系，包括：将所述标识图上指定位置点作为目标坐标系的原点，根据所述标识图的方向确定所述目标坐标系空间坐标轴的方本文档来自技高网...

【技术保护点】
1.一种支持多人模式增强现实应用的方法，包括：/n参与同一个多人模式增强现实AR应用的任意一个客户端通过视觉同步定位与构图SLAM模组对预先布置在现实场景中指定位置的标识图进行识别；在识别到所述标识图后，建立以所述标识图为参照物的目标坐标系；/n所述客户端确定所述视觉SLAM模组的摄像头对应的第一相机坐标系与所述目标坐标系之间的第一变换关系，以及所述应用的虚拟相机对应的第二相机坐标系与所述目标坐标系之间的第二变换关系；/n所述客户端利用所述视觉SLAM模组在现实场景中对所述客户端进行空间定位和运动追踪，根据所述第一变换关系获得所述客户端在所述目标坐标系中的位姿变化；利用所述应用的虚拟相机在虚拟场景中对虚拟对象进行空间定位和运动追踪，根据所述第二变换关系获得所述虚拟对象在所述目标坐标系中的位姿变化；/n所述客户端基于所述客户端和虚拟对象在所述目标坐标系中的位姿变化对所述现实场景和虚拟场景进行融合显示。/n

【技术特征摘要】
1.一种支持多人模式增强现实应用的方法，包括：
参与同一个多人模式增强现实AR应用的任意一个客户端通过视觉同步定位与构图SLAM模组对预先布置在现实场景中指定位置的标识图进行识别；在识别到所述标识图后，建立以所述标识图为参照物的目标坐标系；
所述客户端确定所述视觉SLAM模组的摄像头对应的第一相机坐标系与所述目标坐标系之间的第一变换关系，以及所述应用的虚拟相机对应的第二相机坐标系与所述目标坐标系之间的第二变换关系；
所述客户端利用所述视觉SLAM模组在现实场景中对所述客户端进行空间定位和运动追踪，根据所述第一变换关系获得所述客户端在所述目标坐标系中的位姿变化；利用所述应用的虚拟相机在虚拟场景中对虚拟对象进行空间定位和运动追踪，根据所述第二变换关系获得所述虚拟对象在所述目标坐标系中的位姿变化；
所述客户端基于所述客户端和虚拟对象在所述目标坐标系中的位姿变化对所述现实场景和虚拟场景进行融合显示。


2.如权利要求1所述的方法，其特征在于：
所述建立以所述标识图为参照物的目标坐标系，包括：
将所述标识图上指定位置点作为目标坐标系的原点，根据所述标识图的方向确定所述目标坐标系空间坐标轴的方向。


3.如权利要求1所述的方法，其特征在于：
所述通过视觉SLAM模组对预先布置在所述现实场景中指定位置的标识图进行识别，包括：
通过视觉SLAM模组获得所述现实场景中指定位置的标识图的图像数据，对所述图像数据进行灰度化阈值处理、轮廓滤波以及比特位提取处理，得到所述标识图的ID；对所述标识图的ID进行解码获得所述标识图的信息；
其中，所述标识图的信息包括所述标识图的位置和方向信息。


4.如权利要求1所述的方法，其特征在于：
所述客户端利用所述视觉SLAM模组在现实场景中对所述客户端进行空间定位和运动追踪，包括：
所述客户端通过视觉SLAM模组的摄像头获取现实场景中的当前图像，对所述当前图像进行特征提取；将所述当前图像与前一帧的图像进行帧间比对，根据比对结果估计所述客户端的位姿变化。


5.如权利要求1所述的方法，其特征在于：
所述视觉SLAM模组包括：双目摄像头。


6.一种支持多人模...

【专利技术属性】
技术研发人员：王龙辉，范清文，王雪丰，李茜，苗京花，彭金豹，李文宇，李治富，陈丽莉，张浩，
申请(专利权)人：京东方科技集团股份有限公司，北京京东方光电科技有限公司，
类型：发明
国别省市：北京;11