真实图像在虚拟空间中的定位和交互方法技术

本发明专利技术公开了一种真实图像在虚拟空间中的定位和交互方法，该方法包括：通过载有摄像设备的移动终端识别真实空间场景，以移动终端为参照物，构建相应的虚拟空间；识别摄像设备传输的真实图像数据，通过图像矩阵变换获得所述真实图像在虚拟空间中的位置；根据所述真实图像在虚拟空间中的位置信息，通过空间变换在所述虚拟空间中生成相应的虚拟物体；实时跟踪真实图像在真实空间场景中的位置，同步调整相应的虚拟物体在所述虚拟空间中的位置和方向；根据位置关系触发与虚拟物体的深度交互。采用本发明专利技术技术方案，可实现通过实时跟踪真实图像的位置信息，构建与虚拟空间比例适配的虚拟物体，从而产生真实物体与虚拟空间的深度交互。

Location and Interaction of Real Images in Virtual Space

【技术实现步骤摘要】
真实图像在虚拟空间中的定位和交互方法
本专利技术涉及一种真实图像在虚拟空间中的定位和交互方法，属于虚拟现实和增强现实

技术介绍
增强现实技术(AugmentedReality，简称AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。随着近年来AR技术的快速发展，如今只需借助集成的AR开发工具包(ARSDK)，例如苹果公司发布的ARKit、谷歌公司发布的ARCore等，就能够帮助我们以最简单快捷的方式实现AR场景构建、虚拟场景交互等AR技术功能。然而，当前AR技术中其与虚拟空间或虚拟物体的交互能力仍旧具有一定局限性，即使以当前较为主流的AR开发工具包ARKit(基于iOS系统)和ARCore(基于Android系统)为例，其原有的空间定位能力仅支持通过手机与虚拟物体产生交互，无法获得进一步的浸入式交互体验，并且容易出现虚拟物体与构建的虚拟空间标尺不一的问题，导致AR观感下降。
技术实现思路
针对现有技术的不足，本专利技术的目的在于提供一种真实图像在虚拟空间中的定位和交互方法，实现真实物体在虚拟空间中的位置匹配和深度交互。为实现前述专利技术目的，本专利技术公开的真实图像在虚拟空间中的定位和交互方法至少包括以下步骤：S1，通过载有摄像设备的移动终端识别真实空间场景，以所述移动终端为参照物，构建与所述真实空间场景相应的虚拟空间；S2，识别摄像设备传输的真实图像数据，通过图像矩阵变换获得所述真实图像在虚拟空间中的位置；S3，根据所述真实图像在虚拟空间中的位置信息，通过空间变换在所述虚拟空间中生成与所述真实图像相应的虚拟物体；S4，实时跟踪真实图像在真实空间场景中的位置，同步调整相应的虚拟物体在所述虚拟空间中的位置和方向；S5，根据真实图像在虚拟空间中的位置信息，触发与虚拟物体的交互操作。优选地，当真实图像数据丢失后，相应的虚拟物体保持在所述虚拟空间中的最后一次定位位置，并通过角度变换控制虚拟物体的方向。优选地，当再次跟踪到真实图像时，执行步骤S2至步骤S5，更新相应的虚拟物体在所述虚拟空间中的位置和方向。优选地，所述步骤S5包括：设置指定位置关系为交互操作的触发条件，通过位置关系计算，可触发与虚拟物体的交互操作。优选地，步骤S2中所述识别摄像设备传输的真实图像数据包括：通过图像数据地址传输，将真实图像传输至知识库中与识别图片进行比对，获取识别图像。优选地，步骤S2中通过图像矩阵变换获得所述真实图像在虚拟空间中的位置包括：通过多次密集透视变换，将真实图像与识别图像对比并逐渐拉近，将位移差作为真实图像的相对位移，并基于参照物坐标将真实图像的位置转换为在虚拟空间中的位置。优选地，步骤S3中所述通过空间变换在所述虚拟空间中生成相应的虚拟物体包括：调整虚拟物体的位移尺度及大小，适配与虚拟空间的正确比例。优选地，通过空间定位识别技术识别真实空间场景。优选地，所述空间定位识别技术包括基于ARSDK进行空间定位识别。优选地，所述ARSDK包括ARKit或ARCore。与现有技术相比，本专利技术的优点包括：通过图片识别追踪控制虚拟物体，并与原有的空间识别技术相结合，实现通过实时跟踪真实图像的位置信息，构建与虚拟空间比例适配的虚拟物体，从而产生真实物体与虚拟空间的深度交互。附图说明图1是本专利技术一典型实施例提出的一种真实图像在虚拟空间中的定位和交互方法的流程图。具体实施方式鉴于现有技术中的不足，本案专利技术人经长期研究和大量实践，得以提出本专利技术的技术方案。如下将对该技术方案、其实施过程及原理等作进一步的解释说明。本专利技术提出了一种真实图像在虚拟空间中的定位和交互方法，其技术方案作如下具体阐述：所述方法至少包括以下步骤：步骤11，通过载有摄像设备的移动终端识别真实空间场景，以移动终端为参照物，基于三维建模引擎构建相应的虚拟空间；步骤12，识别摄像设备传输的真实图像数据，通过图像矩阵变换获得所述真实图像在虚拟空间中的位置；步骤13，根据所述真实图像在虚拟空间中的位置信息，通过空间变换在所述虚拟空间中生成相应的虚拟物体；步骤14，实时跟踪真实图像在真实空间场景中的位置，同步调整相应的虚拟物体在所述虚拟空间中的位置和方向；步骤15，根据真实图像在虚拟空间中的位置信息，触发与虚拟物体的交互操作。进一步地，当真实图像数据丢失后，相应的虚拟物体保持在所述虚拟空间中的最后一次定位位置，并通过角度变换控制虚拟物体的方向。当再次跟踪到真实图像时，执行上述步骤12至步骤15所述操作，更新相应的虚拟物体在所述虚拟空间中的位置和方向。在步骤12中，可通过图像数据地址传输，将真实图像传输至知识库中与识别图片进行比对，获取识别图像。通过多次密集透视变换，将真实图像与识别图像对比并逐渐拉近，将位移差作为真实图像的相对位移，并基于参照物坐标将真实图像的位置转换为在虚拟空间中的位置。在步骤13中，通过空间变换在所述虚拟空间中生成相应的虚拟物体可通过调整虚拟物体的位移尺度及大小，适配与虚拟空间的正确比例，从而保证虚拟物体的空间大小与虚拟空间保持正确的比例。在步骤15中进一步包括，设置指定位置关系为交互操作的触发条件，根据对真实图像在虚拟空间中的位置关系进行计算，在指定位置触发与虚拟物体的交互操作，该交互操作包括播放数字媒体内容，如音频、动画、视频、特效等。作为一种较佳的实施方式，通过空间定位识别技术识别真实空间场景，所述空间定位识别技术包括基于ARKit或ARCore进行空间定位识别。为使本专利技术技术方案更加清楚，以下将结合实施例及附图，对本专利技术的核心思想进行进一步阐述。请参阅图1，图1是本专利技术一典型实施例提出的一种基于图像识别的真实图像在虚拟空间的定位方法的流程图，以当前主流的ARKit或ARCore作为AR开发平台，智能手机作为移动终端(携带摄像头且支持ARKit或ARCore)，具体可包括以下步骤：步骤101，启动ARKit或ARCore。步骤102，识别周边环境；步骤103，以手机为参照物构建虚拟空间。启动ARKit或ARCore，识别熟悉周围环境，以手机为参照物，选取相对位置及朝向，在Unity中构建虚拟空间，建立坐标体系。步骤104，识别图像数据；通过获取摄像头拍摄的真实图像数据，从Unity传输图像地址至知识库(dll库)，并调用计算机视觉库中图像比对算法，进行图像比对，获取识别图像。步骤105，追踪图像并做矩阵变换，转换为虚拟空间中坐标；对识别图像数据进行矩阵变换，具体包括进行多次(较佳地，采用5次)密集透视变换，将摄像头获取的真实图像与识别图像对比并逐渐拉近，将位移差作为图像的相对位移，通过图像位置定位虚拟物体位置，将真实图像转换为相对手机的位置，并将其位置返回给Unity端(Unity端为物理引擎，拥有空间坐标体系)；再次进行空间变换，针对ARKit和ARCore不同的计量单位，修改并调整虚拟物体的位移尺度及大小，保证虚拟物体的空间大小与原来构建的虚拟空间保持正确比例。作为一种较佳的实施方式，当图像数据丢失时，以虚拟物体在虚拟空间的最后一次位置暂作为其位置进行保持，通过角度变换控制物体的朝向；当再次追踪到真实物体的图像时，再次执行上述图像识别和追踪算法，并更新虚拟物体在本文档来自技高网...

【技术保护点】
1.一种真实图像在虚拟空间中的定位和交互方法，其特征在于，包括以下步骤：S1，通过载有摄像设备的移动终端识别真实空间场景，以所述移动终端为参照物，构建与所述真实空间场景相应的虚拟空间；S2，识别摄像设备传输的真实图像数据，通过图像矩阵变换获得所述真实图像在虚拟空间中的位置；S3，根据所述真实图像在虚拟空间中的位置信息，通过空间变换在所述虚拟空间中生成与所述真实图像相应的虚拟物体；S4，实时跟踪真实图像在真实空间场景中的位置，同步调整相应的虚拟物体在所述虚拟空间中的位置和方向；S5，根据真实图像在虚拟空间中的位置信息，触发与虚拟物体的交互操作。

【技术特征摘要】
1.一种真实图像在虚拟空间中的定位和交互方法，其特征在于，包括以下步骤：S1，通过载有摄像设备的移动终端识别真实空间场景，以所述移动终端为参照物，构建与所述真实空间场景相应的虚拟空间；S2，识别摄像设备传输的真实图像数据，通过图像矩阵变换获得所述真实图像在虚拟空间中的位置；S3，根据所述真实图像在虚拟空间中的位置信息，通过空间变换在所述虚拟空间中生成与所述真实图像相应的虚拟物体；S4，实时跟踪真实图像在真实空间场景中的位置，同步调整相应的虚拟物体在所述虚拟空间中的位置和方向；S5，根据真实图像在虚拟空间中的位置信息，触发与虚拟物体的交互操作。2.根据权利要求1所述的真实图像在虚拟空间中的定位和交互方法，其特征在于：当真实图像数据丢失后，相应的虚拟物体保持在所述虚拟空间中的最后一次定位位置，并通过角度变换控制虚拟物体的方向。3.根据权利要求2所述的真实图像在虚拟空间中的定位和交互方法，其特征在于：当再次跟踪到真实图像时，执行步骤S2至步骤S5，更新相应的虚拟物体在所述虚拟空间中的位置和方向。4.根据权利要求1所述的真实图像在虚拟空间中的定位和交互方法，其特征在于，所述步骤S5包括：设置指定位置关系为交互操作的触发条件，通过位置关系计算，触发与虚拟物体的交互...

【专利技术属性】
技术研发人员：周志颖，董鑫，
申请(专利权)人：苏州梦想人软件科技有限公司，
类型：发明
国别省市：江苏,32