增强现实AR交互方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种增强现实AR交互方法、装置、电子设备及存储介质，该AR交互方法包括：基于AR设备拍摄的现实场景图像，在AR设备展示与现实场景图像匹配的AR画面；AR画面中展示有至少一个虚拟对象，至少一个虚拟对象中包括关联虚拟对象，关联虚拟对象包括第一虚拟子对象和第二虚拟子对象；检测针对关联虚拟对象的目标触发操作，在目标触发操作满足预设条件的情况下，在AR画面中展示第一虚拟子对象对应的第一AR特效，以及第二虚拟子对象对应的第二AR特效，第一AR特效与第二AR特效之间存在关联。本公开实施例中，由于虚拟对象包括了关联虚拟对象，进而在虚拟对象被触发时能够展示相关联的第一AR特效和第二AR特效，提升了AR特效的显示效果。

【技术实现步骤摘要】
增强现实AR交互方法、装置、电子设备及存储介质
本公开涉及增强现实
，具体而言，涉及一种增强现实AR交互方法、装置、电子设备和存储介质。
技术介绍
增强现实(AugmentedReality，AR)技术是一种将虚拟信息与真实世界巧妙融合的技术，该技术可以将虚拟信息与真实环境实时地叠加到一个画面。虽然AR在过去数年间已经取得了长足的进步，但是在AR体验中可以发现，现有技术中的AR设备所呈现的AR显示效果较为单一。因此，对AR设备呈现的增强现实场景的效果的优化以及用户交互体验的提升，愈发重要。
技术实现思路
本公开实施例至少提供一种AR交互方法、装置、电子设备及存储介质。第一方面，本公开实施例提供了一种AR交互方法，包括：基于AR设备拍摄的现实场景图像，在AR设备展示与所述现实场景图像匹配的AR画面；所述AR画面中展示有至少一个虚拟对象，所述至少一个虚拟对象中包括关联虚拟对象，所述关联虚拟对象包括第一虚拟子对象和第二虚拟子对象；检测针对所述关联虚拟对象的目标触发操作，在所述目标触发操作满足预设条件的情况下，在所述AR画面中展示所述第一虚拟子对象对应的第一AR特效，以及所述第二虚拟子对象对应的第二AR特效，所述第一AR特效与所述第二AR特效之间存在关联。本公开实施例中，基于AR设备拍摄的现实场景图像，显示相应的AR画面，且AR画面中展示有至少一个关联虚拟对象，使得在对关联虚拟对象触发时展示相关联的第一AR特效和第二AR特效，进而提升了AR特效的显示效果，丰富了用户体验。r>根据第一方面，在一种可能的实施方式中，所述检测针对所述关联虚拟对象的目标触发操作，包括：检测作用在所述AR设备的屏幕上的触发操作；识别所述触发操作在所述AR设备的屏幕上的屏幕坐标位置；基于所述屏幕坐标位置以及所述关联虚拟对象在预先构建的三维虚拟场景地图中的预设位置区域，确定所述触发操作是否为针对所述关联虚拟对象的目标触发操作。本公开实施例中，基于触发操作在所述AR设备的屏幕上的屏幕坐标位置以及关联虚拟对象在预先构建的三维虚拟场景地图中的预设位置区域，确定触发操作是否为针对所述关联虚拟对象的目标触发操作，可以将作用在AR设备屏幕上的操作与现实场景相结合，提升交互的真实性。根据第一方面，在一种可能的实施方式中，所述基于所述屏幕坐标位置以及所述关联虚拟对象在预先构建的三维虚拟场景地图中的预设位置区域，确定所述触发操作是否为针对所述关联虚拟对象的目标触发操作，包括：根据所述触发操作作用在所述AR设备屏幕上的屏幕坐标位置，以及屏幕坐标系与实时定位与地图构建SLAM坐标系之间的转换关系，确定与所述屏幕坐标位置对应的SLAM坐标位置；将所述SLAM坐标位置映射到所述三维虚拟场景地图中，得到所述触发操作作用在所述三维虚拟场景地图中的虚拟世界坐标位置；在所述虚拟世界坐标位置位于所述预设位置区域内的情况下，确定所述触发操作为针对所述关联虚拟对象的目标触发操作。本公开实施例中，通过实时定位与地图构建SLAM坐标，来实现触发操作作用在AR设备屏幕上的屏幕坐标位置到三维虚拟场景地图中的虚拟世界坐标位置的转换，进而确定该触发操作是否触发到虚拟对象，不仅实现了从现实世界到虚拟世界的定位，且该定位方法较为精准，提高了用户的交互体验。根据第一方面，在一种可能的实施方式中，所述在所述AR画面中展示所述第一虚拟子对象对应的第一AR特效，以及所述第二虚拟子对象对应的第二AR特效，包括：在所述AR画面中展示所述第一虚拟子对象发生第一状态变化的第一AR特效，以及所述第二虚拟子对象发生第二状态变化的第二AR特效。本公开实施例中，通过关联虚拟对象中的第一虚拟子对象和第二虚拟子对象的状态变化来展示相应的AR特效，使得AR特效灵活逼真，提高了AR特效的展示效果。根据第一方面，在一种可能的实施方式中，所述第一状态变化包括形态变化，所述第二状态变化包括位置变化。本公开实施例中，关联的第一虚拟子对象和第二虚拟子对象的AR特效分别包括了形态变化和位置变化的不同效果，使得特效画面丰富多彩，且通过关联的动态的展示效果更能提高视觉效果。根据第一方面，在一种可能的实施方式中，基于AR设备拍摄的现实场景图像，在AR设备展示与所述现实场景图像匹配的AR画面，包括：基于所述AR设备拍摄的现实场景图像，以及预先构建的三维虚拟场景地图，在所述AR设备展示与所述AR设备的实时定位位姿匹配的AR画面。本公开实施例中，基于预先构建的三维虚拟场景地图来设计虚拟对象在现实场景中的展示特效，可以使得虚拟对象的展示特效与现实场景融入性更好。根据第一方面，在一种可能的实施方式中，基于AR设备拍摄的现实场景图像，以及预先构建的三维虚拟场景地图，在AR设备展示与所述AR设备的实时定位位姿匹配的AR画面，包括：基于所述AR设备拍摄的现实场景图像，以及所述预先构建的三维虚拟场景地图，确定所述AR设备的初始定位位姿；基于所述AR设备的初始定位位姿，通过实时定位与地图构建SLAM，确定所述AR设备的实时定位位姿；基于所述AR设备的实时定位位姿，在AR设备展示与所述AR设备的实时定位位姿匹配的AR画面。本公开实施例中，通过SLAM确定AR设备的实时定位位姿，再基于AR设备的实时定位位姿，在AR设备展示与AR设备的实时定位位姿匹配的AR画面，如此，可使得每次展示虚拟对象的现实场景环境不同，进而使得虚拟对象可以在不同的现实空间内展示特效效果，为用户带来不同的视觉体验。根据第一方面，在一种可能的实施方式中，所述目标触发操作满足预设条件包括以下至少一种：所述目标触发操作的次数超出预设次数、所述目标触发操作的时长超出预设时长。本公开实施例中，通过操作次数和操作时长来对目标触发操作满足预设条件进行限定，可以增加用户交互的趣味性。根据第一方面，在一种可能的实施方式中，在AR设备展示与所述现实场景图像匹配的AR画面，包括：基于预设的不同交互阶段分别对应的所述虚拟对象的AR特效数据，获取当前达到的目标交互阶段所对应的所虚拟对象的目标AR特效数据；基于所述目标AR特效数据，在所述AR画面中展示所述虚拟对象。本公开实施例中，基于预设的不同交互阶段分别对应的所述虚拟对象的AR特效数据，获取当前达到的目标交互阶段所对应的所虚拟对象的目标AR特效数据，在不同阶段匹配不同的AR特效数据，丰富了用户的交互体验。第二方面，本公开实施例提供了一种AR交互装置，包括：AR画面展示模块，用于基于AR设备拍摄的现实场景图像，在AR设备展示与所述现实场景图像匹配的AR画面；所述AR画面中展示有至少一个虚拟对象，所述至少一个虚拟对象中包括关联虚拟对象，所述关联虚拟对象包括第一虚拟子对象和第二虚拟子对象；AR特效展示模块，用于检测针对所述关联虚拟对象的目标触发操作，在所述目标触发操作满足预设条件的情况下，在所述AR画面中展示所述第一虚本文档来自技高网...

【技术保护点】
1.一种增强现实AR交互方法，其特征在于，包括：/n基于AR设备拍摄的现实场景图像，在AR设备展示与所述现实场景图像匹配的AR画面；所述AR画面中展示有至少一个虚拟对象，所述至少一个虚拟对象中包括关联虚拟对象，所述关联虚拟对象包括第一虚拟子对象和第二虚拟子对象；/n检测针对所述关联虚拟对象的目标触发操作，在所述目标触发操作满足预设条件的情况下，在所述AR画面中展示所述第一虚拟子对象对应的第一AR特效，以及所述第二虚拟子对象对应的第二AR特效，所述第一AR特效与所述第二AR特效之间存在关联。/n

【技术特征摘要】
1.一种增强现实AR交互方法，其特征在于，包括：
基于AR设备拍摄的现实场景图像，在AR设备展示与所述现实场景图像匹配的AR画面；所述AR画面中展示有至少一个虚拟对象，所述至少一个虚拟对象中包括关联虚拟对象，所述关联虚拟对象包括第一虚拟子对象和第二虚拟子对象；
检测针对所述关联虚拟对象的目标触发操作，在所述目标触发操作满足预设条件的情况下，在所述AR画面中展示所述第一虚拟子对象对应的第一AR特效，以及所述第二虚拟子对象对应的第二AR特效，所述第一AR特效与所述第二AR特效之间存在关联。


2.根据权利要求1所述的方法，其特征在于，所述检测针对所述关联虚拟对象的目标触发操作，包括：
检测作用在所述AR设备的屏幕上的触发操作；
识别所述触发操作在所述AR设备的屏幕上的屏幕坐标位置；
基于所述屏幕坐标位置以及所述关联虚拟对象在预先构建的三维虚拟场景地图中的预设位置区域，确定所述触发操作是否为针对所述关联虚拟对象的目标触发操作。


3.根据权利要求2所述的方法，其特征在于，所述基于所述屏幕坐标位置以及所述关联虚拟对象在预先构建的三维虚拟场景地图中的预设位置区域，确定所述触发操作是否为针对所述关联虚拟对象的目标触发操作，包括：
根据所述触发操作作用在所述AR设备屏幕上的屏幕坐标位置，以及屏幕坐标系与实时定位与地图构建SLAM坐标系之间的转换关系，确定与所述屏幕坐标位置对应的SLAM坐标位置；
将所述SLAM坐标位置映射到所述三维虚拟场景地图中，得到所述触发操作作用在所述三维虚拟场景地图中的虚拟世界坐标位置；
在所述虚拟世界坐标位置位于所述预设位置区域内的情况下，确定所述触发操作为针对所述关联虚拟对象的目标触发操作。


4.根据权利要求1所述的方法，其特征在于，所述在所述AR画面中展示所述第一虚拟子对象对应的第一AR特效，以及所述第二虚拟子对象对应的第二AR特效，包括：
在所述AR画面中展示所述第一虚拟子对象发生第一状态变化的第一AR特效，以及所述第二虚拟子对象发生第二状态变化的第二AR特效。


5.根据权利要求4所述的方法，其特征在于，所述第一状态变化包括形态变化，所述第二状态变化包括位置变化。


6.根据权利要求1-5任一所述的方法，其特征在于，基于AR设备拍摄的现实场景图像，在AR设备展示与所述现实场景图像匹配的AR画面，包括：
基于所述AR设备拍摄的现实场景图像，以及预先构...

【专利技术属性】
技术研发人员：王鼎禄，刘旭，侯欣如，李斌，黄波，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京;11