虚拟对象处理方法及装置、存储介质和电子设备制造方法及图纸

本发明专利技术公开了一种虚拟对象处理方法、虚拟对象处理装置、存储介质和电子设备，涉及增强现实技术领域。该虚拟对象处理方法包括：检测第一设备所处场景中的空间平面；对场景中真实对象进行检测，以确定多个真实对象位置框；基于多个真实对象位置框与场景中的空间平面之间的匹配关系，从多个真实对象位置框中确定出候选位置框集合；响应针对候选位置框集合中一目标位置框的虚拟对象配置操作，确定虚拟对象在目标位置框中的位置信息；将虚拟对象的信息以及虚拟对象在目标位置框中的位置信息发送给第二设备，以便在第二设备上显示虚拟对象。本公开可以提高多人AR技术的适用范围。

Virtual object processing methods and devices, storage media and electronic equipment

The invention discloses a virtual object processing method, a virtual object processing device, a storage medium and an electronic device, relating to the technical field of augmented reality. The virtual object processing method includes: detecting the space plane in the scene where the first device is located; detecting the real object in the scene to determine multiple real object position boxes; determining the candidate position box set from multiple real object position boxes based on the matching relationship between multiple real object position boxes and the space plane in the scene; responding to the candidate position box set The virtual object configuration operation of the first target location box determines the location information of the virtual object in the target location box; sends the information of the virtual object and the location information of the virtual object in the target location box to the second device, so as to display the virtual object on the second device. The invention can improve the application scope of multi person AR technology.

【技术实现步骤摘要】
虚拟对象处理方法及装置、存储介质和电子设备
本公开涉及增强现实
，具体而言，涉及一种虚拟对象处理方法、虚拟对象处理装置、存储介质和电子设备。
技术介绍
增强现实(AugmentedReality，AR)是一种把虚拟世界和现实世界融合的技术，其已应用到教育、游戏、医疗、物联网、智能制造等多个领域。随着移动设备性能的不断提高以及AR技术的快速发展，在移动设备上实现AR应用具有广阔的市场前景，尤其利用多人AR技术，可以实现多用户之间的AR交互。然而，一方面，目前多人AR技术需要多个用户处于相同的环境，或者以相同的视觉信息作为交互的基础，限制了AR技术的适用范围；另一方面，需要配置人工标注装置或辅助设备，成本较高且影响了AR交互的便利性。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本公开的目的在于提供一种虚拟对象处理方法、虚拟对象处理装置、存储介质和电子设备，进而至少在一定程度上克服由于需要相同环境而限制多人AR适用范围的问题。根据本公开的第一方面，提供一种虚拟对象处理方法，包括：检测第一设备所处场景中的空间平面；对场景中真实对象进行检测，以确定多个真实对象位置框；基于多个真实对象位置框与场景中的空间平面之间的匹配关系，从多个真实对象位置框中确定出候选位置框集合；响应针对候选位置框集合中一目标位置框的虚拟对象配置操作，确定虚拟对象在目标位置框中的位置信息；将虚拟对象的信息以及虚拟对象在目标位置框中的位置信息发送给第二设备，以便在第二设备上显示虚拟对象。根据本公开的第二方面，还提供一种虚拟对象处理方法，包括：检测第二设备所处场景中的空间平面；对场景中真实对象进行检测，以确定多个真实对象位置框；基于多个真实对象位置框与场景中的空间平面之间的匹配关系，从多个真实对象位置框中确定出候选位置框集合；获取由第一设备发送的虚拟对象的信息以及虚拟对象在第一设备的目标位置框中的位置信息；响应一虚拟对象配置操作，从候选位置框集合中确定虚拟对象放置框；基于虚拟对象在第一设备的目标位置框中的位置信息，确定虚拟对象在虚拟对象放置框中的位置信息，以便在第二设备上显示虚拟对象。根据本公开示例性实施方式的第三方面，提供了一种虚拟对象处理装置，包括：第一平面检测模块，用于检测第一设备所处场景中的空间平面；第一位置框确定模块，用于对场景中真实对象进行检测，以确定多个真实对象位置框；第一位置框集合确定模块，用于基于多个真实对象位置框与场景中的空间平面之间的匹配关系，从多个真实对象位置框中确定出候选位置框集合；对象位置确定模块，用于响应针对候选位置框集合中一目标位置框的虚拟对象配置操作，确定虚拟对象在目标位置框中的位置信息；信息发送模块，用于将虚拟对象的信息以及虚拟对象在目标位置框中的位置信息发送给第二设备，以便在第二设备上显示虚拟对象。根据本公开示例性实施方式的第四方面，提供了一种虚拟对象处理装置，包括：第二平面检测模块，用于检测第二设备所处场景中的空间平面；第二位置框确定模块，用于对场景中真实对象进行检测，以确定多个真实对象位置框；第二位置框集合确定模块，用于基于多个真实对象位置框与场景中的空间平面之间的匹配关系，从多个真实对象位置框中确定出候选位置框集合；信息获取模块，用于获取由第一设备发送的虚拟对象的信息以及虚拟对象在第一设备的目标位置框中的位置信息；放置框确定模块，用于响应一虚拟对象配置操作，从候选位置框集合中确定虚拟对象放置框；位置转换模块，用于基于虚拟对象在第一设备的目标位置框中的位置信息，确定虚拟对象在虚拟对象放置框中的位置信息，以便在第二设备上显示虚拟对象。根据本公开示例性实施方式的第五方面，提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一方面的虚拟对象处理方法。根据本公开示例性实施方式的第六方面，提供了一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，该处理器配置为经由执行可执行指令来执行上述任一方面的虚拟对象处理方法。在本公开的一些实施例所提供的技术方案中，针对发送虚拟对象信息的第一设备，利用第一设备所处场景中的空间平面以及真实对象位置框确定出可以放置虚拟对象的候选位置框集合，响应针对候选位置框集合中一目标位置框的虚拟对象配置操作，确定出虚拟对象在目标位置框中的位置信息，将虚拟对象以及其在目标位置框中的位置信息发送给第二设备；针对获取虚拟对象信息的第二设备，响应一操作从与第二设备对应的候选位置框集合中确定虚拟对象放置框，基于虚拟对象在第一设备的目标位置框中的位置信息，确定虚拟对象在虚拟对象放置框中的位置信息，并显示虚拟对象。一方面，通过本公开示例性的方法，使得处于不同环境的设备之间可以实现AR交互，消除了场景带来的限制，提高了多人AR技术的适用范围；另一方面，由于不要求场景相同，因此，可以实现远程或异地多人AR交互；又一方面，本公开的方法可以直接由移动设备实现，无需为了实现AR过程而专门配置的标注装置、辅助设备等，降低了成本；再一方面，第一设备与第二设备在确定候选位置框集合方面，处理过程类似，可以提前进行算法配置，并适配于各种移动设备，以便实现两个或更多个设备之间的AR交互过程。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1示意性示出了根据本公开的示例性实施方式的虚拟对象处理方法的流程图；图2示意性示出了根据本公开的另一示例性实施方式的虚拟对象处理方法的流程图；图3示出了第二设备确定虚拟对象在虚拟对象放置框中的位置的示意图；图4示意性示出了第一设备与第二设备进行AR数据处理的流程图；图5示意性示出了根据本公开的示例性实施方式的虚拟对象处理装置的方框图；图6示意性示出了根据本公开的另一示例性实施方式的虚拟对象处理装置的方框图；图7示意性示出了根据本公开的再一示例性实施方式的虚拟对象处理装置的方框图；图8示意性示出了根据本公开的示例性实施方式的电子设备的方框图。具体实施方式现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方本文档来自技高网...

【技术保护点】
1.一种虚拟对象处理方法，其特征在于，包括：/n检测第一设备所处场景中的空间平面；/n对所述场景中真实对象进行检测，以确定多个真实对象位置框；/n基于所述多个真实对象位置框与所述场景中的空间平面之间的匹配关系，从所述多个真实对象位置框中确定出候选位置框集合；/n响应针对所述候选位置框集合中一目标位置框的虚拟对象配置操作，确定虚拟对象在所述目标位置框中的位置信息；/n将所述虚拟对象的信息以及所述虚拟对象在所述目标位置框中的位置信息发送给第二设备，以便在所述第二设备上显示所述虚拟对象。/n

【技术特征摘要】
1.一种虚拟对象处理方法，其特征在于，包括：
检测第一设备所处场景中的空间平面；
对所述场景中真实对象进行检测，以确定多个真实对象位置框；
基于所述多个真实对象位置框与所述场景中的空间平面之间的匹配关系，从所述多个真实对象位置框中确定出候选位置框集合；
响应针对所述候选位置框集合中一目标位置框的虚拟对象配置操作，确定虚拟对象在所述目标位置框中的位置信息；
将所述虚拟对象的信息以及所述虚拟对象在所述目标位置框中的位置信息发送给第二设备，以便在所述第二设备上显示所述虚拟对象。


2.根据权利要求1所述的虚拟对象处理方法，其特征在于，检测第一设备所处场景中的空间平面包括：
根据所述第一设备采集的多个视频帧图像以及对应的惯性信息提取所述场景的特征点；
基于提取到的特征点构建特征点云；
利用所述特征点云检测所述第一设备所处场景中的空间平面。


3.根据权利要求2所述的虚拟对象处理方法，其特征在于，对所述场景中真实对象进行检测，以确定多个真实对象位置框包括：
确定一目标帧图像，将所述目标帧图像输入训练后的机器学习模型中，利用所述训练后的机器学习模型确定多个真实对象位置框。


4.根据权利要求2所述的虚拟对象处理方法，其特征在于，基于所述多个真实对象位置框与所述场景中的空间平面之间的匹配关系，从所述多个真实对象位置框中确定出候选位置框集合包括：
针对所述多个真实对象位置框中的任意一个真实对象位置框，确定所述真实对象位置框的多个特征位置点；
确定所述多个特征位置点在所述特征点云的坐标系下的坐标点以及法线方向；
针对所述多个特征位置点在所述特征点云的坐标系下的坐标点，如果沿所述法线方向的投影均在同一空间平面上，则确定所述真实对象位置框为候选位置框，并将所述真实对象位置框添加至所述候选位置框集合。


5.根据权利要求1至4中任一项所述的虚拟对象处理方法，其特征在于，在确定虚拟对象在所述目标位置框中的位置信息后，所述虚拟对象处理方法还包括：
基于所述虚拟对象在所述目标位置框中的位置信息，确定所述虚拟对象在所述场景中的三维位置信息；
根据所述虚拟对象在所述场景中的三维位置信息在所述第一设备上显示所述虚拟对象。


6.一种虚拟对象处理方法，其特征在于，包括：
检测第二设备所处场景中的空间平面；
对所述场景中真实对象进行检测，以确定多个真实对象位置框；
基于所述多个真实对象位置框与所述场景中的空间平面之间的匹配关系，从所述多个真实对象位置框中确定出候选位置框集合；
获取由第一设备发送的虚拟对象的信息以及所述虚拟对象在所述第一设备的目标位置框中的位置信息；
响应一虚拟对象配置操作，从所述候选位置框集合中确定虚拟对象放置框；
基于所述虚拟对象在所述第一设备的目标位置框中的位置信息，确定所述虚拟对象在所述虚拟对象放置框中的位置信息，以便在所述第二设备上显示所述虚拟对象。


7.根据权利要求6所述的虚拟对象处理方法，其特征在于，检测第二设备所处场景中的空间平面包括：
根据所述第二设备采集的多个视频帧图像以及对应的惯性信息提取所述场景的特征点；
基于提取到的特征点构建特征点云；
利用所述特征点云检测所述第二设备所处场景中的空间平面。


8.根据权利要求7所述的虚拟对象处理方法，其特征在于，对所述场景中真实对象进行检测，以确定多个真实对象位置框包括：
确定一目标帧图像，将所述目标帧图像输入训练后的机器学习模型中，利用所述训练后的机器学习模型确定多个真实对象位置框。


9.根据权利要求7所述的虚拟对象处理方法，其特征在于，基于所述多个真实对...

【专利技术属性】
技术研发人员：康健，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44