定位、抓取、数据处理与用于增强现实的显示方法及设备技术

本申请实施例提供一种定位、抓取、数据处理与用于增强现实的显示方法及设备。其中，方法包括如下的步骤：获取目标物的待定位图像；根据即时定位与地图构建算法基于待定位图像预测出的目标物周围的参考物的第一预测位姿以及目标物与参考物之间的位姿转换关系，对目标物进行定位。本申请实施例提供的技术方案能够对旋转对称物体进行有效地定位，提高了定位准确率以及定位成功率。

【技术实现步骤摘要】
定位、抓取、数据处理与用于增强现实的显示方法及设备
本申请涉及电子
，尤其涉及一种定位、抓取、数据处理与用于增强现实的显示方法及设备。
技术介绍
目前，在机器人以及增强现实等
，需要对物体进行位姿估计。例如：机器人在与物体进行交互时，需要对物体进行位姿估计，从而确定交互方式；再例如：增强现实设备需要确定现实中实物的位姿信息，从而确定如何渲染虚拟物体。现有的物体定位方式中，通常采用即时定位与地图构建算法从待定位的物体上提取特征点并进行特征点的匹配，以实现物体位姿估计。一旦难以从待定位的物体上提取特征点，例如：旋转对称性的物体，物体位姿估计准确度就会降低，甚至无法进行该物体的位姿估计。
技术实现思路
鉴于上述问题，提出了本申请以提供一种解决上述问题或至少部分地解决上述问题的定位、抓取、数据处理与用于增强现实的显示方法及设备。于是，在本申请的一个实施例中，提供了一种物体定位方法。该方法包括：获取目标物的待定位图像；根据即时定位与地图构建算法基于所述待定位图像预测出的所述目标物周围的参考物的第一预测位姿以及所述目标物与所述参考物之间的位姿转换关系，对所述目标物进行定位。在本申请的另一实施例中，提供了一种物体抓取方法。该方法包括：获取目标物的待定位图像；根据即时定位与地图构建算法基于所述待定位图像预测出的所述目标物周围的参考物的第一预测位姿以及所述目标物与所述参考物之间的位姿转换关系，对所述目标物进行定位；根据定位结果，确定抓取所述目标物的方式。在本申请的又一实施例中，提供了一种用于增强现实的显示方法。该方法，包括：获取目标实物的待定位图像；根据即时定位与地图构建算法基于所述待定位图像预测出的所述目标物周围的参考实物的第一预测位姿以及所述目标实物与所述参考实物之间的位姿转换关系，对所述目标实物进行定位；根据定位结果，确定与所述目标实物相关联的虚拟物体的显示画面；。在本申请的又一实施例中，提供了一种训练数据采集系统。该系统，包括：多个相机，所述多个相机分布在以样本物体为球心的球面上，且朝向所述样本物体设置；与所述多个相机连接的控制器，用于控制所述多个相机的拍摄；与所述相机连接的处理器，用于根据所述相机在拍摄样本图像的拍摄时刻的相机位姿信息以及所述样本物体在所述拍摄时刻相对于世界坐标系的第一位姿信息，确定所述样本物体在所述拍摄时刻相对于所述相机的第二位姿信息；并关联所述样本图像与所述第二位姿信息，以作为一组训练数据。在本申请的又一实施例中，提供了一种数据处理方法。该方法，包括：获取包含有旋转对称物体的样本图像及所述旋转对称物体对应的参考位姿；将所述样本图像作为训练模型的输入，执行所述训练模型得到计算位姿；在基于所述参考位姿及所述计算位姿判定满足收敛条件的情况下，所述训练模型完成训练得到用于与即时定位与地图构建算法结合使用以对具有旋转对称性的物体进行位姿估计的计算模型。在本申请的又一实施例中，提供了一种电子设备。该电子设备，包括：存储器和处理器，其中，所述存储器，用于存储程序；所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：获取目标物的待定位图像；根据即时定位与地图构建算法基于所述待定位图像预测出的所述目标物周围的参考物的第一预测位姿以及所述目标物与所述参考物之间的位姿转换关系，对所述目标物进行定位。在本申请的又一实施例中，提供了一种机器人。该机器人，包括：存储器、处理器和通信组件，其中，所述存储器，用于存储程序；所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：获取目标物的待定位图像；根据即时定位与地图构建算法基于所述待定位图像预测出的所述目标物周围的参考物的第一预测位姿以及所述目标物与所述参考物之间的位姿转换关系，对所述目标物进行定位；根据定位结果，确定抓取所述目标物的方式。在本申请的又一实施例中，提供了一种增强现实设备。该增强现实设备，包括：存储器和处理器，其中，所述存储器，用于存储程序；所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：获取目标实物的待定位图像；根据即时定位与地图构建算法基于所述待定位图像预测出的所述目标物周围的参考实物的第一预测位姿以及所述目标实物与所述参考实物之间的位姿转换关系，对所述目标实物进行定位；根据定位结果，确定与所述目标实物相关联的虚拟物体的显示画面。在本申请的又一实施例中，提供了一种电子设备。该电子设备，包括：存储器和处理器，其中，所述存储器，用于存储程序；所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：获取包含有旋转对称物体的样本图像及所述旋转对称物体对应的参考位姿；将所述样本图像作为训练模型的输入，执行所述训练模型得到计算位姿；在基于所述参考位姿及所述计算位姿判定满足收敛条件的情况下，所述训练模型完成训练得到用于与即时定位与地图构建算法结合使用以对具有旋转对称性的物体进行位姿估计的计算模型。本申请实施例提供的技术方案中，在对目标物进行定位时，选取目标物周围的参考物；根据定位出参考物的第一预测位姿以及目标物与所述参考物之间的位姿转换关系，即可对目标物进行准确定位。采用本申请实施例提供的技术方案，能够有效抑制旋转对称物体的迷惑性，从而实现了对旋转对称物体的位姿的准确定位，以提高物体定位的准确率以及成功率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请一实施例提供的物体定位方法的流程示意图；图2为本申请又一实施例提供的物体抓取方法的流程示意图；图3为本申请又一实施例提供的显示方法的流程示意图；图4为本专利技术一实施例提供的数据采集系统的结构框图；图5为本申请又一实施例提供的物体定位方法的流程示意图；图6为本专利技术一实施例提供的物体定位装置的结构框图；图7为本专利技术一实施例提供的设备结构框图；图8为本申请又一实施例提供的数据处理方法的流程示意图；图9为本专利技术一实施例提供的数据处理装置的结构框图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。在本专利技术的说明书、权利要求书及上述附图中描述的一些流程中，包含了按照特定顺序出现的多个操作，这些操作可以不按照其在本文中出现的顺序来执行或并行执行。操作的序本文档来自技高网...

【技术保护点】
1.一种物体定位方法，其特征在于，包括：/n获取目标物的待定位图像；/n根据即时定位与地图构建算法基于所述待定位图像预测出的所述目标物周围的参考物的第一预测位姿以及所述目标物与所述参考物之间的位姿转换关系，对所述目标物进行定位。/n

【技术特征摘要】
1.一种物体定位方法，其特征在于，包括：
获取目标物的待定位图像；
根据即时定位与地图构建算法基于所述待定位图像预测出的所述目标物周围的参考物的第一预测位姿以及所述目标物与所述参考物之间的位姿转换关系，对所述目标物进行定位。


2.根据权利要求1所述的方法，其特征在于，还包括：
根据卷积神经网络基于第一图像预测出的目标物的第二预测位姿以及所述即时定位与地图构建算法基于所述第一图像预测出的所述参考物的第三预测位姿确定所述位姿转换关系；
所述目标物与所述参考物相对静止。


3.根据权利要求2所述的方法，其特征在于，还包括：
根据所述卷积神经网络基于拍摄时间位于预设时间段内的多帧图像对所述目标物进行多次位姿预测的结果，确定所述目标物是否为旋转对称性的物体；
根据即时定位与地图构建算法基于所述待定位图像预测出的所述目标物周围的参考物的第一预测位姿以及所述目标物与所述参考物之间的位姿转换关系，对所述目标物进行定位，包括：
所述目标物为旋转对称性的物体时，根据即时定位与地图构建算法基于所述待定位图像预测出的所述目标物周围的参考物的第一预测位姿以及所述目标物与所述参考物之间的位姿转换关系，对所述目标物进行定位。


4.根据权利要求3所述的方法，其特征在于，根据所述卷积神经网络基于拍摄时间位于预设时间段内的多帧图像对目标物进行多次位姿预测的结果，确定所述目标物是否为旋转对称性的物体，包括：
计算所述结果中所述目标物的多个预测姿态之间的第一差异；
所述第一差异大于或等于第一预设阈值时，判定所述目标物为旋转对称性的物体。


5.根据权利要求3所述的方法，其特征在于，所述参考物相对世界坐标系静止；
上述方法，还包括：
根据所述结果中所述目标物的多个预测位置，判断所述目标物是否相对于所述世界坐标系发生平移；
所述目标物相对于所述参考坐标系未发生平移时，判定所述目标物与所述参考物相对静止。


6.根据权利要求1至5中任一项所述的方法，其特征在于，还包括：
通过所述卷积神经网络的卷积层对所述第一图像进行特征提取，得到第一特征图；
根据所述第一特征图，由所述卷积神经网络的全连接层对所述目标物进行位姿预测，以得到所述目标物的第二预测位姿。


7.根据权利要求1至5所述的方法，其特征在于，所述卷积神经网络的训练过程如下：
获取包含有旋转对称物体的样本图像及所述旋转对称物体对应的参考位姿；
将所述样本图像作为训练模型的输入，执行所述训练模型得到计算位姿；
在基于所述参考位姿及所述计算位姿判定满足收敛条件的情况下，所述训练模型完成训练得到所述卷积神经网络。


8.根据权利要求1至5中任一项所述的方法，其特征在于，还包括：
获取空间尺度比例；
采用所述空间尺度比例修正对所述目标物的定位结果。


9.根据权利要求8所述的方法，其特征在于，所述待定位图像由相机采集得到；
获取空间尺度比例，包括：
利用所述即时定位与地图构建算法，确定所述相机在第一时刻和第二时刻之间的第一位移量；
利用卷积神经网络，确定所述相机在所述第一时刻和所述第二时刻之间的第二位移量；
将所述第二位移量与所述第一位移量的比值作为所述空间尺度比例。


10.一种物体抓取方法，其特征在于，包括：
获取目标物的待定位图像；
根据即时定位与地图构建算法基于所述待定位图像预测出的所述目标物周围的参考物的第一预测位姿以及所述目标物与所述参考物之间的位姿转换关系，对所述目标物进行定位；
根据定位结果，确定抓取所述目标物的方式。


11.根据权利要求10所述的方法，其特征在于，还包括：
根据卷积神经网络基于第一图像预测出的目标物的第二预测位姿以及所述即时定位与地图构建算法基于所述第一图像预测出的所述参考物的第三预测位姿确定所述位姿转换关系；
所述目标物与所述参考物相对静止。


12.根据权利要求11所述的方法，其特征在于，还包括：
根据所述卷积神经网络基于拍摄时间位于预设时间段内的多帧图像对所述目标物进行多次位姿预测的结果，确定所述目标物是否为旋转对称性的物体；
根据即时定位与地图构建算法基于所述待定位图像预测出的所述目标物周围的参考物的第一预测位姿以及所述目标物与所述参考物之间的位姿转换关系，对所述目标物进行定位，包括：
所述目标物为旋转对称性的物体时，根据即时定位与地图构建算法基于所述待定位图像预测出的所述目标物周围的参考物的第一预测位姿以及所述目标物与所述参考物之间的位姿转换关系，对所述目标物进行定位。


13.一种用于增强现实的显示方法，其特征在于，包括：
获取目标实物的待定位图像；
根据即时定位与地图构建算法基于所述待定位图像预测出的所述目标物周围的参考实物的第一预测位姿以及所述目标实物与所述参考实物之间的位姿转换关系，对所述目标实物进行定位；
根据定位结果，确定与所述目标实物相关联的虚拟物体的显示画面。


14.根据权利要求13所述的方法，其特征在于，还包括：
根据卷积神经网络基于第一图像预测出的目标实物的第二预测位姿以及所述即时定位与地图构建算法基于所述第一图像预测出的所述参考实物的第三预测位姿确定所述位姿转换关系；
所述目标实物与所述参考实物相对静止。


15.根据权利要求14所述的方法，其特征在于，还包括：
根据所述卷积神经网络基于拍摄时间位于预设时间段内的多帧图像对所述目标实物进行多次位姿预测的结果，确定所述目标实物是否为旋转对称性的物体；
根据即时定位与地图构建算法基于所述待定位图像预测出的所述目标实物周围的参考实物的第一预测位姿以及所述目标实物与所述参考实物之间的位姿转换关系，对所述目标实物进行定位，包括：
所述目标实物为旋转对称性的物体时，根据即时定位与地图构建算法基于所述待定位图像预测出的所述目标实物周围的参考实物的第一预...

【专利技术属性】
技术研发人员：伊威，李名杨，古鉴，邵柏韬，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY