三维姿态估计方法及系统、计算机可读存储介质技术方案

本申请公开了三维姿态估计方法及系统、计算机可读存储介质，涉及三维姿态估计技术领域，其中方法包括：获取目标二维图像；将所述目标二维图像输入至热力图网络中，得到目标热力图像；将所述目标二维图像输入至校验码网络中，得到目标校验图像；根据所述目标热力图像和所述目标校验图像，计算所述目标二维图像上每个像素点的置信度，得到置信度集；根据预设的置信度选择算法，从所述置信度集中确定至少一个目标二维点；根据所述目标二维点对应的三维点，计算目标三维姿态。本申请能够选取置信度较高的二维点，从而提高目标三维姿态的精确性。性。性。

【技术实现步骤摘要】
三维姿态估计方法及系统、计算机可读存储介质


[0001]本申请涉及三维姿态估计
，特别涉及一种三维姿态估计方法及系统、计算机可读存储介质。

技术介绍

[0002]目标三维姿态估计是许多感知相关应用的基石，尤其是在虚拟现实和机器人控制等领域中，目标三维姿态估计的精确度直接决定直观交互效果。基于单目RGB摄像头实现的目标三维姿态估计算法由于其对硬件设备要求较低，被广泛应用于虚拟现实应用。Pix2Pose设计了一个自动编码器架构来估计二维图像每个像素的三维坐标，形成二维
‑
三维对应，再使用RANSAC和PnP算法计算目标三维姿态，有效处理了遮挡和对称问题。
[0003]但是，当Pix2Pose网络得到的三维坐标中估计错误的噪声点较多时，依赖二维
‑
三维点对进行计算的RANSAC和PnP算法误差也大大增加，并对姿态估计结果造成严重的不良影响。

技术实现思路

[0004]本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种三维姿态估计方法及系统、计算机可读存储介质，能够选取置信度较高的二维点，从而提高目标三维姿态的精确性。
[0005]第一方面，本申请提供了一种三维姿态估计方法，包括：
[0006]获取目标二维图像；
[0007]将所述目标二维图像输入至热力图网络中，得到目标热力图像；
[0008]将所述目标二维图像输入至校验码网络中，得到目标校验图像；
[0009]根据所述目标热力图像和所述目标校验图像，计算所述目标二维图像上每个像素点的置信度，得到置信度集；
[0010]根据预设的置信度选择算法，从所述置信度集中确定至少一个目标二维点；
[0011]根据所述目标二维点对应的三维点，计算目标三维姿态。
[0012]根据本申请第一方面实施例的三维姿态估计方法，至少具有如下有益效果：获取目标二维图像，并将目标二维图像输入至热力图网络中，得到目标热力图像，同时，将同一个目标二维图像输入至校验码网络中，得到目标校验图像，将目标热力图像和目标校验图像进行计算目标二维图像上每个像素点的置信度，得到置信度集，按照预设的选择算法，从置信度集中选取所述二维图像中确定至少一个目标二维点，并通过Pix2Pose网络来估计目标二维点的三维坐标，再使用RANSAC和PnP算法计算目标三维姿态，通过生成的目标校验图像与现有的目标热力图像进行置信度计算，筛选出置信度较高的二维点，从而提高目标三维姿态的精确性。
[0013]根据本申请第一方面的一些实施例，所述校验码网络通过以下步骤训练获得：获取不同角度下由训练三维图渲染得到的训练二维图像和所述训练三维图的顶点坐标、中心
坐标；根据所述训练二维图像、所述顶点坐标和所述中心坐标，通过顶点着色器进行渲染得到自监督校验图像；将所述训练二维图像输入至未完成训练的校验码网络中，得到预测校验图像；根据所述预测校验图像和所述自监督校验图像调整所述校验码网络的参数。
[0014]根据本申请第一方面的一些实施例，所述获取不同角度下由训练三维图渲染得到的训练二维图像，包括：预设旋转角度，并根据所述旋转角度计算得到最小旋转次数；根据所述旋转角度和训练旋转次数，获取不同角度下由训练三维图渲染得到的训练二维图像；其中，所述训练旋转次数为小于或等于所述最小旋转次数的整数。
[0015]根据本申请第一方面的一些实施例，在所述根据所述训练二维图像、所述顶点坐标和所述中心坐标，通过顶点着色器进行渲染得到自监督校验图像的步骤之后，包括：创建训练数据合集；其中，所述训练数据合集包括多个训练数据组；将同一角度所述训练三维图对应的训练二维图像和所述自监督校验图像记录至同一个所述训练数据组内。
[0016]根据本申请第一方面的一些实施例，所述校验码网络的训练步骤，还包括：根据所述训练二维图像、所述顶点坐标和所述中心坐标，通过顶点着色器进行渲染得到自监督热力图像；将所述自监督热力图像记录至同一角度所述训练三维图对应的所述训练数据组内。
[0017]根据本申请第一方面的一些实施例，所述根据所述训练二维图像、所述顶点坐标和所述中心坐标，通过顶点着色器进行渲染得到自监督校验图像，包括：根据所述中心坐标和所有所述顶点坐标，计算出所述顶点坐标与所述中心坐标之间的最大距离和每个所述顶点坐标到所述中心坐标的第一距离；根据所述最大距离和所述第一距离，计算每个所述顶点坐标一一对应的顶点灰度值；根据所述顶点灰度值，通过顶点着色器进行渲染得到自监督校验图像。
[0018]根据本申请第一方面的一些实施例，所述根据所述预测校验图像和所述自监督校验图像调整所述校验码网络的参数，包括：获取训练二维图像上的总二维点数和目标掩码二维点数；根据所述预测校验图像、所述自监督校验图像、所述总二维点数和所述目标掩码二维点数，计算校验码网络的损失值；根据所述损失值调整所述校验码网络的参数。
[0019]根据本申请第一方面的一些实施例，所述根据所述目标热力图像和所述目标校验图像，计算所述目标二维图像上每个像素点的置信度，得到置信度集，包括：根据所述目标热力图像计算每个二维点的颜色值；根据所述目标校验图像计算每个二维点的灰度值；根据同一个二维点的所述颜色值和所述灰度值，计算出对应二维点的置信度，从而得到置信度集。
[0020]第二方面，本申请提供了一种三维姿态估计系统，包括：至少一个存储器；至少一个处理器；至少一个程序；所述程序被存储在所述存储器中，所述处理器执行至少一个所述程序以实现如第一方面任一项实施例所述的三维姿态估计方法。
[0021]根据本申请第二方面实施例的三维姿态估计系统，至少具有如下有益效果：获取目标二维图像，并将目标二维图像输入至热力图网络中，得到目标热力图像，同时，将同一个目标二维图像输入至校验码网络中，得到目标校验图像，将目标热力图像和目标校验图像进行计算目标二维图像上每个像素点的置信度，得到置信度集，按照预设的选择算法，从置信度集中选取所述二维图像中确定至少一个目标二维点，并通过Pix2Pose网络来估计目标二维点的三维坐标，再使用RANSAC和PnP算法计算目标三维姿态，通过生成的目标校验图
像与现有的目标热力图像进行置信度计算，筛选出置信度较高的二维点，从而提高目标三维姿态的精确性。
[0022]第三方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行信号，所述计算机可执行信号用于执行如第一方面任一项实施例所述的三维姿态估计方法。
[0023]本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
[0024]本申请的附加方面和优点结合下面附图对实施例的描述中将变得明显和容易理解，其中：
[0025]图1为本申请的一个实施例的三维姿态估计方法的流程图；
[0026]图2为本申请的另一实施例的三维姿态估计方法的流程图；
[0027本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维姿态估计方法，其特征在于，包括：获取目标二维图像；将所述目标二维图像输入至热力图网络中，得到目标热力图像；将所述目标二维图像输入至校验码网络中，得到目标校验图像；根据所述目标热力图像和所述目标校验图像，计算所述目标二维图像上每个像素点的置信度，得到置信度集；根据预设的置信度选择算法，从所述置信度集中确定至少一个目标二维点；根据所述目标二维点对应的三维点，计算目标三维姿态。2.根据权利要求1所述的三维姿态估计方法，其特征在于，所述校验码网络通过以下步骤训练获得：获取不同角度下由训练三维图渲染得到的训练二维图像和所述训练三维图的顶点坐标、中心坐标；根据所述训练二维图像、所述顶点坐标和所述中心坐标，通过顶点着色器进行渲染得到自监督校验图像；将所述训练二维图像输入至未完成训练的校验码网络中，得到预测校验图像；根据所述预测校验图像和所述自监督校验图像调整所述校验码网络的参数。3.根据权利要求2所述的三维姿态估计方法，其特征在于，所述获取不同角度下由训练三维图渲染得到的训练二维图像，包括：预设旋转角度，并根据所述旋转角度计算得到最小旋转次数；根据所述旋转角度和训练旋转次数，获取不同角度下由训练三维图渲染得到的训练二维图像；其中，所述训练旋转次数为小于或等于所述最小旋转次数的整数。4.根据权利要求3所述的三维姿态估计方法，其特征在于，在所述根据所述训练二维图像、所述顶点坐标和所述中心坐标，通过顶点着色器进行渲染得到自监督校验图像的步骤之后，包括：创建训练数据合集；其中，所述训练数据合集包括多个训练数据组；将同一角度所述训练三维图对应的训练二维图像和所述自监督校验图像记录至同一个所述训练数据组内。5.根据权利要求4所述的三维姿态估计方法，其特征在于，所述校验码网络的训练步骤，还包括：根据所述训练二维图像、所述顶点坐标和所述中心坐标，通过顶点着色器进行渲染得到...

【专利技术属性】
技术研发人员：俞洋，陈焱磊，覃旭，
申请(专利权)人：深圳市中视典数字科技有限公司，
类型：发明
国别省市：