一种基于多视角渲染的姿态估计方法和装置制造方法及图纸

本发明专利技术提供一种基于多视角渲染的姿态估计方法和装置，所述方法包括以下步骤：在深度图像中检测出对象区域；从深度图像的对象区域中提取出对象的三维点云；在以对象的三维点云为中心的球面上均匀设置多个虚拟相机；通过神经网络从设置的虚拟相机中选择少量适合进行对象姿态估计的虚拟相机；将对象的三维点云投影到选择的虚拟相机上，渲染出多个视角的对象深度图像；使用三维姿态估计网络对多个视角的深度图像进行三维对象姿态估计；融合多个视角的三维对象姿态得到最终的三维对象姿态。经过实际使用验证，本发明专利技术具有自动化程度高、精度高和实时性的优点，可满足专业的或者大众化的应用需求。应用需求。应用需求。

A pose estimation method and device based on multi view rendering

【技术实现步骤摘要】
一种基于多视角渲染的姿态估计方法和装置


[0001]本专利技术属于计算机视觉、手势识别、人机交互领域，具体涉及到一种基于多视角渲染的姿态估计方法和装置，适用于人体整体或局部(如人体、人手、人脸等)、动物、机器人、一般刚性或非刚性对象。

技术介绍

[0002]姿态估计尤其是人手姿态估计是计算机视觉和人机交互领域的热点问题，在虚拟现实，智能控制和终端设备上具有广泛的应用。人手姿态估计任务主要是从图像中检测出人手位置并估计所有关节点三维坐标。人手姿态估计分为基于RGB图像的姿态估计方法和基于深度图像的姿态估计方法。相比于基于RGB图像的姿态估计方法，基于深度图像的姿态估计方法的输入包含更多深度信息，可以更为精准地给出三维人手关节坐标。
[0003]目前基于深度图像的姿态估计方法主要对深度图像直接提取特征，姿态估计的精度依赖于提取特征的大小。提取过多的特征虽然可以提高精度，但会带来参数量的大幅增加和速度下降。由于深度图像中包含2.5D信息而非3D信息，常用作特征提取的二维卷积不能完整地提取出图像中的深度信息。因此，如何平衡人手姿态估计任务中速度与精度、在保证实时性的情况下提升人手姿态估计的精度是人手姿态估计问题中的关键难点。

技术实现思路

[0004]为了解决上述问题，本专利技术提供了一种基于多视角渲染的姿态估计方法和装置，适用于人体整体或局部(如人体、人手、人脸等)、动物、机器人、一般刚性或非刚性对象。
[0005]本专利技术提供一种基于多视角渲染的姿态估计方法，所述方法包括以下步骤：/>[0006]在深度图像中检测出对象区域；
[0007]从深度图像的对象区域中提取出对象的三维点云；
[0008]在以对象的三维点云为中心的球面上均匀设置多个虚拟相机；
[0009]通过神经网络从设置的多个虚拟相机中选择少量适合进行对象姿态估计的虚拟相机；
[0010]将对象的三维点云投影到选择的虚拟相机上，渲染出多个视角的对象的深度图像；
[0011]通过三维姿态估计网络，对多个视角的对象的深度图像进行三维姿态估计，得到多个视角的三维对象姿态；
[0012]融合多个视角的三维对象姿态，得到最终的三维对象姿态。
[0013]其中，“对象”是指进行姿态估计的对象，如人体整体或局部(如人体、人手、人脸等)、动物、机器人、其他一般刚性或非刚性对象等。
[0014]进一步地，所述在深度图像中检测出对象区域，包括：对深度图像进行对象检测或分割，获得消除背景的对象图像区域。
[0015]进一步地，所述从深度图像的对象区域中提取出对象的三维点云，所使用的提取
对象的三维点云的公式如下：
[0016][0017]其中，u,v,d为深度图像中对象的前景区域上图像点p的图像坐标和深度；K是相机的内部参数矩阵；M是相机的外部参数矩阵，表示相机坐标系和世界坐标系的旋转和平移，表达式为其中R表示相机的旋转矩阵，t表示相机的平移向量；p
w
＝(x
w
,y
w
,z
w
)是图像点p转换到世界坐标系后的三维坐标；将所有位于对象的前景区域的图像点变换到世界坐标系下的点云P
w
。
[0018]进一步地，所述在以对象的三维点云为中心的球面上均匀设置多个虚拟相机，是将虚拟相机设置在以对象的三维点云的质心为球心的球面上。
[0019]进一步地，所述通过神经网络从设置的多个虚拟相机中选择适合进行对象姿态估计的虚拟相机，是使用视角置信度网络选择虚拟相机；所述视角置信度网络从对象的深度图像提取图像特征，并将图像特征映射成预设多个虚拟相机的置信度，选择视角置信度最高的K个虚拟相机进行后续操作。
[0020]进一步地，所述渲染出多个视角的对象的深度图像，所使用的多视角渲染的公式如下：
[0021][0022]其中，I
k
表示第k个虚拟相机渲染的深度图像，I
k
(u,v)表示渲染深度图像上位于(u,v)位置处的深度值，将世界坐标系下的对象的点云P
w
投影得到第k个虚拟相机图像上，得到图像点集P
k
，对于任意点p∈P
k
，其深度值记为D
k
(p)；公式中S
k,u,v
∈P
k
表示图像点集P
k
中像素坐标为(u,v)的点p的集合。
[0023]进一步地，所述通过三维姿态估计网络，对多个视角的对象的深度图像进行三维姿态估计，得到多个视角的三维对象姿态，是以渲染的深度图作为输入，使用神经网络分别估计K个视角的三维对象姿态。
[0024]进一步地，所述融合多个视角的三维对象姿态，是对K个视角的关键点(对于人体整体或人手、人脸等局部，关键点可以是关节点；对于非人体对象，可以采用表面特征点或关节旋转中心等作为关键点)坐标进行融合，采用的公式如下：
[0025][0026]其中，和分别表示第k个视角估计出的三维对象的关键点坐标和融合后的三维对象的关键点坐标，N表示对象的关键点的数量，R
k
和t
k
分别为选择的第k个虚拟相机的旋转矩阵和平移向量，c
k
为置信度权重，通过K个虚拟相机的置信度值执行SoftMax操作后，得到的第k个视角的置信度权重为c
k
。
[0027]本专利技术还提供一种基于多视角渲染的姿态估计装置，所述装置包括：
[0028]对象检测模块，用于在深度图像中检测出对象区域；
[0029]视角选择模块，用于从多个虚拟相机中选择适合进行对象姿态估计的虚拟相机；
[0030]多视角渲染模块，用于渲染虚拟相机拍摄到的对象的深度图像，即将对象的三维点云投影到选择的虚拟相机上，渲染出多个视角的对象的深度图像；
[0031]三维对象姿态估计模块，用于通过三维姿态估计网络，从多个视角的对象深度图像中估计三维对象姿态，得到多个视角的三维对象姿态；
[0032]视角融合模块，用于融合多个视角的三维对象姿态，得到最终的三维对象姿态。
[0033]本专利技术的优点和有益效果是：
[0034]本专利技术主要解决的问题是保证实时性的情况下提升三维姿态估计任务的精度。本专利技术提供一种从单张深度图像中提取三维姿态估计的方法和装置。从多个视角进行三维姿态估计，可以有效提高估计精度。从均匀设置的虚拟相机中选择选择少量适合进行姿态估计的虚拟相机，在不损失过多精度的情况下大幅度提高姿态估计的速度。经过实际使用验证，本专利技术具有自动化程度高、精度高和实时性的优点，可满足专业的或者大众化的应用需求。
[0035]本专利技术的姿态估计方法可适用于人体整体、人体局部、动物或机器人、一般刚体或非刚体等；人体局部包括人手、上肢、下肢或人脸等。本姿态估计方法，适用于深度相机、双目相机和激光扫描仪等多种三维视觉传感器的输入数据。
附图说明<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多视角渲染的姿态估计方法，其特征在于，包括以下步骤：在深度图像中检测出对象区域；从深度图像的对象区域中提取出对象的三维点云；在以对象的三维点云为中心的球面上均匀设置多个虚拟相机；通过神经网络从设置的多个虚拟相机中选择适合进行对象姿态估计的虚拟相机；将对象的三维点云投影到选择的虚拟相机上，渲染出多个视角的对象的深度图像；通过三维姿态估计网络，对多个视角的对象的深度图像进行三维姿态估计，得到多个视角的三维对象姿态；融合多个视角的三维对象姿态，得到最终的三维对象姿态。2.根据权利要求1所述的方法，其特征在于，所述在深度图像中检测出对象区域，包括：对深度图像进行对象检测或分割，获得消除背景的对象图像区域。3.根据权利要求1所述的方法，其特征在于，所述从深度图像的对象区域中提取出对象的三维点云，所使用的提取对象的三维点云的公式如下：其中，u,v,d为深度图像中对象的前景区域上图像点p的图像坐标和深度；K是相机的内部参数矩阵；M是相机的外部参数矩阵，表示相机坐标系和世界坐标系的旋转和平移，表达式为其中R表示相机的旋转矩阵，t表示相机的平移向量；p
w
＝(x
w
,y
w
,z
w
)是图像点p转换到世界坐标系后的三维坐标；将所有位于对象的前景区域的图像点变换到世界坐标系下的点云P
w
。4.根据权利要求1所述的方法，其特征在于，所述在以对象的三维点云为中心的球面上均匀设置多个虚拟相机，是将虚拟相机设置在以对象的三维点云的质心为球心的球面上。5.根据权利要求1所述的方法，其特征在于，所述通过神经网络从设置的多个虚拟相机中选择适合进行对象姿态估计的虚拟相机，是使用视角置信度网络选择虚拟相机；所述视角置信度网络从对象的深度图像提取图像特征，并将图像特征映射成预设多个虚拟相机的置信度，选择视角置信度最高的K个虚拟相机进行后续操作。6.根据权利要求1所述的方法，其特征在于，所述渲染出多个视角的对象的深度图像，所使用的多视角渲染的公式如下：其中，I
k
表示第k个虚拟相机渲染的深度图像，I
k
...

【专利技术属性】
技术研发人员：邓小明，程坚，万炎广，张寅达，马翠霞，王宏安，
申请(专利权)人：中国科学院软件研究所，
类型：发明
国别省市：