本发明专利技术公开了一种将回归与优化结合的三维人体参数化模型估计方法，通过使用三维人体关节作为桥梁把三维人体参数化模型估计这个任务中常用到的回归算法跟优化算法结合了起来。为了发挥了各自的特长，本发明专利技术分别使用回归算法对三维人体关节关键点进行神经网络回归和优化算法对预测的三维人体关节关键点进行逆向动力学求解。该优化分支在神经网络里实现一步步迭代求解，并且作为其中一个层，即优化层。通过设计的优化算法，我们所设计的逆向运动学优化层可以同神经网络一同训练并且将优化结果通过梯度回传来训练神经网络的参数。从而达到端到端三维人体参数化模型估计的效果。果。果。
【技术实现步骤摘要】
一种将回归与优化结合的三维人体参数化模型估计方法
[0001]本专利技术涉及一种结合了优化和回归各自的优势进行端到端三维人体参数化模型估计的方法，属于计算机视觉领域。
技术介绍
[0002]近年来，三维人体参数化模型估计在视频分析、摄像头监控、人机交互、虚拟现实增强现实等领域得到广泛应用。单目三维人体参数化模型估计旨在从单张图像或者是单目视频中估计出表示人体姿态与外形的参数化模型。目前主要的技术分成以下两种：基于优化的方法和基于回归的方法。基于优化的方法使用迭代优化的方式将参数模型(例如SMPL模型)的输出拟合到二维输入观测值。它们可以生成精确的网格图像对齐并且保持输入数据与预测之间的一致性。但是由于其欠定和非凸的特性，这种方法往往只能找到局部最小值且其优化结果依赖于迭代初始值。相反地，基于回归的方法将人体参数化模型估计这个问题视为回归问题。这种方法一般通过训练深度神经网络来直接回归模型参数从而避免了复杂的迭代优化过程。然而，尽管该方法高效，但基于回归的方法估计的结果往往难以保障估计的网格与图像之间对齐。
[0003]现有的一些研究尝试优化过程与回归技术结合起来。这些工作要么使用后优化方案在推理阶段改进回归结果，要么使用优化算法为训练循环提供监督信号。前一种方法倾向于严重依赖回归结果的质量，而后一种方法经常受到监督不准确和初始化灵敏度等问题。最近，一种名为HybrIK的方法通过扭转摆动分解推导出处理逆向运动学的解析解，从而避免了迭代计算的过程。但是该方法需要基于骨骼长度一致的假设，并且这种假设会牺牲一些逆向运动学的准确性。
[0004]综上所述，我们知道目前为止，三维人体参数化模型估计技术所面临的主要难题为：
[0005]1)基于优化的方法往往会陷入局部最小值且其优化结果依赖于迭代初始值
[0006]2)基于回归的方法估计的结果往往难以保障估计的网格与图像之间对齐。
[0007]3)目前基于优化和回归结合的方法受到严重依赖回归结果的质量或者监督不准确和初始化灵敏度等问题，不能很好地发挥两种方法各自的优势。
技术实现思路
[0008]本专利技术的目的是解决
技术介绍
中指出的三维人体参数化模型估计技术所面临的难题。
[0009]为了达到上述目的，本专利技术的技术方案是提供了一种将回归与优化结合的三维人体参数化模型估计方法，其特征在于，包括以下步骤：
[0010]步骤1：对一张给定的图片进行裁剪处理，使得裁剪后的图片中只包含一个人；
[0011]步骤2：将上一步获得的数据输入工作模型，该工作模型包括骨干网络和多个头部网络，其中：
[0012]骨干网络用于对输入工作模型的数据进行特征提取得到多个头部网络共享的特征张量；
[0013]多个头部网络包括扭转角头部网络、形状参数头部网络以及三维关节头部网络分别用于获得扭转角φ、形状参数β以及三维关节坐标P的预测值，p
k
表示人体参数模型中的第k个关键关节，K表示人体参数模型中关键关节的总数，该人体参数模型提供了一个可微函数M(θ,β)，θ为关键关节的相对轴角；
[0014]步骤3：使用罗德里格斯公式将相对轴角θ转换为相对旋转矩阵其中，par(i)表示第i个关键关节的父关节，R
par(i),i
表示相对于其父关节的第i个局部旋转矩阵；
[0015]将第i个关键关节的全局旋转矩阵表示为R
i
，则R
i
从相对旋转矩阵递归计算为：
[0016]R
i
＝R
par(i)
R
par(i),i
[0017]式中，R
par(i)
表示i个关键关节的父关节旋转矩阵；
[0018]步骤4：将全局旋转矩阵R
i
分解为扭曲旋转R
tw
和摆动旋转R
sw
，则有：
[0019][0020]式中：α
i
表示第i个关键关节旋转的摆动旋转角；φ
i
表示第i个关键关节旋转的扭转角，由工作模型预测得到；
[0021]其中，骨盆关节和叶关节不包括在上述扭摆分解中，使用脊柱子关节、左髋关节和右髋关节进行闭式求解；
[0022]步骤5：除去骨盆关节和叶关节，应用步骤4所记载的扭摆分解，将前向动力学过程定义为：
[0023]Q＝FK(R
sw
(α)；R
tw
(φ),T,P):＝f(α)
[0024]其中，Q表示从人体参数模型输出重建的三维人体关节，α表示摆动旋转角，f(
·
)表示用于简化表示的正向模型算子，FK(
·
)表示正向运动学过程；
[0025]步骤6：将优化目标函数表示为：
[0026][0027]通过多次迭代使得优化目标函数收敛，从而获得摆动旋转角的局部最优值α
*
，其中：
[0028]第k次迭代时获得的摆动旋转角α
k
＝α
k
‑1+Δα
k
，Δα
k
为第k次迭代获得的在α
k
‑1处的高斯
‑
牛顿方向，并有：
[0029][0030]式中：J
k
‑1表示从第k
‑
1次迭代计算的雅可比矩阵，雅可比矩阵J
k
‑1与摆动旋转角α、扭转旋转R
tw
、静止姿势T和三维关节坐标P的预测值的输入相关联并且可微；σ是一个常数项；I是3x3单位矩阵；ΔP
k
‑1＝P
‑
f(α
k
‑1)表示残差项。
[0031]优选地，在所述步骤1之后，且在所述步骤2之前还包括以下步骤：
[0032]将步骤1所获得的所有裁剪的图片合并成数据集后，随机采样一个批次的图片得到其中，N
b
是批次大小，是第i张裁剪的图片，将输入到步骤2所记载的工作模型中。
[0033]优选地，所述骨干网络对数据的处理包括五个阶段：第一个阶段是对输入的预处理，包括一个卷积层、批量归一化层、ReLU激活函数和最大池化层；随后的四个阶段分别由三、四、六、三个BasicBlock层组成，其中，每个BasicBlock层里有两层卷积、一个下采样和一个残差连接算子。
[0034]优选地，所述扭转角头部网络和所述形状参数头部网络使用的是核为1的自适应平均池化层来对骨干网络输出的特征张量进行处理，随后分别用两层全连接层和两层dropout层获得扭转角φ和形状参数β；
[0035]所述三维关节头部网络使用的是一个结构为由三个反卷积操作、三个批量归一化层和三个ReLU激活函数构建的反卷积层，反卷积层后接一个数量为K
×
N的卷积核为1的卷积层，最后经过soft
‑
argmax操作即可输出所述三维关节坐标P，其本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种将回归与优化结合的三维人体参数化模型估计方法，其特征在于，包括以下步骤：步骤1：对一张给定的图片进行裁剪处理，使得裁剪后的图片中只包含一个人；步骤2：将上一步获得的数据输入工作模型，该工作模型包括骨干网络和多个头部网络，其中：骨干网络用于对输入工作模型的数据进行特征提取得到多个头部网络共享的特征张量；多个头部网络包括扭转角头部网络、形状参数头部网络以及三维关节头部网络分别用于获得扭转角φ、形状参数β以及三维关节坐标P的预测值，p
k
表示人体参数模型中的第k个关键关节，K表示人体参数模型中关键关节的总数，该人体参数模型提供了一个可微函数M(θ,β)，θ为关键关节的相对轴角；步骤3：使用罗德里格斯公式将相对轴角θ转换为相对旋转矩阵其中，par(i)表示第i个关键关节的父关节，R
par(i),i
表示相对于其父关节的第i个局部旋转矩阵；将第i个关键关节的全局旋转矩阵表示为R
i
，则R
i
从相对旋转矩阵递归计算为：R
i
＝R
par(i)
R
par(i),i
式中，R
par(i)
表示i个关键关节的父关节旋转矩阵；步骤4：将全局旋转矩阵R
i
分解为扭曲旋转R
tw
和摆动旋转R
sw
，则有：式中：α
i
表示第i个关键关节旋转的摆动旋转角；φ
i
表示第i个关键关节旋转的扭转角，由工作模型预测得到；其中，骨盆关节和叶关节不包括在上述扭摆分解中，使用脊柱子关节、左髋关节和右髋关节进行闭式求解；步骤5：除去骨盆关节和叶关节，应用步骤4所记载的扭摆分解，将前向动力学过程定义为：Q＝FK(R
sw
(α)；R
tw
(φ),T,P):＝f(α)其中，Q表示从人体参数模型输出重建的三维人体关节，α表示摆动旋转角，f(
·
)表示用于简化表示的正向模型算子，FK(
·
)表示正向运动学过程；步骤6：将优化目标函数表示为：通过多次迭代使得优化目标函数收敛，从而获得摆动旋转角的局部最优值α
*
，其中：第k次迭代时获得的摆动旋转角α
k
＝α
k
‑1+Δα
k
，Δα
k
为第k次迭代获得的在α
k
‑1处的高斯
‑
牛顿方向，并有：式中：J
k
‑1表示从第k
‑
1次迭代计算的雅可比矩阵，雅可比矩阵J
k
‑1与摆动旋转角α、扭转
旋转R
tw
、静止姿势T和三维关节坐标P的预测值的输入相关联并且可微；σ是一个常数项；I是3x3...
【专利技术属性】
技术研发人员：汪婧雅，张锯泽，石野，
申请(专利权)人：上海科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。