一种基于解耦阶梯网络的姿态估计方法技术

本发明专利技术提供了人体姿态估计技术领域的一种基于解耦阶梯网络的姿态估计方法，包括如下步骤：步骤S10、基于解耦残差模块和瀑布模块搭建解耦阶梯网络；步骤S20、获取大量的人体样本图像，利用所述人体样本图像对解耦阶梯网络进行训练；步骤S30、将待测图像输入训练好的所述解耦阶梯网络，计算所述待测图像中各关节点的位置，进而基于各关节点的位置形成完整的人体姿态。本发明专利技术的优点在于：极大的提升了人体姿态估计的速度以及精度。态估计的速度以及精度。态估计的速度以及精度。

【技术实现步骤摘要】
一种基于解耦阶梯网络的姿态估计方法


[0001]本专利技术涉及人体姿态估计
，特别指一种基于解耦阶梯网络的姿态估计方法。

技术介绍

[0002]人体姿态估计是计算机视觉进一步理解人体行为的关键步骤，通过一张RGB图像能有效预测出人体所有关节点并形成正确的姿态，而准确预测出人体姿态对更高级别的计算机视觉任务，如人的行为识别、人机交互、行人重识别、异常行为检测等具有重要的意义。
[0003]尽管人体姿态估计领域发展迅速，但目前不论是自顶向下还是自底向上的方法，均存在网络结构复杂且参数量大的问题，使得在训练网络时不知道哪一部分较为关键，导致网络训练速度变慢。为了降低网络结构的复杂度，减少参数量，传统的做法只是简单的把一些卷积核进行替换，丢失了对关节点的感受野的考虑；且传统的姿态估计方法对于不同尺度大小的任务区分程度不够，使得一些较小尺度的任务被忽略，进而导致降低了人体姿态估计的精度。
[0004]在网络结构设计方面，Cai Y,Wang Z,Luo Z等人(arXiv preprint arXiv:2003.04030,2020.)在论文“Learning Delicate Local Representations for Multi-Person Pose Estimation”中提出了一种残差阶梯块，每一个残差阶梯块都包含四个分支，每个分支的感受野大小并不相同，且输入的特征图大小一致，通过多个卷积将不同分支的感受野进行融合，最后再进行concat操作，虽然提高了网络的感受野，但由于多个分支融合再进行concat操作，增加了网络参数量，从而导致网络训练速度与推理速度低下。
[0005]在基于RGB图像的姿态估计方法中，Sun K,Xiao B,Liu D等人(19th Proceedings of the IEEE conference on computer vision and pattern recognition.2019:5693-5703.)在论文“Deep high-resolution representation learning for human pose estimation”中提出一种基于ResNet的网络来进行姿态估计，通过源码发现该论文设计的网络参数量较大，不利于训练，同时复杂的网络结构导致推理和训练速度较慢，对于计算资源较少的用户而言，极大的提高了用户的训练成本。
[0006]专利公开号为CN104850845A的中国专利公开了一种基于非对称卷积神经网络的交通标志识别方法，采用两个不同结构的卷积神经网络并行地进行特征映射和提取，最后将特征进行合并，再经过全连接层和最后的分类器，完成整个分类过程。该方法确保了图像特征的多样性，提高了识别精度并加快了网络运算速度，对于人体姿态估计领域而言，虽然提高了网络运算速度，但是降低了人体姿态估计的精确度。
[0007]因此，如何提供一种基于解耦阶梯网络的姿态估计方法，实现提升人体姿态估计的速度以及精度，成为一个亟待解决的问题。

技术实现思路

[0008]本专利技术要解决的技术问题，在于提供一种基于解耦阶梯网络的姿态估计方法，实
现提升人体姿态估计的速度以及精度。
[0009]本专利技术是这样实现的：一种基于解耦阶梯网络的姿态估计方法，包括如下步骤：
[0010]步骤S10、基于解耦残差模块和瀑布模块搭建解耦阶梯网络；
[0011]步骤S20、获取大量的人体样本图像，利用所述人体样本图像对解耦阶梯网络进行训练；
[0012]步骤S30、将待测图像输入训练好的所述解耦阶梯网络，计算所述待测图像中各关节点的位置，进而基于各关节点的位置形成完整的人体姿态。
[0013]进一步地，所述步骤S10中，所述解耦阶梯网络包括：
[0014]一大小为3
×
3的第一卷积核、一第一解耦残差组、一第二解耦残差组、一第三解耦残差组、一第四解耦残差组、一第一瀑布组、一第二瀑布组、一第三瀑布组以及一第四瀑布组；
[0015]所述第一解耦残差组包括横向并行排列并连接的二十个解耦残差模块，依次用A
1,1
、A
1,2
、
……
、A
1,20
表示；所述第二解耦残差组包括横向并行排列并连接的十六个解耦残差模块，依次用A
2,1
、A
2,2
、
……
、A
2,16
表示；所述第三解耦残差组包括横向并行排列并连接的十一个解耦残差模块，依次用A
3,1
、A
3,2
、
……
、A
3,11
表示；所述第四解耦残差组包括横向并行排列并连接的六个解耦残差模块，依次用A
4,1
、A
4,2
、
……
、A
4,6
表示；
[0016]所述第一瀑布组包括横向并行排列的十九个瀑布模块；所述第二瀑布组包括横向并行排列的十五个瀑布模块；所述第三瀑布组包括横向并行排列的十个瀑布模块；所述第四瀑布组包括横向并行排列的五个瀑布模块；
[0017]所述第一卷积核的输出端与第一解耦残差组的输入端连接，用于提取图像特征并改变图像的通道数；所述第一解耦残差组、第二解耦残差组、第三解耦残差组以及第四解耦残差组依次至上而下排列，且靠右对齐；所述第一瀑布组设于第一解耦残差组的解耦残差模块之间；所述第二瀑布组设于第二解耦残差组的解耦残差模块之间；所述第三瀑布组设于第三解耦残差组的解耦残差模块之间；所述第四瀑布组设于第四解耦残差组的解耦残差模块之间；
[0018]各所述瀑布模块均与位于正前方和正后方的解耦残差模块连接，用于为解耦残差模块补偿感受野；
[0019]所述解耦残差模块A
1,4
、解耦残差模块A
2,5
、解耦残差模块A
3,5
分别进行一次2倍下采样操作，将特征图的分辨率降低至与所述解耦残差模块A
2,1
、解耦残差模块A
3,1
、解耦残差模块A
4,1
一致，并进行元素求和；
[0020]所述解耦残差模块A
1,9
进行一次2倍下采样操作后，与解耦残差模块A
2,6
进行元素求和；所述解耦残差模块A
1,9
进行一次4倍下采样操作后，与解耦残差模块A
3,1
进行元素求和；
[0021]所述解耦残差模块A
2,5
进行1次双线性插值后，将特征图的分辨率提升至与解耦残差模块A
1,10
一致，并进行元素求和；
[0022]所述解耦残差模块A
2,10
进行1次双线性插值后，将特征图的分辨率提升至与解耦残差模块A
1,15
一致，并进行元素求和；所述解耦残差模块A
2,10<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于解耦阶梯网络的姿态估计方法，其特征在于：包括如下步骤：步骤S10、基于解耦残差模块和瀑布模块搭建解耦阶梯网络；步骤S20、获取大量的人体样本图像，利用所述人体样本图像对解耦阶梯网络进行训练；步骤S30、将待测图像输入训练好的所述解耦阶梯网络，计算所述待测图像中各关节点的位置，进而基于各关节点的位置形成完整的人体姿态。2.如权利要求1所述的一种基于解耦阶梯网络的姿态估计方法，其特征在于：所述步骤S10中，所述解耦阶梯网络包括：一大小为3
×
3的第一卷积核、一第一解耦残差组、一第二解耦残差组、一第三解耦残差组、一第四解耦残差组、一第一瀑布组、一第二瀑布组、一第三瀑布组以及一第四瀑布组；所述第一解耦残差组包括横向并行排列并连接的二十个解耦残差模块，依次用A
1,1
、A
1,2
、
……
、A
1,20
表示；所述第二解耦残差组包括横向并行排列并连接的十六个解耦残差模块，依次用A
2,1
、A
2,2
、
……
、A
2,16
表示；所述第三解耦残差组包括横向并行排列并连接的十一个解耦残差模块，依次用A
3,1
、A
3,2
、
……
、A
3,11
表示；所述第四解耦残差组包括横向并行排列并连接的六个解耦残差模块，依次用A
4,1
、A
4,2
、
……
、A
4,6
表示；所述第一瀑布组包括横向并行排列的十九个瀑布模块；所述第二瀑布组包括横向并行排列的十五个瀑布模块；所述第三瀑布组包括横向并行排列的十个瀑布模块；所述第四瀑布组包括横向并行排列的五个瀑布模块；所述第一卷积核的输出端与第一解耦残差组的输入端连接，用于提取图像特征并改变图像的通道数；所述第一解耦残差组、第二解耦残差组、第三解耦残差组以及第四解耦残差组依次至上而下排列，且靠右对齐；所述第一瀑布组设于第一解耦残差组的解耦残差模块之间；所述第二瀑布组设于第二解耦残差组的解耦残差模块之间；所述第三瀑布组设于第三解耦残差组的解耦残差模块之间；所述第四瀑布组设于第四解耦残差组的解耦残差模块之间；各所述瀑布模块均与位于正前方和正后方的解耦残差模块连接，用于为解耦残差模块补偿感受野；所述解耦残差模块A
1,4
、解耦残差模块A
2,5
、解耦残差模块A
3,5
分别进行一次2倍下采样操作，将特征图的分辨率降低至与所述解耦残差模块A
2,1
、解耦残差模块A
3,1
、解耦残差模块A
4,1
一致，并进行元素求和；所述解耦残差模块A
1,9
进行一次2倍下采样操作后，与解耦残差模块A
2,6
进行元素求和；所述解耦残差模块A
1,9
进行一次4倍下采样操作后，与解耦残差模块A
3,1
进行元素求和；所述解耦残差模块A
2,5
进行1次双线性插值后，将特征图的分辨率提升至与解耦残差模块A
1,10
一致，并进行元素求和；所述解耦残差模块A
2,10
进行1次双线性插值后，将特征图的分辨率提升至与解耦残差模块A
1,15
一致，并进行元素求和；所述解耦残差模块A
2,10
进行一次2倍下采样操作后，将特征图的分辨率降低至与解耦残差模块A
3,6
一致，并进行元素求和；所述解耦残差模块A
2,10
进行一次4倍下采样操作后，将特征图的分辨率降低至与解耦残差模块A
4,1
一致，并进行元素求和；所述解耦残差模块A
2,15
进行1次双线性插值后，将特征图的分辨率提升至与解耦残差模块A
1,20
一致，并进行元素求和；所述解耦残差模块A
2,15
进行一次2倍下采样操作后，将特征图
的分辨率降低至与解耦残差模块A
3,11
一致，并进行元素求和；所述解耦残差模块A
2,15
进行一次4倍下采样操作后，将特征图的分辨率降低至与解耦残差模块A
4,6
...

【专利技术属性】
技术研发人员：骆炎民，欧志龙，林躬耕，
申请(专利权)人：福建省公田软件股份有限公司，
类型：发明
国别省市：