【技术实现步骤摘要】
本专利技术属于三维人体姿态识别，特别涉及一种基于特征金字塔融合的三维人体姿态识别网络及方法。
技术介绍
1、在基于虚拟现实的模拟仿真培训系统中，能否实时准确地识别操作者的三维人体姿态直接关系到系统的可用性和准确性。当前最常见的方式是操作者穿戴智能设备来捕捉各个关节的位移形成三维人体姿态，并将真人的动作还原到虚拟现实的环境里，这种方法需要专业设备和场地，很难全面推广。快速发展的计算机视觉技术使得仅仅靠摄像头捕捉和识别三维人体姿态变为了可能。
2、近年来，主流的三维人体姿态识别主要方法是基于rgb-d图像和基于rgb图像，rgb-d图像需要像microsoft kinect这样的深度照相机，成本很高，而且视野有限。rgb图像采用单目摄像头，例如手机摄像头和家用摄影机，价格低廉，视野开阔，但是缺乏深度信息。
3、目前普遍的单rgb图像到人体三维关键点是都是利用主干网络的最后一层特征图进行关键点回归，无论是基于热图还是基于关键点回归都是利用主干网络的最后一层作为深层特征。这两种方法应用广泛，但效果还不够理想。积分人体姿势回归方法将热图表示和联合回归联系并统一起来，它将取最大值操作修改为取期望操作。关节位置被估计为热图中所有位置的积分，由它们的概率加权(从可能性归一化)。它共享热图表示和回归方法的优点，同时避免了它们的缺点。这种方法虽然取得了挺大的进展，但姿态识别准确率上还有待进一步提高。
技术实现思路
1、本专利技术的目的在于克服现有技术中存在的缺陷，提供了一种基于
2、本专利技术的第一方面，提供了一种基于特征金字塔融合的三维人体姿态识别网络，所述网络为深度残差网络；
3、所述深度残差网络包括降采样模块和若干个依次设置特征提取模块；所述降采样模块用于对输入图像进行预处理；预处理后的所述输入图像依次经所述特征提取模块进行特征提取；
4、每个所述特征提取模块由不同数目的瓶颈层组成，通过降维和升维来提取输入所述特征提取模块的图像的关键特征；每个所述特征提取模块比前一个特征提取模块的分辨率小1/2，使得所有所述特征提取模块构成金字塔结构；
5、位于金字塔结构最底层的所述特征提取模块的输出端串行设置有若干模块组，且位于金字塔结构最底层的所述特征提取模块输出的特征图依次经过串行设置的模块组顺序处理，提取的所述关键特征经过最后一个所述模块组处理后输出关键点的三维坐标深度图，即完成对于三维人体姿态识别；
6、位于金字塔结构中部和顶部的所述特征提取模块输出端还分别与若干局部聚焦单元连接，所述局部聚焦单元用于对提取的关键特征经过高效通道注意力机制进行目标聚焦处理；
7、所述模块组由依次设置的反卷积模块和融合模块构成；所述反卷积模块用于对所述金字塔结构最底层输出的特征图进行反卷积操作，所述融合模块用于拼接融合反卷积操作后的特征图和目标聚焦处理后的特征图。
8、进一步的方案为，所述特征提取模块的数量为n个，所述模块组和所述局部聚焦单元的数量均为n-1，其中n大于等于4；
9、其中，除位于金字塔结构最底层的所述特征提取模块外，从位于金字塔结构中的其他所述特征提取模块与所述所述模块组和所述局部聚焦单元按照逆序连接。
10、进一步的方案为，所述n等于4，4个所述特征提取模块分别为第一特征提取模块、第二特征提取模块、第三特征提取模块、第四特征提取模块；
11、所述局部聚焦单元包括第一局部聚焦单元、第二局部聚焦单元和第三局部聚焦单元；
12、所述第三特征提取模块引出的特征图经第一局部聚焦单元与第一融合模块连接；
13、所述第二特征提取模块引出的特征图经第二局部聚焦单元与第二融合模块连接；
14、所述第一特征提取模块引出的特征图经第三局部聚焦单元与第三融合模块连接。
15、进一步的方案为，3个所述模块组为依次设置的第一模块组、第二模块组、第三模块组，所述第一模块组包括第一反卷积模块和第一融合模块，第二模块组包括第二反卷积模块和第二融合模块，第三模块组包括第三反卷积模块和第三融合模块；
16、所述第三融合模块进行拼接融合操作后输出关键点的3维坐标深度图；
17、所述第一融合模块的输出端与第二融合模块的输入端之间设置有随机失活模块；
18、所述第二融合模块的输出端与第三融合模块的输入端之间设置有随机失活模块。
19、进一步的方案为，所述第一特征提取模块包含3个瓶颈层，每个瓶颈层包含三个1×1的卷积核，输出的特征图通道数为256个；
20、所述第二特征提取模块包含4个瓶颈层，每个所述瓶颈层依次经过卷积核大小为1×1的卷积进行降维、通过卷积核大小为3×3的卷积、经过卷积核大小为1×1的卷积升维，输出特征图的通道数为512个；
21、所述第三特征提取模块有6个瓶颈层，每个所述瓶颈层依次经过卷积核大小为1×1的卷积进行降维、通过卷积核大小为3×3的卷积、经过卷积核大小为1×1的卷积升维，输出特征图通道数为1024个；
22、所述第四特征提取模块有3个瓶颈层，每个所述瓶颈层依次经过卷积核大小为1×1的卷积进行降维、通过卷积核大小为3×3的卷积、经过卷积核大小为1×1的卷积升维，输出特征图的通道数为2048。
23、进一步的方案为，所述降采样模块的卷积核大小为7×7，所述第一反卷积模块、第二反卷积模块第三反卷积模块均为卷积核大小为4×4的卷积层。
24、进一步的方案为，所述随机失活模块包括依次设置的卷积核大小为1×1的卷积层、dropout随机失活处理单元、卷积核大小为1×1的卷积层、dropout随机失活处理单元、卷积核大小为1×1的反卷积层，输出特征图的通道数为256。
25、本专利技术的第二方面，提供了一种基于特征金字塔融合的三维人体姿态识别方法，应用上述的基于特征金字塔融合的三维人体姿态识别网络，包括以下步骤：
26、输入视频图像，通过一个卷积核大小为7×7的卷积层来降低输入图像的尺寸；
27、四个特征提取模块提取图像特征，通过降维和升维来提取输入数据的关键特征；
28、第三特征提取模块引出的特征图一路经第一局部聚焦单元对特征图经过高效通道注意力机制进行目标聚焦处理，另一路输出给第四特征提取模块，第四特征提取模块输出经过卷积核大小为4×4的反卷积层后，通过第一融合模块进行拼接融合；拼接融合后输出分成两个分支，一个分支经过卷积核大小为4×4的反卷积层，另外一个分支依次通过一个卷积核大小为1×1的卷积层、随机失活处理、一个卷积核大小为1×1的卷积层、随机失活处理、一个卷积核大小为4×4的反卷积层，此时输出通道为256，然后这两个分支与第二特征提取模块引出的特征图经过第二融合模块进行拼接融合；
29、拼接融合后再次分成两个分支，一个分支经过卷积核大小为4×4的反卷积层，另一个分支依次通本文档来自技高网...
【技术保护点】
1.基于特征金字塔融合的三维人体姿态识别网络，其特征在于，所述网络为深度残差网络；
2.根据权利要求1所述的基于特征金字塔融合的三维人体姿态识别网络，其特征在于，所述特征提取模块的数量为N个，所述模块组和所述局部聚焦单元的数量均为N-1，其中N大于等于4；
3.根据权利要求2所述的基于特征金字塔融合的三维人体姿态识别网络，其特征在于，所述N等于4，4个所述特征提取模块分别为第一特征提取模块、第二特征提取模块、第三特征提取模块、第四特征提取模块；
4.根据权利要求3所述的基于特征金字塔融合的三维人体姿态识别网络，其特征在于，3个所述模块组为依次设置的第一模块组、第二模块组、第三模块组，所述第一模块组包括第一反卷积模块和第一融合模块，第二模块组包括第二反卷积模块和第二融合模块，第三模块组包括第三反卷积模块和第三融合模块；
5.根据权利要求4所述的基于特征金字塔融合的三维人体姿态识别网络，其特征在于，所述第一特征提取模块包含3个瓶颈层，每个瓶颈层包含三个1×1的卷积核，输出的特征图通道数为256个；
6.根据权利要求5所述的基
7.根据权利要求6所述的基于特征金字塔融合的三维人体姿态识别网络，其特征在于，所述随机失活模块包括依次设置的卷积核大小为1×1的卷积层、Dropout随机失活处理单元、卷积核大小为1×1的卷积层、Dropout随机失活处理单元、卷积核大小为1×1的反卷积层，输出特征图的通道数为256。
8.基于特征金字塔融合的三维人体姿态识别方法，其特征在于，应用权利要求7所述的基于特征金字塔融合的三维人体姿态识别网络，包括以下步骤：
9.根据权利要求8所述的基于特征金字塔融合的三维人体姿态识别方法，其特征在于，所述第二融合模块在拼接融合之前，所述第二特征提取模块引出的特征图通过第二局部聚焦单元对特征图经过高效通道注意力机制进行目标聚焦处理；所述第三融合模块在拼接融合之前，所述第一特征提取模块引出的特征图通过第三局部聚焦单元对特征图经过高效通道注意力机制进行目标聚焦处理。
...【技术特征摘要】
1.基于特征金字塔融合的三维人体姿态识别网络，其特征在于，所述网络为深度残差网络；
2.根据权利要求1所述的基于特征金字塔融合的三维人体姿态识别网络，其特征在于，所述特征提取模块的数量为n个，所述模块组和所述局部聚焦单元的数量均为n-1，其中n大于等于4；
3.根据权利要求2所述的基于特征金字塔融合的三维人体姿态识别网络，其特征在于，所述n等于4，4个所述特征提取模块分别为第一特征提取模块、第二特征提取模块、第三特征提取模块、第四特征提取模块；
4.根据权利要求3所述的基于特征金字塔融合的三维人体姿态识别网络，其特征在于，3个所述模块组为依次设置的第一模块组、第二模块组、第三模块组，所述第一模块组包括第一反卷积模块和第一融合模块，第二模块组包括第二反卷积模块和第二融合模块，第三模块组包括第三反卷积模块和第三融合模块；
5.根据权利要求4所述的基于特征金字塔融合的三维人体姿态识别网络，其特征在于，所述第一特征提取模块包含3个瓶颈层，每个瓶颈层包含三个1×1的卷积核，输出的特征图通道数为256个；
6.根据权利要求...
【专利技术属性】
技术研发人员：刘智超，邱国申，白雪峰，王亚超，张鹏，王大威，
申请(专利权)人：蒙东协合科左后旗风力发电有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。