一种人体姿态估计方法与识别装置制造方法及图纸

本申请提供了一种人体姿态估计方法与识别装置，其中方法包括：将预处理后的图像传入高分辨率网络，经过下采样、上采样、卷积运算，在网络各个分支生成特征图；在生成的特征图后接入注意力模块捕捉重点特征，对最终阶段的特征图采取与上一层次特征图融合的方式生成新的特征图，新特征图经过反卷积操作恢复到与主干相同的分辨率，得到最终的heatmap，根据heatmap可以预测各个关节点的位置；图像经过高分辨率网络的处理可以避免有效信息丢失，加入注意力模块可以高效利用特征信息，多个分辨率分支交互信息能够解决遮挡图像姿态估计不准确及小目标难预测的问题，输出结果传入装置可实现实时检测可视化。可实现实时检测可视化。可实现实时检测可视化。

【技术实现步骤摘要】
一种人体姿态估计方法与识别装置


[0001]本申请涉及人机交互
，尤其涉及一种人体姿态估计方法与识别装置。

技术介绍

[0002]人体姿态估计技术是指对于普通图像或者视频当中的人体各个关节位置进行标注。按照标注对象的数量，人体姿态估计可分为单人姿态估计和多人姿态估计，单人姿态估计任务可以当作是对于确定个体的关节位置检测，在图像中找到人像位置后进行关节位置定位；多人姿态估计比单人姿态估计要更复杂，现有技术主要有自顶向下和自底向上两种方式。其中，自顶向下方式是先检测图像当中的人像，然后再对每一个检测到的人体做单人姿态估计；自底向上的检测方式则是先检测图像中的所有关节点，然后对这些检测到的关节点进行匹配，构建出各个人体框架实现姿态估计。自顶向下方式检测的速度受到人像数量的影响，同时检测精度也跟人像检测精度密切关联，自底向上的检测方式在速度上由于自顶向下的检测方式，但是在检测精度上略低。
[0003]在人体姿态估计方法的处理过程中，需要从高分辨率经过下采样到低分辨率获取特征图中的强语义信息，然后经过上采样恢复到原来的分辨率得到特征图中的位置信息，然而这个过程会丢失大量的有效信息，导致最终的估计结果存在偏差，关键点定位不准确。当图像中存在多人位置相互遮挡的情况时，传统的姿态估计方法无法精确定位和识别各个关键点的位置。在实际应用中的姿态估计方法对图像处理要求高，对相机拍摄的图像无法直接处理，且存在实时性差和可视化程度低的问题。
[0004]高分辨率网络能够避免有用信息丢失的问题，网络中有多个并行分支，多个并行分支交互，在整个网络当中能够保持高分辨率的状态，也能够得到特征图中的强语义信息和精准的关键点位置信息。在网络中加入注意力模块能够对关键点的信息有所侧重，当图像存在遮挡情况时能够有改善，检测的精度和估计的结果能够提高。采用人体姿态估计识别装置能够处理相机拍摄照片和其他设备传输的图片，最终结果能够直接显示在显示屏上，实时反映出图像的姿态估计处理结果。

技术实现思路

[0005]本申请提供了一种人体姿态估计方法与识别装置，能够解决分辨率恢复过程中有效信息丢失、遮挡图像识别不准确、姿态估计算法实时性差和识别结果可视化程度低的问题。
[0006]第一方面，本申请实施例提供了一种人体姿态估计方法与识别装置，所述方法包括：将预处理后的图像传入高分辨率网络，经过下采样、上采样、卷积运算，在网络各个分支生成特征图；特征图后接入注意力模块捕捉重点特征，对最终阶段的特征图采取与上一层次特征图融合的方式生成新的特征图，最后经过反卷积操作恢复到与主干相同的分辨率，经融合得到最终的heatmap，根据heatmap预测各个关节点的位置；
[0007]所述高分辨率网络由三个分支层和一个主干层构成，主干层分辨率为输入图像分
辨率的一半，其中的特征图经过卷积运算得到下一阶段特征图，主干层经过下采样操作得到第一个分支层，第一个分支层经下采样操作得到第二个分支层，以此类推得出所有分支层；
[0008]所述分支层分辨率以1/2倍数逐层递减，各层的前序特征图经卷积运算得到后序的特征图，分支层可利用上采样操作恢复分辨率到上一层次的水平；
[0009]所述主干层与分支层通过上采样和下采样操作相互联系，在网络中各分支均可保持特征图像一直具有高分辨率特征，确保特征图中的强语义信息不发生丢失以及各个关键点的位置信息得到保留，同时，后序特征图涵盖多个分支的信息可以检测并纠正前序特征图的错误；所述注意力模块连接在主干层与分支层的各级特征图卷积运算之后，目的在于提取特征图中的关键点的重点信息，对图像信息有所侧重；
[0010]所述最终阶段的特征图位于主干层和分支层的最后一级，包含了前序特征图的信息，由前序特征图经卷积运算、下采样、上采样、注意力模块处理得到，融合方式采用当前层与上一层进行融合的方法得到新的特征图；
[0011]所述反卷积操作针对第一个分支层最终的融合特征图进行，目的在于得到与主干层相同分辨率的特征图，最后再与主干层的最后一级特征图进行融合得到heatmap，根据heatmap可以预测出人体关节点的准确位置。
[0012]第二方面，本申请实施例提供了一种人体姿态估计方法与识别装置，所述装置包括：图像获取模块，用于接收外界传输图像或相机拍摄图像，对接收的图像做预处理后传入到主控处理模块进行姿态估计；主控处理模块，该模块将图像获取模块传入的图像输入主控箱中的高分辨率网络进行姿态估计，得出网络预测结果，并将结果传输到显示屏显示。
[0013]图像获取模块包括：摄像头、补偿光源、升降器、接收器；主控处理模块包括主控箱、底托和调位旋钮；所述摄像头与补偿光源紧接并置于升降器上方，接收器与升降器正对，接收器与升降器均安装在底托左端，主控箱位于底托正上方中间位置，底托右端上方为调位旋钮，用于调整摄像头的拍摄角度和高度；
[0014]所述升降器顶端与补偿光源紧密连接，底端内嵌于升降台，可调节升降和转动；补偿光源提供光源补偿，在弱光环境下可给摄像头提供照明光源；
[0015]所述接收器还包括接收天线，接收天线立于接收器中央，用于接收传输图像数据，最后将数据输送到主控箱；所述主控箱包括显示屏，用于显示估计结果，确保姿态估计结果的可视化；
[0016]所述调位旋钮包括升降调节旋钮和角度调节旋钮，升降调节旋钮顺时针转动可实现升降器上升，逆时针转动则升降台下降；角度调节旋钮顺时针转动与逆时针转动控制摄像头的转动方向，摄像头的转动方向与角度调节旋钮转动同步；电源指示灯与升降调节旋钮紧邻，指示电源通断情况，电源通断由电源控制器控制。
[0017]上述本申请提供的一种人体姿态估计方法，将预处理后的图像传入高分辨率网络，经过下采样、上采样、卷积运算，在网络各个分支生成特征图；在生成的特征图后接入注意力模块捕捉重点特征，对最终阶段的特征图采取与上一层次特征图融合的方式生成新的特征图，新特征图经过反卷积操作恢复到与主干相同的分辨率，得到最终的heatmap，根据heatmap可以预测各个关节点的位置。这样的方法能够保持在整个网络中特征图有高分辨率特征，从而避免出现因下采样与上采样过程导致的有效信息丢失问题；由于高分辨率网
络有多个分支层，可以感知不同尺度的人物图像，分支层与主干层网络交互连接，低分辨率分支层可以处理大目标的姿态估计，主干层可以处理大目标的姿态估计问题，各层交互连接使得特征信息全面，以提高最终的姿态估计结果准确率。
[0018]上述本申请提供的一种人体姿态估计识别装置，图像获取模块，用于接收外界传输图像或相机拍摄图像，对接收的图像做预处理后传入到主控处理模块进行姿态估计；主控处理模块，该模块将图像获取模块传入的图像输入主控箱中的高分辨率网络进行姿态估计，得出网络预测结果，并将结果传输到显示屏显示。图像获取模块包括：摄像头、补偿光源、升降器、接收器；主控处理模块包括：主控箱、底托和调位旋钮；所述摄像头与补偿光源紧接并置于升降器上方，接收器与升降器正对，接收器与升降器均安装本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人体姿态估计方法与识别装置，其特征在于，所述方法包括：将预处理后的图像传入高分辨率网络，经过下采样、上采样、卷积运算，在网络各个分支生成特征图；在生成的特征图后接入注意力模块捕捉重点特征，对最终阶段的特征图采取与上一层次特征图融合的方式生成新的特征图，新特征图经过反卷积操作恢复到与主干相同的分辨率，得到最终的heatmap，根据heatmap可以预测各个关节点的位置。2.根据权利要求1所述的一种人体姿态估计方法与识别装置，其特征在于，所述高分辨率网络由三个分支层和一个主干层构成，主干层分辨率为输入图像分辨率的一半，其中的特征图经过卷积运算得到下一阶段特征图，主干层经过下采样操作得到第一个分支层，第一个分支层经下采样操作得到第二个分支层，第二个分支层经下采样操作得到第三个分支层，第一分支层分辨率为主干层的一半，第二分支层分辨率为第一分支层的一半，第三分支层分辨率为第二分支层分辨率的一半；所述分支层分辨率以1/2倍数逐层递减，各层的前序特征图经卷积运算得到后序的特征图，分支层可利用上采样操作恢复分辨率到上一层次的水平；所述主干层与分支层通过上...

【专利技术属性】
技术研发人员：柳长源，秦川，殷运福，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：