System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于注意力机制模块的人体姿态估计方法及系统技术方案_技高网
当前位置: 首页 > 专利查询>深圳大学专利>正文

一种基于注意力机制模块的人体姿态估计方法及系统技术方案

技术编号:40669874 阅读:9 留言:0更新日期:2024-03-18 19:05
本发明专利技术公开了一种基于注意力机制模块的人体姿态估计方法及系统,其中,所述方法包括:获取人体姿态图片,并对所述人体姿态图片进行预处理,得到预处理特征图;将所述预处理特征图输入全新网络模型中进行交叉融合,得到第一特征图,其中,所述全新网络模型包括5个基于卷积层的阶段模块;将所述第一特征图输入到更新注意力模块中,输出第二特征图;根据所述第二特征图获取关键点热图,并将所述关键点热图和所述人体姿态图片得到人体姿态估计结果,并输出。本发明专利技术通过所述方法,可以对跨不同维度的信息可以进行连接和融合,从而得到准确的人体姿态估计。

【技术实现步骤摘要】

本专利技术计算机视觉领域,尤其涉及的是一种基于注意力机制模块的人体姿态估计方法及系统


技术介绍

1、目前,人体姿态给估计是计算机视觉中的一个关键问题,为游戏、影视、人体检测等诸多领域提供关键的基础信息。现有的人体姿态估计多使用深度学习的方法,通过算法对人体的关键点进行获取,得到人体的关键点信息,从而实现人体姿态估计。

2、然而,目前通过深度学习的方法实现人体姿态估计时,当输入中存在遮挡相似纹理和复杂多人环境的情况下,深度学习对低维信息利用不足,导致检测性能下降,使得得到的人体姿态估计与真实值的偏差较大。

3、因此,现有技术还有待改进和发展。


技术实现思路

1、本专利技术的主要目的在于提供一种基于注意力机制模块的人体姿态估计方法、系统、终端及存储介质,旨在解决现有技术中通过深度学习的方法实现人体姿态估计时,当输入中存在遮挡相似纹理和复杂多人环境的情况下,深度学习对低维信息利用不足,导致检测性能下降,使得得到的人体姿态估计与真实值的偏差较大的问题。

2、为了实现所述目的,本专利技术第一方面提供一种基于注意力机制模块的人体姿态估计方法,其中,所述一种基于注意力机制模块的人体姿态估计方法包括:

3、获取人体姿态图片,并对所述人体姿态图片进行预处理,得到预处理特征图;

4、将所述预处理特征图输入全新网络模型中进行交叉融合,得到第一特征图,其中,所述全新网络模型包括5个基于卷积层的阶段模块;

5、将所述第一特征图输入到更新注意力模块中,输出第二特征图;

6、根据所述第二特征图获取关键点热图,并将所述关键点热图和所述人体姿态图片得到人体姿态估计结果,并输出。

7、可选的,所述获取人体姿态图片,并对所述人体姿态图片进行预处理,得到预处理特征图的步骤包括:

8、获取人体姿态图片,对所述人体姿态图片进行第一降采样预处理,得到中间预处理特征图;

9、对所述中间预处理特征图进行第二降采样预处理,得到预处理特征图。

10、可选地,所述5个基于卷积层的阶段模块包括第一阶段模块、第二阶段模块、第三阶段模块、第四阶段模块和第五阶段模块;

11、所述将所述预处理特征图输入全新网络模型中进行交叉融合,得到第一特征图的步骤包括:

12、将所述预处理特征图输入到所述第一阶段模块进行下采样,生成第一阶段第一通道特征图和第一阶段第二通道特征图;

13、将所述第一阶段第一通道特征图和第一阶段第二通道特征图输入到所述第二阶段模块,所述第二阶段模块对所述第一阶段第一通道特征图和所述第一阶段第二通道特征图进行交叉融合,得到第二阶段第一通道特征图和第二阶段第二通道特征图;

14、将所述第二阶段第一通道特征图和所述第二阶段第二通道特征图输入到所述第三阶段模块,所述第三阶段模块对所述第二阶段第二通道特征图进行下采样,生成预设第三阶段第三通道特征图,并对所述第二阶段第一通道特征图、所述第二阶段第二通道特征图和所述预设第三阶段第三通道特征图进行交叉融合,得到第三阶段第一通道特征图、第三阶段第二通道特征图和第三阶段第三通道特征图;

15、将所述第三阶段第一通道特征图、第三阶段第二通道特征图和第三阶段第三通道特征图输入到所述第四阶段模块,生成第四阶段第一通道特征图、第四阶段第二通道特征图、第四阶段第三通道特征图和第四阶段第四通道特征图;

16、将所述第四阶段第一通道特征图、所述第四阶段第二通道特征图、所述第四阶段第三通道特征图和所述第四阶段第四通道特征图输入到第五阶段模块,并进行交叉融合,得到第一特征图。

17、可选地,所述将所述第三阶段第一通道特征图、第三阶段第二通道特征图和第三阶段第三通道特征图输入到所述第四阶段模块,生成第四阶段第一通道特征图、第四阶段第二通道特征图、第四阶段第三通道特征图和第四阶段第四通道特征图的步骤包括:

18、将所述第三阶段第一通道特征图、所述第三阶段第二通道特征图和所述第三阶段第三通道特征图输入到所述第四阶段模块;

19、所述第四阶段模块对所述第三阶段第三通道特征图进行下采样,生成预设第四阶段第四通道特征图;

20、对所述预设第四阶段第四通道特征图和所述第三阶段第三通道特征图进行交叉融合,得到所述第四阶段第四通道特征图和预设第四阶段第三通道特征图;

21、对所述预设第四阶段第三通道特征图和所述第三阶段第二通道特征图进行交叉融合,得到所述第四阶段第三通道特征图和预设第四阶段第二通道特征图;

22、对所述预设第四阶段第二通道特征图和所述第三阶段第一通道特征图进行交叉融合,得到所述第四阶段第二通道特征图和所述第四阶段第一通道特征图。

23、可选地,所述将所述第一特征图输入到更新注意力模块中,输出第二特征图的步骤包括:

24、将所述第一特征图输入到更新注意力模块中的残差结构处理,得到残差输出;

25、将所述残差输出分别进行第一平均池化和第二平均池化,得到第一池化矩阵和第二池化矩阵;

26、对所述第一池化矩阵和第二池化矩阵进行拼接和卷积,并进行标准化和激活,得到卷积矩阵;

27、对所述卷积矩阵进行平均池化处理,并加载额外权重后,得到重估权重,根据所述重估权重生成所述第二特征图。

28、可选地,所述对所述卷积矩阵进行平均池化处理,并加载额外权重后,得到重估权重,根据所述重估权重生成第二特征图的步骤包括:

29、对所述卷积矩阵的宽度和高度所在的维度分别进行平均池化处理,得到第一宽度维度注意力和第一高度维度注意力;

30、所述宽度维度注意力和高度维度注意力分别与额外权重进行相乘,得到第二宽度维度注意力和第二高度维度注意力,并对所述第二宽度维度注意力和第二高度维度注意力进行拼接得到重估权重;

31、根据所述重估权重和所述残差输出,得到所述第二特征图和所述第二特征图对应的置信度。

32、可选地,所述根据所述第二特征图获取关键点热图,并将所述关键点热图和所述人体姿态图片得到人体姿态估计结果,并输出的步骤包括:

33、提取所述第二特征图中的关键点热图,根据得到的关键点热图,提取预测关键点;

34、将所述预测关键点连接,得到第一人体姿态估计结果;

35、将所述第一人体姿态估计结果中置信度小于预设阈值的关键点删除,得到目标关键点,将目标关键点绘制在人体姿态图片上,得到人体姿态估计结果,并输出。

36、本专利技术第二方面提供一种基于注意力机制模块的人体姿态估计系统,其中,所述一种基于注意力机制模块的人体姿态估计系统包括:

37、预处理模块,用于获取人体姿态图片,并对所述人体姿态图片进行预处理,得到预处理特征图;

38、第一特征图生成模块,用于将所述预处理特征图输入全新网络模型中进行交叉融合,得到第一特征图,其中,所述全新网络模型本文档来自技高网...

【技术保护点】

1.一种基于注意力机制模块的人体姿态估计方法,其特征在于,所述一种基于注意力机制模块的人体姿态估计方法包括:

2.根据权利要求1所述的基于注意力机制模块的人体姿态估计方法,其特征在于,所述获取人体姿态图片,并对所述人体姿态图片进行预处理,得到预处理特征图的步骤包括:

3.根据权利要求1所述的基于注意力机制模块的人体姿态估计方法,其特征在于,所述5个基于卷积层的阶段模块包括第一阶段模块、第二阶段模块、第三阶段模块、第四阶段模块和第五阶段模块;

4.根据权利要求3所述的基于注意力机制模块的人体姿态估计方法,其特征在于,所述将所述第三阶段第一通道特征图、第三阶段第二通道特征图和第三阶段第三通道特征图输入到所述第四阶段模块,生成第四阶段第一通道特征图、第四阶段第二通道特征图、第四阶段第三通道特征图和第四阶段第四通道特征图的步骤包括:

5.根据权利要求1所述的基于注意力机制模块的人体姿态估计方法,其特征在于,所述将所述第一特征图输入到更新注意力模块中,输出第二特征图的步骤包括:

6.根据权利要求5所述的基于注意力机制模块的人体姿态估计方法,其特征在于,所述对所述卷积矩阵进行平均池化处理,并加载额外权重后,得到重估权重,根据所述重估权重生成第二特征图的步骤包括:

7.根据权利要求6所述的基于注意力机制模块的人体姿态估计方法,其特征在于,所述根据所述第二特征图获取关键点热图,并将所述关键点热图和所述人体姿态图片得到人体姿态估计结果,并输出的步骤包括:

8.一种基于注意力机制模块的人体姿态估计系统,其特征在于,所述一种基于注意力机制模块的人体姿态估计系统包括:

9.一种终端,其特征在于,所述终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的一种基于注意力机制模块的人体姿态估计程序,所述一种基于注意力机制模块的人体姿态估计程序被所述处理器执行时实现如权利要求1-7任意一项所述一种基于注意力机制模块的人体姿态估计方法的步骤。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有一种基于注意力机制模块的人体姿态估计程序,所述一种基于注意力机制模块的人体姿态估计程序被处理器执行时实现如权利要求1-7任意一项所述一种基于注意力机制模块的人体姿态估计方法的步骤。

...

【技术特征摘要】

1.一种基于注意力机制模块的人体姿态估计方法,其特征在于,所述一种基于注意力机制模块的人体姿态估计方法包括:

2.根据权利要求1所述的基于注意力机制模块的人体姿态估计方法,其特征在于,所述获取人体姿态图片,并对所述人体姿态图片进行预处理,得到预处理特征图的步骤包括:

3.根据权利要求1所述的基于注意力机制模块的人体姿态估计方法,其特征在于,所述5个基于卷积层的阶段模块包括第一阶段模块、第二阶段模块、第三阶段模块、第四阶段模块和第五阶段模块;

4.根据权利要求3所述的基于注意力机制模块的人体姿态估计方法,其特征在于,所述将所述第三阶段第一通道特征图、第三阶段第二通道特征图和第三阶段第三通道特征图输入到所述第四阶段模块,生成第四阶段第一通道特征图、第四阶段第二通道特征图、第四阶段第三通道特征图和第四阶段第四通道特征图的步骤包括:

5.根据权利要求1所述的基于注意力机制模块的人体姿态估计方法,其特征在于,所述将所述第一特征图输入到更新注意力模块中,输出第二特征图的步骤包括:

6.根据权利要求5所述的基于注意力机制模块的人体姿态估计方法,其...

【专利技术属性】
技术研发人员:郝振宇王伟玺谢林甫郭仁忠
申请(专利权)人:深圳大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1