System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于ECAv2-HRNet的人体姿态关键点检测方法技术_技高网

一种基于ECAv2-HRNet的人体姿态关键点检测方法技术

技术编号:43181526 阅读:27 留言:0更新日期:2024-11-01 20:07
本发明专利技术公开了一种基于ECAv2‑HRNet的人体姿态关键点检测方法,包括如下步骤:1)获取通道信息;2)缩减参数;3)合并通道;4)确定交互范围;5)加强特征提取过程;6)双压缩;7)嵌入骨干网络。这种方法在人口密集的环境下精准度高于现有技术中的方法,并且这种方法的模型参数量和需要的浮点运算量皆优于现有技术中的关键点检测方法,这种方法在不同的环境下表现出较为优异的指标性能。

【技术实现步骤摘要】

本专利技术涉及人体姿态关键点检测,具体为一种高分辨骨干网络嵌入双压缩有效注意力机制ecav2-hrnet(efficient channel attention v2-high resolution network)的人体姿态关键点检测方法。


技术介绍

1、近几年来,基于卷积神经网络的(cnn)的深度学习方法在人体姿态估计方面取得了比早期更好的结果。最新的研究趋势将其分为两类:一类是自底向上的姿态估计方法,该方法直接检测出所有的关键点,再依次组合成各个人体姿态,自底向上的方法虽然速度快,但是精度差一点;另一类是自顶向下的姿态估计方法,该方法首先使用目标检测模型检测出人体,在对人体逐一进行姿态估计,自顶向下的方法精度高,但是速度略慢。

2、在自顶向下的研究方向,xiao等人在resnet骨干网络中添加了几个反卷积层,以构建一种简单而有效的结构,高分辨率表示生成热图;cai等人引入了一个具有残差步骤网络(rsn)模块的多阶段网络,通过有效的层内特征融合策略来学习精细的局部信息,依靠姿势细化机(prm)模块,找到局部和全局之间的特征信息权衡;wang等人提出一种高分辨率网络(hrnet),该网络通过并行连接高分辨率到低分辨率的卷积流以及重复跨分辨率交换信息获取的特征信息在语义上更丰富,空间更精确,该网络在人体姿态估计、语义分割和目标检测应用中表现优异;long等人认为低分辨率特征图包含最强的语义信息,需要经过更多的层与高分辨率特征合并,对于高分辨率特征,卷积层的计算成本非常大。因此,设计了一个u型高分辨率网络(u-hrnet),在语义信息最强的特征映射后增加了更多的残差模块,不同分辨率特征并行计算后进入残差模块,低分辨率特征得到了更多的计算,骨干网络的性能得到了提升。随着注意力模块的兴起,woo等人提出卷积块注意力(cbam)模块,该模块沿着通道和空间推断注意力特征,然后将注意力特征乘以输入特征图以进行自适应特征细化,该模块可以集成到任何cnn架构中,并提升总体性能;hu等人提出一种压缩激励模块(senet),该模块通过显式建模通道之间的相互依赖关系来自适应地重新校准通道特征响应,嵌入到骨干网络中有明显的性能提升;feng等人将压缩激励模块升级为双压缩激励模块(s2enet),并将其嵌入到resnet骨干网络中,其性能超越了单压缩激励模块;jin等人为了丰富双压缩激励模块(senet)中描述符的提取和信息融合,提出了两阶段空间池化架构,使得激励模块以数据驱动的方式返回更准确的重新加权分数,优化了压缩激励模块;wang等人为了克服性能和复杂性权衡的悖论,提出了一种高效的通道注意模块(ecanet),该模块通过一维卷积有效地实现没有降维的局部跨通道交互策略,使得模块只涉及少数参数,同时带来高效的性能增益;bao等人将通道注意模块ecanet嵌入到高分辨率网络hrnet骨干网络中提高了姿态识别的精度,并对滑雪场景下高速运动的人体进行姿态估计和分析。

3、以上的关键点检测算法存在参数量巨大、精准度低、需要较大的浮点运算量等等缺陷。


技术实现思路

1、本专利技术的目的是针对现有技术的不足,而提供一种基于ecav2-hrnet的人体姿态关键点检测方法。这种方法在人口密集的环境下精准度高于现有技术中的方法,并且这种方法的模型参数量和需要的浮点运算量皆优于现有技术中的关键点检测方法,这种方法在不同的环境下表现出较为优异的指标性能。

2、实现本专利技术目的技术方案是:

3、一种基于ecav2-hrnet的人体姿态关键点检测方法,与现有技术不同的是包括如下步骤:

4、1)获取通道信息:假设没有降维的聚合特征参数矩阵y∈rc,一般通道注意力表达式如公式(1)所示:

5、w=σ(wy) (1),

6、公式(1)的w表示初始特征参数矩阵,σ表示函数映射,w表示转换后的特征信息,首先,为了实现局部跨通道信息交互过程,假设采用wk学习通道注意力信息,wk的表达式如公式(2)所示:

7、

8、w1,1表示通道(1,1)的特征矩阵,通道注意力机制通过特征内部之间的关系来调节连接系数,特征图的每个通道都被视作一个特殊的特征检测器,首先,对一个尺寸为h×w×c的输入特征图f进行空间维度的全局最大池化和全局平均池化,得到两个1×1×c的特征图,在空间维度进行池化、压缩空间尺寸,便于学习通道的特征,然后,将全局最大池化和全局平均池化的结果,分别送入一个共享的多层感知机mlp中学习,得到两个1×1×c的特征图,mlp的第一层神经元个数为c/r,激活函数为relu函数,第二层神经元个数为c,最后,将mlp输出的结果进行加权操作,接着经过sigmoid激活函数的映射处理,最终得到通道注意力权重矩阵mc;

9、2)缩减参数:wk由k×c个参数组成,少于一般的注意力机制,并且避免了不同组之间的完全独立性,yi的权重参数是通过yi与yi k个邻居之间的交互信息计算的,如公式(3)所示:

10、

11、其中ωik表示yi的k个相邻通道的集合,y表示通道交互信息的集合,使所有通道共享相同的学习参数如公式(4)所示:

12、

13、3)合并通道:合并通道通过内核大小为k的快速1d卷积实现如公式(5)所示:

14、w=σ(c1dk(y)) (5),

15、其中c1d表示一维卷积,公式(5)即为高效通道注意eca(efficient channelattention,简称eca)机制,c1d只涉及k个参数,当k=3的eca模块与se(squeeze-and-excitation networks,简称se)模块取得相似的结果,同时模型复杂度要低得多,该模块可以自适应折中参数量和通道交互范围,通过适当的局部跨通道交互来保证效率和有效性,其中,se模块为压缩激励模块,压缩激励模块建立在卷积神经网络的基础上,在局部感受野内将空间和通道信息融合在一起来提取信息特征,通过显式建模通道之间的相互依赖关系来自适应地重新校准通道特征,通过将这些注意力机制模块嵌入到骨干网络中,所构成的网络在各个不同的数据集上表现良好,两种压缩方式得到的特征值α与β是不同的,需要根据不同卷积神经网络的特征矩阵分布情况来评定两者的好坏。特征提取是关键点检测任务中的核心内容,随着深度学习的发展,模型的深度增加,不同深度的卷积层特征分布不同,浅层卷积层得到的特征由于处于特征提取的初始阶段,因此一般呈均匀分布,深层卷积层得到的特征由于处于特征提取的后期,部分关键点特征已经明显突出,因此一般为不均匀分布,

16、根据特征图存在的两种情况:

17、①特征图参数数值分布均匀即方差d(mw,h,c)比较小,当d(mw,h,c)≤σ时,βn≈αn,此时两种方法的特征提取效果相似,基本没有差别;

18、②特征图参数数值分布不均匀,有部分特征突出即方差d(mw,h,c)较大,当d(mw,h,c)>σ时,βn>α本文档来自技高网...

【技术保护点】

1.一种基于ECAv2-HRNet的人体姿态关键点检测方法,其特征是,包括如下步骤:

【技术特征摘要】

1.一种基于ecav2-hrnet的人体姿...

【专利技术属性】
技术研发人员:首照宇于泳波李东旭黄菊华刘杭冯程陈镜全莫建文张会兵张敬伟林熠明赵晖刘京华张彤文辉
申请(专利权)人:桂林电子科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1