【技术实现步骤摘要】
本专利技术涉及一种2d人体姿态估计方法，更具体地，涉及一种光照自适应的单阶段2d多人姿态估计方法。
技术介绍
1、面对密集人群的人体姿态估计方法在自动驾驶、智能安防等领域应用广泛，这些领域除了面临遮挡、紧凑、奇异姿态等问题带来的挑战以外，还常面临夜间、天气、强灯光等光照不均的环境，降低了相机捕获的图像质量而缺失图像信息且带有噪声，导致了现有多人姿态估计方法性能显著下降。目前的人体姿态估计方法主要集中在解决复杂场景中的密集遮挡、奇异姿态等问题，应对光照环境变化的研究甚少。我们统计了在exlpose低光数据集下的最新方法的性能表现，最优的单阶段多人姿态估计方法cid在平均像素强度为1.4以下的图片集合中，平均检测精度不足1%（wang d, zhang s. contextual instancedecoupling for robust multi-person pose estimation[c]//proceedings of theieee/cvf conference on computer vision and pattern recognition. 2022: 11060-11068.）。
2、现有的处理光照场景的2d人体姿态估计方法集中在研究夜间人体姿态估计，通常可分为三类：1)多模态融合：利用红外摄像机捕获红外图像，并集成rgb图像进行夜间人体姿态估计。2)图像增强：使用图像增强技术提高输入图像亮度并去噪，再进行下游姿态估计。3)域迁移：结合知识蒸馏等手段，让模型学习到正常光亮源域的知识和特征以在低光
技术实现思路
1、本专利技术旨在通过建模低光场景下光照自适应特征的方式改善低光人体检测精度。为了达到上述目的，根据本专利技术提供的一种光照自适应的单阶段2d多人姿态估计方法，对原输入图像进行光照图与反射率图的有效分解，通过对优化后的光照无关的反射率图像进行特征提取弥补低光人体信息，通过对光照图进行特征提取与通道注意力机制设计为后续特征进行自适应加权，从而实现根据原图光照情况动态增强人体特征的目的，提升低光人体姿态估计的检测精度。
2、本专利技术的目的至少通过如下技术方案之一实现。
3、一种光照自适应的单阶段2d多人姿态估计方法，包括以下步骤：
4、步骤一、构建分解网络，输入单张图像至分解网络进行分解，获得反射率图像和光照图像；
5、步骤二、构建通道注意力机制，基于光照图像生成光照自适应权重因子；
6、步骤三、构建去噪恢复网络，对反射率图像进行优化改善，得到优化后的反射率图像；
7、步骤四、构建主干网络，提取优化后的反射率图像与输入图像的联合主干特征；
8、步骤五、构建特征增强与融合模块，基于联合主干特征与光照自适应权重因子进行光照自适应特征增强，输出增强后的全局特征；
9、步骤六、构建关键点检测头部，基于增强后的全局特征，定位人体关键点；
10、步骤七、顺次连接分解网络、通道注意力机制、去噪恢复网络、主干网络、特征增强与融合模块以及关键点检测头部，得到单阶段2d多人姿态估计模型，训练过程中，对单阶段2d多人姿态估计模型进行训练，推理过程中，采用训练后的单阶段2d多人姿态估计模型对图像进行单阶段2d多人姿态估计。
11、进一步地，步骤一中，所述分解网络为基于retinex图像增强理论的两分支网络结构，包括光照图与反射率图两个分支；
12、反射率图分支包括顺次连接的5层u形全卷积网络、一个卷积层和sigmoid激活层，原输入图像输入反射率图分支，sigmoid激活层输出反射率图像；
13、光照图分支包括顺次连接的一个空间池化操作、两个卷积层、两个relu激活层以及一个用于连接反射率图分支的卷积层，原输入图像输入光照图分支，连接反射率图分支的卷积层输出光照图像；
14、最终得到的反射率图像以及光照图像的尺寸与原图的尺寸一致。
15、进一步地，一层u形全卷积网络包括顺次连接的一个3x3卷积层、一个relu激活层、第一基本块和第二基本块，第二基本块的输出和3x3卷积层的输出按通道拼接得到一层u形全卷积网络的输出；
16、所述第一基本块包括顺次连接的一个3x3卷积层、一个relu激活层、一个3x3卷积层、一个relu激活层以及一个2x2空间最大池化层；
17、所述第二基本块包括顺次连接的一个3x3卷积层、一个relu激活层和上采样层。
18、进一步地，步骤二中，光照图像进入通道注意力机制后，首先经过一个空间池化操作，将光照图像的分辨率下采样至原尺寸的1/4，然后经过三层3x3卷积层对下采样后的光照图进行进一步特征提取得到960通道数特征图，再对960通道数特征图进行全局空间池化及搭建非线性激活层生成一维960通道权重即光照自适应权重因子；
19、所述非线性激活层包括顺次连接的第一9601全连接层、relu激活层、第二9601全连接层和sigmoid激活层。
20、进一步地，步骤三中，去噪恢复网络包括顺次连接的5层u形全卷积网络以及一个sigmoid激活层。
21、进一步地，步骤四中，所述主干网络包括高分辨率主干网络；
22、高分辨率主干网络包括三个分支，每个分支下采样分本文档来自技高网...
【技术保护点】
1.一种光照自适应的单阶段2D多人姿态估计方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种光照自适应的单阶段2D多人姿态估计方法，其特征在于，步骤一中，所述分解网络为基于Retinex图像增强理论的两分支网络结构，包括光照图与反射率图两个分支；
3.根据权利要求2所述的一种光照自适应的单阶段2D多人姿态估计方法，其特征在于，一层U形全卷积网络包括顺次连接的一个3X3卷积层、一个ReLU激活层、第一基本块和第二基本块，第二基本块的输出和3X3卷积层的输出按通道拼接得到一层U形全卷积网络的输出；
4.根据权利要求1中所述的一种光照自适应的单阶段2D多人姿态估计方法，其特征在于，步骤二中，光照图像进入通道注意力机制后，首先经过一个空间池化操作，将光照图像的分辨率下采样至原尺寸的1/4，然后经过三层3x3卷积层对下采样后的光照图进行进一步特征提取得到960通道数特征图，再对960通道数特征图进行全局空间池化及搭建非线性激活层生成一维960通道权重即光照自适应权重因子；
5.根据权利要求3所述的一种光照自适应的单阶段2D多人姿态
6.根据权利要求1所述的一种光照自适应的单阶段2D多人姿态估计方法，其特征在于，步骤四中，所述主干网络包括高分辨率主干网络；
7.根据权利要求1所述的一种光照自适应的单阶段2D多人姿态估计方法，其特征在于，步骤五中，所述特征增强与融合模块包括通道池化、空间池化组成的通道维度与空间维度上的增强，包括逐通道乘积、1x1卷积层、BN正则化层与非线性激活层的特征融合过程，特征融合过程如下：
8.根据权利要求1所述的一种光照自适应的单阶段2D多人姿态估计方法，其特征在于，步骤六中，所述关键点检测头部为现有的单阶段多人姿态估计检测器，包括人体检测分支与关键点检测分支，人体检测分支输出人体数目及人体中心点热图，关键点检测分支输出实例级关键点热图；
9.根据权利要求1所述的一种光照自适应的单阶段2D多人姿态估计方法，其特征在于，步骤七中，对单阶段2D多人姿态估计模型进行单阶段的端到端训练，训练损失仅使用多人姿态估计热图损失，真实热图生成公式具体如下：
10.根据权利要求9所述的一种光照自适应的单阶段2D多人姿态估计方法，其特征在于，在训练过程中，关键点检测头部只输出热图以计算热图损失，反向传播更新分解网络、通道注意力机制、去噪恢复网络、主干网络、特征增强与融合模块以及关键点检测头部的可训练权重；在推理过程中，输出热图中最大响应值二维坐标并进行缩放与增加偏置解决量化误差。
...【技术特征摘要】
1.一种光照自适应的单阶段2d多人姿态估计方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种光照自适应的单阶段2d多人姿态估计方法，其特征在于，步骤一中，所述分解网络为基于retinex图像增强理论的两分支网络结构，包括光照图与反射率图两个分支；
3.根据权利要求2所述的一种光照自适应的单阶段2d多人姿态估计方法，其特征在于，一层u形全卷积网络包括顺次连接的一个3x3卷积层、一个relu激活层、第一基本块和第二基本块，第二基本块的输出和3x3卷积层的输出按通道拼接得到一层u形全卷积网络的输出；
4.根据权利要求1中所述的一种光照自适应的单阶段2d多人姿态估计方法，其特征在于，步骤二中，光照图像进入通道注意力机制后，首先经过一个空间池化操作，将光照图像的分辨率下采样至原尺寸的1/4，然后经过三层3x3卷积层对下采样后的光照图进行进一步特征提取得到960通道数特征图，再对960通道数特征图进行全局空间池化及搭建非线性激活层生成一维960通道权重即光照自适应权重因子；
5.根据权利要求3所述的一种光照自适应的单阶段2d多人姿态估计方法，其特征在于，步骤三中，去噪恢复网络包括顺次连接的5层u形全卷积网络以及一个sigmoid激活层。
6.根据权利要求1所述的一种光照自适应的单阶段2d多人...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。