一种面向低分辨率图像的多人人体模型重建方法技术

本发明专利技术公开了一种面向低分辨率图像的多人人体模型重建方法，涉及三维视觉技术领域。本发明专利技术所提供的一种面向低分辨率图像的多人人体模型重建方法，基于端到端的自上而下的多人重建网络，针对高分辨率图像和低分辨率图像的双分支网络，通过空间注意力机制提高网络对不同分辨率图像的识别度；提出跨尺度特征参考策略，利用高分辨率图像特征，引导低分辨率分支特征生成，通过缩短两个分支的特征距离有效地对低分辨率分支特征进行引导；引入对比学习约束，区分来自不同场景的特征信息，使得来自同一场景的低分辨率分支特征更加贴近高分辨率分支特征；并利用多任务学习机制对加入的实例分割网络和重建网络同时进行优化，进而有效提高了重建结果的精度。提高了重建结果的精度。提高了重建结果的精度。

A method of multi person human model reconstruction for low resolution images

【技术实现步骤摘要】
Vision(ICCV),2021)同样提出一种单阶段方法ROMP，通过预测身体中心热图预测人体中心点位置，从而使得模型对于遮挡问题更加鲁棒；但是，这些方法都是基于高分辨率图像进行的研究，在低分辨率图像上重建结果一般。
[0004]本专利技术针对以上问题，提出了一种在低分辨率图像下进行多人重建的模型，设计针对高分辨率图像和低分辨率图像的双分支重建网络，通过对比学习等约束融合高分辨率分支特征，实现低分辨率分支的基础重建功能；提出跨尺度特征参考策略，利用高分辨率图像特征，引导低分辨率分支特征生成，通过缩短两个分支的特征距离有效地对低分辨率支路特征进行引导；引入实例分割网络，在多任务学习机制下同时对实例分割网络和重建网络进行优化，提高了人体检测框的准确度，进而有效提高了重建结果的精度。

技术实现思路

[0005](一)本专利技术要解决的技术问题：
[0006]本专利技术的目的是：针对现有方法无法在低分辨率图像中得到相对准确的重建结果，而提供一种面向低分辨率图像的多人人体模型重建方法，通过设计针对高分辨率图像和低分辨率图像的双分支重建网络，并通过对比学习等约束融合高分辨率分支特征，实现低分辨率分支的基础重建功能；提出跨尺度特征参考策略，利用高分辨率图像特征，引导低分辨率分支特征生成，通过缩短两个分支的特征距离有效地对低分辨率支路特征进行引导；引入实例分割网络，在多任务学习机制下同时对实例分割网络和重建网络进行优化，提高了人体检测框的准确度，进而有效提高了重建结果的精度。
[0007](二)为了实现上述目的，本专利技术采用了如下技术方案：
[0008]一种面向低分辨率图像的多人人体模型重建方法，包括如下步骤：
[0009]S1、对公共数据集进行数据预处理，通过对高分辨率图像进行下采样降低分辨率以获得低分辨率图像，在保持图像原有长宽比的基础上将低分辨率图像缩放到统一大小用于训练低分辨率分支网络；
[0010]S2、通过原有的高分辨率图像训练高分辨率分支网络，所述高分辨率分支网络分为目标检测阶段以及SMPL人体重建阶段；在目标检测阶段，通过目标检测网络的骨干网络和金字塔网络实现特征提取，进而利用区域候选网络和感兴趣区域网络识别出人体区域，最后对人体检测框识别出的人体区域进行分析并重建人体三维模型；
[0011]S3、利用S1中预处理得到的低分辨率图像训练低分辨率分支网络，通过与高分辨率分支网络参数共享的目标检测阶段和SMPL人体重建阶段实现对低分辨率图像的重建；
[0012]S4、在目标检测网络前端设计参数不共享的空间注意力机制，分别用于提取高分辨率分支网络和低分辨率分支网络的特征信息，进而通过增加对高分辨率分支网络和低分辨率分支网络的识别度，以更好地区分不同分辨率的特征信息；
[0013]S5、在低分辨率分支网络的训练过程中，在目标检测阶段增加跨尺度的特征参考策略，利用高分辨率分支网络的特征信息引导低分辨率分支网络特征信息的生成；同时对金字塔网络中的最高层特征引入对比学习约束，从而更好地区别不同场景的图像信息，使得低分辨率分支网络的特征更加接近高分辨率分支网络；
[0014]S6、基于S5，在SMPL重建阶段增加实例分割网络，在多任务学习机制下同时优化实例分割网络和重建网络，从而提高人体检测框的准确度和重建结果的精度。
[0015]优选的，S1中所述的预处理过程主要包括以下步骤：
[0016]S101、保持高分辨率图像原有的长宽比，对高分辨率图像进行下采样到(208,128)，得到低分辨率图像；
[0017]S102、通过双线性插值法将低分辨率图像统一到(832，512)，不足部分用0填充。
[0018]优选的，在S2中训练高分辨率分支网络后，将高分辨率分支网络的参数固定，在S3中通过低分辨率图像训练低分辨率分支网络的过程中，高分辨率分支网络的参数不通过反向传播进行更新。
[0019]优选的，所述S4中在目标检测网络前端使用的注意力机制如下：
[0020]y
i
＝R(φ(x
i
)
×
x
i
),i∈{0,1}
[0021]其中i表示对应的分支，0是高分辨率分支，1是低分辨率分支；x
i
表示输入的图像特征，φ表示空间注意力机制，R表示特征提取部分的骨干网络，y
i
表示经过骨干网络之后的特征。
[0022]优选的，S5中的具体实现过程如下：
[0023]S501、对于输入的低分辨率图像，通过目标检测网络识别低分辨率图像中的人体；
[0024]S502、在识别过程中，对比高分辨率分支网络和低分辨率分支网络特征提取部分的金字塔网络最高层特征；
[0025]S503、通过约束高分辨率分支网络和低分辨率分支网络之间的特征距离，有效引导低分辨率网络特征生成；
[0026]S504、对于低分辨率分支网络的特征信息，通过类编码器
‑
解码器网络得到与高分辨率分支网络的特征维度相同的向量，即通过一系列卷积网络编码低分辨率分支网络的特征信息，再通过相应的卷积网络将信息解码到高分辨特征分支网络的信息域，通过L2损失约束最终的输出结果与高分辨率分支网络的特征信息；
[0027]S505、同时引入对比学习损失用于约束S502中提取的高分辨率分支网络和低分辨率分支网络的金字塔网络最高层特征，并且对高分辨率分支网络和低分辨率分支网络的人体检测框结果进行了L2约束，从而提高低分辨率分支网络检测结果的准确率。
[0028]优选的，S505中所述的对比学习损失对应的对比学习损失函数具体如下：
[0029][0030]其中和x
低分
分别表示来自高分辨率分支网络的特征值和来自低分辨率分支网络的特征值，γ是可调节的超参数，Q表示特征队列大小。
[0031]优选的，S6具体实现过程如下：
[0032]S601、在低分辨率分支网络的SMPL重建网络部分增加实例分割网络；
[0033]S602、通过多任务学习机制共同优化高分辨率分支网络和低分辨率分支网络，更好地解决多人遮挡问题；
[0034]S603、将目标检测阶段的采样结果分别输入原本的重建网络和实例分割网络；
[0035]S604、在实例分割网络部分，首先将采样结果通过卷积核为14
×
14、通道数为256的卷积层，重复四次得到提取的特征信息，然后通过卷积核为28
×
28、通道数为256以及卷积核为28
×
28、通道数为80的卷积层得到掩膜，实现对人体分割的约束。
[0036](三)本专利技术的有益效果包括以下及几点：
[0037](1)本专利技术提出了一个从低分辨率图像中重建多人人体三维模型的方法，通过输入低分辨率图像，采用上述方法可以重建出更加准确的人体形状和姿态模型；本方法提出跨尺度的特征参考策略；引入对比学习约束。
[0038](2)本专利技术提供了一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向低分辨率图像的多人人体模型重建方法，其特征在于：包括如下步骤：S1、对公共数据集进行数据预处理，通过对高分辨率图像进行下采样降低分辨率以获得低分辨率图像，在保持图像原有长宽比的基础上将低分辨率图像缩放到统一大小用于训练低分辨率分支网络；S2、通过原有的高分辨率图像训练高分辨率分支网络，所述高分辨率分支网络分为目标检测阶段以及SMPL人体重建阶段；在目标检测阶段，通过目标检测网络的骨干网络和金字塔网络实现特征提取，进而利用区域候选网络和感兴趣区域网络识别出人体区域，最后对人体检测框识别出的人体区域进行分析并重建人体三维模型；S3、利用S1中预处理得到的低分辨率图像训练低分辨率分支网络，通过与高分辨率分支网络参数共享的目标检测阶段和SMPL人体重建阶段实现对低分辨率图像的重建；S4、在目标检测网络前端设计参数不共享的空间注意力机制，分别用于提取高分辨率分支网络和低分辨率分支网络的特征信息，进而通过增加对高分辨率分支网络和低分辨率分支网络的识别度，以更好地区分不同分辨率的特征信息；S5、在低分辨率分支网络的训练过程中，在目标检测阶段增加跨尺度的特征参考策略，利用高分辨率分支网络的特征信息引导低分辨率分支网络特征信息的生成；同时对金字塔网络中的最高层特征引入对比学习约束，从而更好地区别不同场景的图像信息，使得低分辨率分支网络的特征更加接近高分辨率分支网络；S6、基于S5，在SMPL重建阶段增加实例分割网络，在多任务学习机制下同时优化实例分割网络和重建网络，从而提高人体检测框的准确度和重建结果的精度。2.根据权利要求1所述的一种面向低分辨率图像的多人人体模型重建方法，其特征在于：S1中所述的预处理过程主要包括以下步骤：S101、保持高分辨率图像原有的长宽比，对高分辨率图像进行下采样到(208,128)，得到低分辨率图像；S102、通过双线性插值法将低分辨率图像统一到(832，512)，不足部分用0填充。3.根据权利要求1所述的一种面向低分辨率图像的多人人体模型重建方法，其特征在于：在S2中训练高分辨率分支网络后，将高分辨率分支网络的参数固定，在S3中通过低分辨率图像训练低分辨率分支网络的过程中，高分辨率分支网络的参数不通过反向传播进行更新。4.根据权利要求1所述的一种面向低分辨率图像的多人人体模型重建方法，其特征在于：所述S4中在目标检测网络前端使用的注意力机制如下：y
i
＝R(φ(x
i
)
×
x
i

【专利技术属性】
技术研发人员：李坤，刘云珂，杨敬钰，
申请(专利权)人：天津大学，
类型：发明
国别省市：