一种基于双模态特征融合网络的人体重识别方法及装置制造方法及图纸

本发明专利技术公开了一种基于双模态特征融合网络的人体重识别方法及装置，该方法包括：获取待识别人体的彩色图像及对应的其他模态图像；将所述彩色图像及对应的其他模态图像输入训练好的双模态特征融合网络，提取所述待识别人体的特征；将所述待识别人体的特征与人体图像库的特征进行对比，得到所述待识别人体的识别结果。本发明专利技术针对人体重识别问题，将待识别人体的彩色图像及对应的其他模态图像输入训练好的双模态特征融合网络，进行特征提取，提取到的特征信息量相对于根据单一模态图像提取的特征更加丰富，从而使得所进行的人体重识别的准确度相较于根据单一模态图像进行的人体重识别也更高。重识别也更高。重识别也更高。

【技术实现步骤摘要】
一种基于双模态特征融合网络的人体重识别方法及装置


[0001]本申请涉及计算机视觉人体重识别领域，尤其涉及一种基于双模态特征融合网络的人体重识别方法及装置。

技术介绍

[0002]人体重识别技术是计算机视觉领域内的关键技术，具有广泛的应用前景和很高的应用价值。该技术在自动驾驶、智能监控、人机交互、智能机器人等实际应用场景中发挥着关键作用。依托人体重识别技术，在自动驾驶中，可对行人的轨迹进行预测，从而提前做出避让等动作；如在智能监控中，可快速从大量视频中检索出嫌疑犯、丢失儿童等；在人机交互中，可提供更加智能化的交互；在智能机器人中，可实现对目标人的跟随等。
[0003]近些年来，随着深度学习的普及，人体重识别技术获得了突飞猛进的发展。
[0004]在实现本专利技术的过程中，专利技术人发现现有技术中至少存在如下问题：
[0005]现有人体重识别模型依赖彩色图像，并从中学习颜色、纹理等特征，这些特征包含的信息量单一，无法应对复杂的场景，如在校园内，学生穿着颜色相同的校服，现有人体重识别模型在此场景内准确度无法达到要求。再如在逃嫌疑犯，经常会更换衣服以伪装自己，现有人体重识别模型无法识别出更换了衣服的目标。由此可见，在人体重识别模型中，除单一的彩色图像特征外，如何融入更多其他模态图像的特征以丰富最终所提取特征的信息量是亟待解决的问题。

技术实现思路

[0006]本申请实施例的目的是提供一种基于双模态特征融合网络的人体重识别方法及装置，以解决相关技术中存在的特征信息量单一的技术问题。r/>[0007]根据本申请实施例的第一方面，提供一种基于双模态特征融合网络的人体重识别方法，包括：
[0008]获取待识别人体的彩色图像及对应的其他模态图像；
[0009]将所述彩色图像及对应的其他模态图像输入训练好的双模态特征融合网络，提取所述待识别人体的特征；
[0010]将所述待识别人体的特征与人体图像库的特征进行对比，得到所述待识别人体的识别结果。
[0011]进一步地，所述双模态特征融合网络包括：
[0012]彩色图像特征提取主干网络，用于从所述待识别人体的彩色图像中提取第一特征；
[0013]其他模态图像特征提取主干网络，用于从所述待识别人体的其他模态图像中提取第二特征；及
[0014]双模态特征融合器，用于将所述第一特征和所述第二特征融合为所述待识别人体的特征。
[0015]进一步地，所述双模态特征融合网络的训练过程包括：
[0016]获取训练集，所述训练集分成若干子集，每个子集包括多人的彩色图像及对应的其他模态图像；
[0017]将其中一个子集输入所述双模态特征融合网络，提取所述子集的特征；
[0018]根据所述子集的特征进行人物分类，得到交叉熵损失；
[0019]将所述子集的特征分为三元组，得到三元损失；
[0020]对所述交叉熵损失和三元损失进行加权求和，得到所述子集的损失；
[0021]根据所述子集的损失对所述双模态特征融合网络的参数进行更新，得到更新后的双模态特征融合网络；
[0022]对其余子集依次执行将所述子集输入所述双模态特征融合网络，提取所述子集的特征到根据所述子集的损失对所述双模态特征融合网络的参数进行更新，得到更新后的双模态特征融合网络的步骤，直至所述子集的损失收敛。
[0023]进一步地，所述人体图像库的特征由将所述人体图像库中的每一对人体的彩色图像及对应的其他模态图像输入所述双模态特征融合网络得到，其中所述人体图像库包括若干人体的彩色图像及对应的其他模态图像。
[0024]进一步地，将所述待识别人体的特征与人体图像库的特征进行对比，得到所述待识别人体的识别结果，包括：
[0025]计算所述待识别人体的特征和所述人体图像库的特征之间的特征距离；
[0026]将最小的所述特征距离对应的人体图像设置为所述待识别人体的识别结果。
[0027]根据本申请实施例的第二方面，提供一种基于双模态特征融合网络的人体重识别装置，包括：
[0028]获取模块，用于获取待识别人体的彩色图像及对应的其他模态图像；
[0029]特征提取模块，用于将所述人体彩色图像及对应的其他模态图像输入训练好的双模态特征融合网络，提取所述待识别人体的特征；
[0030]对比模块，用于将所述待识别人体的特征与人体图像库的特征进行对比，得到所述待识别人体的识别结果。
[0031]进一步地，所述双模态特征融合网络的训练过程包括：
[0032]获取训练集，所述训练集分成若干子集，每个子集包括多人的彩色图像及对应的其他模态图像；
[0033]将其中一个子集输入所述双模态特征融合网络，提取所述子集的特征；
[0034]根据所述子集的特征进行人物分类，得到交叉熵损失；
[0035]将所述子集的特征分为三元组，得到三元损失；
[0036]对所述交叉熵损失和三元损失进行加权求和，得到所述子集的损失；
[0037]根据所述子集的损失对所述双模态特征融合网络的参数进行更新，得到更新后的双模态特征融合网络；
[0038]对其余子集依次执行将所述子集输入所述双模态特征融合网络，提取所述子集的特征到根据所述子集的损失对所述双模态特征融合网络的参数进行更新，得到更新后的双模态特征融合网络的步骤，直至所述子集的损失收敛。
[0039]进一步地，所述对比模块包括：
[0040]计算子模块，用于计算所述待识别人体的特征和所述人体图像库的特征之间的特征距离；
[0041]设置子模块，用于将最小的所述特征距离对应的人体图像设置为所述待识别人体的识别结果。
[0042]根据本申请实施例的第三方面，提供一种电子设备，包括：
[0043]一个或多个处理器；
[0044]存储器，用于存储一个或多个程序；
[0045]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。
[0046]根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如第一方面所述方法的步骤。
[0047]本申请的实施例提供的技术方案可以包括以下有益效果：
[0048]由上述实施例可知，本申请针对人体重识别问题，将待识别人体的彩色图像及对应的其他模态图像输入训练好的双模态特征融合网络，进行特征提取，提取到的特征信息量相对于根据单一模态图像提取的特征更加丰富；将提取出的特征与人体图像库的特征进行对比，得到所述待识别人体的识别结果，所进行的人体重识别的准确度相较于根据单一模态图像进行的人体重识别也更高。
[0049]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0050]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双模态特征融合网络的人体重识别方法，其特征在于，包括：获取待识别人体的彩色图像及对应的其他模态图像；将所述彩色图像及对应的其他模态图像输入训练好的双模态特征融合网络，提取所述待识别人体的特征；将所述待识别人体的特征与人体图像库的特征进行对比，得到所述待识别人体的识别结果。2.根据权利要求1所述的方法，其特征在于，所述双模态特征融合网络包括：彩色图像特征提取主干网络，用于从所述待识别人体的彩色图像中提取第一特征；其他模态图像特征提取主干网络，用于从所述待识别人体的其他模态图像中提取第二特征；及双模态特征融合器，用于将所述第一特征和所述第二特征融合为所述待识别人体的特征。3.根据权利要求1所述的方法，其特征在于，所述双模态特征融合网络的训练过程包括：获取训练集，所述训练集分成若干子集，每个子集包括多人的彩色图像及对应的其他模态图像；将其中一个子集输入所述双模态特征融合网络，提取所述子集的特征；根据所述子集的特征进行人物分类，得到交叉熵损失；将所述子集的特征分为三元组，得到三元损失；对所述交叉熵损失和三元损失进行加权求和，得到所述子集的损失；根据所述子集的损失对所述双模态特征融合网络的参数进行更新，得到更新后的双模态特征融合网络；对其余子集依次执行将所述子集输入所述双模态特征融合网络，提取所述子集的特征到根据所述子集的损失对所述双模态特征融合网络的参数进行更新，得到更新后的双模态特征融合网络的步骤，直至所述子集的损失收敛。4.根据权利要求1所述的方法，其特征在于，所述人体图像库的特征由将所述人体图像库中的每一对人体的彩色图像及对应的其他模态图像输入所述双模态特征融合网络得到，其中所述人体图像库包括若干人体的彩色图像及对应的其他模态图像。5.根据权利要求1所述的方法，其特征在于，将所述待识别人体的特征与人体图像库的特征进行对比，得到所述待识别人体的识别结果，包括：计算所述待识别人体的特征和所述人体图像库的特征之间的特征距离；将最小的所述特征...

【专利技术属性】
技术研发人员：王文，胡顺达，朱世强，宋伟，林哲远，金天磊，
申请(专利权)人：之江实验室，
类型：发明
国别省市：