图像相似度的计算方法、目标对象重识别方法及系统技术方案

本发明专利技术涉及重识别技术领域，公开了一种图像相似度的计算方法、目标对象重识别方法及系统，重识别方法在重识别系统的硬件支撑下，采用本图像相似度的计算方法，在传统三元组损失函数只采用欧式距离计算样本相似度的基础上，增加余弦相似度计算，从两个维度进行衡量，同时兼顾到类内样本和类间样本之间的绝对差异和方向差异，提高了目标对象重识别结果的准确率，并能进一步压缩现有轻量级网络中间层计算量，降低全局特征维度，减少特征相似度的计算量，使其能够适应终端设备算力极限。本发明专利技术的重识别方法还能利用各环节结果数据打包转发的手段，从获取数据、目标检测、数据集处理、目标对象重识别到结果上传都无需人工干预，大幅度提高工作效率。

【技术实现步骤摘要】
图像相似度的计算方法、目标对象重识别方法及系统
本专利技术涉及重识别
，具体涉及一种图像相似度的计算方法、目标对象重识别方法及系统。
技术介绍
重识别是指利用计算机视觉技术判断跨摄像头图像或视频序列中是否存在特定目标对象的技术，例如车辆重识别技术和行人重识别技术等。车辆重识别(Re-identification，简称为ReID)是指给定一张车辆图片，匹配出该车在其他摄像头下的图像，可将车辆重识别问题看作图像检索的子问题。目前，车辆重识别任务网络模型基于公开数据集训练，测试集包括查询集和被查询集，查询集和被查询集中包含不同角度摄像头抓拍的车辆图片，例如，在红绿灯路口抓拍违章车辆时，采用一组近景摄像头和一组远景摄像头，近景摄像头用于抓拍清晰的车牌信息，进行车牌识别，远景摄像头用于抓拍整个违章现场的环境图片(包含红灯和当前车辆图像)，其中，近景摄像头下所获取的图片构成查询集，远景摄像头下所获取的图片构成被查询集，对比近景摄像头和远景摄像头下的图片，通过两组违章图片共同构成交通违章罚款依据。现有技术中的车辆重识别技术存在以下问题：1、单一功能的车辆重识别装置无法直接应用于实际场景目前，车辆重识别任务网络模型基于公开数据集训练的，测试集包含查询集和被查询集，查询集和被查询集中包含不同角度摄像头抓拍的车辆图片。重识别任务的目标是从查询集中取出查询车辆的图片，在被查询集中查询匹配该车图片，也就是进行跨摄像头图片重识别。重识别任务的识别对象是已经捕捉并切割好的车辆图片，但是在实际场景中应用，普通摄像头返回数据格式多为路面的视频或图片，并不是一张张捕捉并切割好的车辆图片，单一功能的车辆重识别装置无法自动重识别原始数据中的车辆对象，不能直接应用于实际场景。目前常见的解决方案是将现场的原始数据回传至交通控制中心，通过人工或者目标检测的方法将车辆图片切割后，再进行车辆重识别。此方案存在两点不足：首先，交通网络系统信息量庞大，直接将大容量的原始数据回传浪费网络带宽；其次，原始数据前处理和车辆重识别过程需要人工干预，效率较低。最终，直接导致当前车辆重识别装置无法直接应用于终端实际场景。2、现有方法计算量过高，终端芯片算例无法满足在运用深度学习方式实现目标重识别领域，车辆重识别公开数据集的复杂度越来越高，例如VeRi776，包含20台不同角度摄像头的拍摄图片，学者们主要将研究重心放在提升模型在公开数据集上的预测精度，模型从ResNet32逐渐提升至ResNet101，深度不断增加；在输入图片尺寸要求[384x384]的情况下，计算量高达几百MFlops甚至达到GFlops级别，所以无论模型在公开数据集上的测试结果准确率有多么高，这样的模型也只能在实验室的高性能设备上运行，过高的计算量使得网络模型难以移植到终端设备，无法在工程实践应用。3、轻量型网络准确率偏低在深度学习领域，计算量和准确率通常是两个相互矛盾的指标，使用轻量级网络，虽然可以满足终端芯片算例极限，但导致重识别结果准确率下降，应用过程中，违章车辆图片重识别可能存在错报、漏报等问题。4、训练中容易导致模型沿单一方向收敛目前车辆重识别主要采用基于度量学习的方法，通过传统的三元组损失函数计算类内样本(指相同目标对象的不同图片)和类间样本(指不同目标对象的图片)之间的差异，用以度量样本之间的相似度。但是三元组损失函数通过计算样本间的欧式距离进行度量，只考虑样本之间的绝对差异，没有考虑样本在向量空间中的方向差异，训练中容易导致模型沿单一方向收敛。
技术实现思路
针对现有技术存在的上述技术问题，本专利技术提供了一种图片相似度的计算方法，能够同时兼顾到类内样本和类间样本之间的绝对差异和方向差异，避免训练模型沿单一方向收敛。本专利技术还提供了一种目标对象重识别方法，采用上述的图片相似度的计算方法，能够提高目标对象重识别结果的准确率。本专利技术还提供了一种目标对象重识别系统，能够给上述的目标对象重识别方法提供硬件支撑。本专利技术的图片相似度的计算方法解决其技术问题所采用的技术方案是：一种图像相似度的计算方法，采用欧氏距离和余弦相似度进行计算图像相似度，计算函数为：Loss′＝∑[ratio_euc×(Neuc-Peuc)+ratio_cos×(Pcos-Ncos)]；其中，ratio_euc指欧式距离在损失函数中所占比例；ratio_cos指余弦相似度在损失函数中所占比例；Neuc指训练样本中类间图片的欧式距离；Peuc指训练样本中类内图片的欧式距离；Ncos指训练样本中类间图片的余弦相似度；Pcos指训练样本中类内图片的余弦相似度。根据本专利技术的图片相似度的计算方法，至少具有如下有益效果：本专利技术在传统三元组损失函数只采用欧式距离计算样本相似度的基础上，增加余弦相似度计算，从两个维度进行衡量，同时兼顾到类内样本和类间样本之间的绝对差异和方向差异，避免训练模型沿单一方向收敛。本专利技术的目标对象重识别方法解决其技术问题所采用的技术方案是：一种目标对象重识别方法，包括如下步骤：S1、获取监控视频：获取目标对象的数据包；S2、目标检测：对步骤S1中的数据包进行目标检测，获得目标对象的图片包，图片包包括查询集和被查询集；S3、数据集预处理：删除无效的图片包，保留有效的图片包，并对有效的图片包中的图片进行运动去模糊；S4、目标对象重识别：将图片包输入轻量级网络，采用上述的图像相似度的计算方法计算查询集与被查询集中的图片的相似度；S5、上传匹配结果。根据本专利技术的目标对象重识别方法，至少具有如下有益效果：本方法采用上述的图像相似度的计算方法来计算查询集与被查询集中的目标对象的图片的相似度，能够同时兼顾到样本之间的绝对差异和方向差异，提高目标对象重识别结果的准确率。上述的目标对象重识别方法，所述轻量级网络在MobileNet的基础上，使用GhostModule替换MobileNetV2中的普通卷积模块，保留MobileNetV2中的反残差结构，其中，GhostModule将网络特征图的通道分为第一通道和第二通道，对第一通道进行普通卷积计算，并对其结果进行深度可分离卷积计算，用于替代第二通道原有的计算结果。上述的目标对象重识别方法，在步骤S4中，图片包输入轻量级网络之后，取出查询集中的图片，计算当前图片与被查询集中所有图片的相似度，并返回被查询集中与当前查询图片相似度前H的图片，作为预测结果。上述的目标对象重识别方法，在步骤S2中，首先判断数据包中的数据为图像还是视频，若为视频，则采取均匀间隔帧数保存图片；再进行SSD目标检测，检测框提取图片中的所有目标对象，并形成目标对象的图片包。上述的目标对象重识别方法，在步骤S2中，保存图片时，图片命名由摄像头编号、时间戳和自增序列组成，同一时间点画面中不同的目标对象通过自增序列区别。上述的目标对象重识别方法，在步骤S3中，判断查询本文档来自技高网...

【技术保护点】
1.一种图像相似度的计算方法，其特征在于，采用欧氏距离和余弦相似度进行计算图像相似度，计算函数为：/nLoss′＝∑[ratio_euc×(N

【技术特征摘要】
1.一种图像相似度的计算方法，其特征在于，采用欧氏距离和余弦相似度进行计算图像相似度，计算函数为：
Loss′＝∑[ratio_euc×(Neuc-Peuc)+ratio_cos×(Pcos-Ncos)]；
其中，
ratio_euc指欧式距离在损失函数中所占比例；
ratio_cos指余弦相似度在损失函数中所占比例；
Neuc指训练样本中类间图片的欧式距离；
Peuc指训练样本中类内图片的欧式距离；
Ncos指训练样本中类间图片的余弦相似度；
Pcos指训练样本中类内图片的余弦相似度。


2.一种目标对象重识别方法，其特征在于，包括如下步骤：
S1、获取监控视频：获取目标对象的数据包；
S2、目标检测：对步骤S1中的数据包进行目标检测，获得目标对象的图片包，所述图片包包括查询集和被查询集；
S3、数据集预处理：删除无效的图片包，保留有效的图片包，并对有效的图片包中的图片进行运动去模糊；
S4、目标对象重识别：将图片包输入轻量级网络，采用如权利要求1中所述的图像相似度的计算方法计算查询集与被查询集中的图片的相似度；
S5、上传匹配结果。


3.根据权利要求2所述的目标对象重识别方法，其特征在于，所述轻量级网络在MobileNet的基础上，使用GhostModule替换MobileNetV2中的普通卷积模块，保留MobileNetV2中的反残差结构，其中，GhostModule将网络特征图的通道分为第一通道和第二通道，对第一通道进行普通卷积计算，并对其结果进行深度可分离卷积计算，用于替代第二通道原有的计算结果。


4.根据权利要求3所述的目标对象重识别方法，其特征...

【专利技术属性】
技术研发人员：徐刚，池成，沈剑豪，石林青，刘鑫，李文杰，谢智林，
申请(专利权)人：深圳技术大学，
类型：发明
国别省市：广东;44