一种基于多模态的跨境追踪方法技术

本发明专利技术公开了一种基于多模态的跨境追踪方法，通过保留两种模态间的差异，再利用获取到的同一目标的两种模态query待查询目标源图片，分别在galley行人库中进行检索，再对两种模态的检索结果进行相似度加权推理度量方法得到最终的识别结果，有效解决了可见光和红外图像跨模态行人重识别效果差、准确率低、计算效率低的问题。效率低的问题。效率低的问题。

【技术实现步骤摘要】
一种基于多模态的跨境追踪方法


[0001]本专利技术涉及计算机视觉领域，特别是涉及一种基于多模态的跨境追踪方法。

技术介绍

[0002]传统的RGB
‑
RGB单模态行人重识别技术只能解决光线充足下的识别任务，而在夜间或者是光线较暗处，可见光摄像机几乎无用武之地，而犯罪分子通常在夜间活动。如今的监控摄像机大多都将红外和可见光功能配置在了一起，在光线充足时会采集清晰的RGB图像，而在光线不足时会开启红外功能，进行红外图像的采集，这为跨模态行人重识别的研究提供了有利的条件。
[0003]行人重识别是计算机视觉领域中的一项热门的研究课题，它主要解决跨摄像头、跨场景下的行人识别与检索，作为人脸识别技术的补充，对无法获取清晰人脸的行人进行跨摄像头的连续追踪，被广泛应用于安防领域和智能监控等领域。它具有类内差异大(同一人的表观特征可能会非常不同)，类间差异小(不同人的表观可能会很相似)等难点。这主要是由于摄像头拍摄角度，光照差异，行人姿态变化以及遮挡等因素造成的。夜间场景同样是监控、安防等领域的重点领域。
[0004]现有的基于可见光与红外图像的跨模态行人重识别方法大多数都致力于解决两种模态之间的差异，解决思路包括：1)使用参数共享的卷积神经网络，学习两种模态之间的共享特征；2)使用生成对抗网络，通过训练生成器和判别器去学习模态之间的关联。但是现有技术大多基于网络结构的创新，往往没有更多的考虑实际应用场景下的跨模态行人重识别的具体问题和挑战，增加了网络结构的复杂度和训练时间成本，在实际应用场景下很难取得较好的识别准确率和效果。
[0005]现需一种基于多模态的跨境追踪方法解决上述问题。

技术实现思路

[0006]本专利技术是为了解决现有技术中当前跨模态行人重识别技术目的在于消除两种模态间的差异，但是会导致网络结构复杂、计算效率低、识别效果差的问题，提供了一种基于多模态的跨境追踪方法，通过允许保留可见光和红外图像两种模态差异的条件下，解决实际应用场景中，跨模态行人重识别时准确率低、效果不好、计算效率低的问题。
[0007]本专利技术提供了一种基于多模态的跨境追踪方法，包括以下步骤：
[0008]S1、获取同意目标的可见光图像和红外图像；
[0009]S2、利用yolov5目标检测算法对不同摄像头下视频里的行人进行检测，并摘取出来生成图像集行人库；
[0010]S3、构建行人重识别模型；
[0011]S4、设定相似度阈值a；
[0012]S5、将待查询目标的可见光图像、待查询目标的红外图像与图像集行人库中特征向量进行特征提取；
[0013]S6、将待查询目标的可见光图像、待查询目标的红外图像与图像集行人库中特征向量进行相似性度量；
[0014]S7、根据可见光模态返回结果的相似度和可见光模态预设权重得到可见光模态综合相似度；根据红外模态相似度和红外预设权重得到红外模态综合相似度；
[0015]S8、将两种模态的结果取交并比IOU，并按综合相似度的降序排序；
[0016]S9、根据摄像头ID和图片名字去除相同的图片得到最终结果。
[0017]本专利技术所述的一种基于多模态的跨境追踪方法，作为优选方式，步骤S6中待查询目标的可见光图像与图像集行人库中特征向量进行相似性度量具体为：
[0018]对于待查询目标的可见光图像，使用图像集行人库作为搜索空间，将待检测目标的可见光图像的特征向量与图像集行人库中特征向量进行相似性度量，具体如下：
[0019]d
s
(q
RGB
,g
j
)＝d
(k)
(q
RGB
,g
j
)
[0020]其中，d
s
(q
RGB
,g
j
)表示目标可见光模态图像与所述图像集行人库中的K个相似性距离度量；q
RGB
表示目标query的RGB模态图像；g
j
表示行人gallery特征库；
[0021]返回大于设定阈值a的结果，具体如下：
[0022][0023]其中，ψ
RGB
(q
RGB
,k
q
,d
s
,th
RGB
)表示大于设定阈值的前top_k
q
个结果；q
RGB
表示目标RGB模态下的query待查询图片；k
q
表示结果中的前top_k
q
个结果；d
s
表示距离相似度；th
RGB
表示RGB模态下设定的阈值。
[0024]本专利技术所述的一种基于多模态的跨境追踪方法，作为优选方式，步骤S6中待查询目标的红外图像与图像集行人库中特征向量进行相似性度量具体为：
[0025]对于待查询目标的红外图像，使用图像集行人库作为搜索空间，将待检测目标的红外图像的特征向量与图像集行人库中特征向量进行相似性度量，具体如下：
[0026]d
s
(q
IR
,g
j
)＝d
(k)
(q
IR
,g
j
)，
[0027]其中，d
s
(q
IR
,g
j
)表示目标红外IR模态图像与gallery行人库中的第K个行人的距离相似度；q
IR
表示目标query的IR红外模态图像；g
j
表示行人gallery特征库；
[0028]返回大于设定阈值a的结果，具体如下：
[0029][0030]其中，ψ
IR
(q
IR
,k
q
,d
s
,th
IR
)表示大于设定阈值的前top_k
q
个结果；q
IR
表示目标IR红外模态下的query待查询图片；k
q
表示结果中的前top_k
q
个结果；d
s
表示距离相似度；th
IR
表示IR红外模态下设定的阈值。
[0031]本专利技术所述的一种基于多模态的跨境追踪方法，作为优选方式，步骤S7中可见光模态返回结果的相似度和可见光模态预设权重得到可见光模态综合相似度具体为：
[0032][0033]其中，α表示RGB模态下的预设权重；Ψ
IR
(q
IR
,k
q
,d
s
,th
IR
)表示IR红外模态下的加权后的综合相似度。
[0034]本专利技术所述的一种基于多模态的跨境追踪方法，作为优选方式，步骤S7中红外模
态相似度和红外预设权重得到红外模态综合相似度具体为：
...

【技术保护点】

【技术特征摘要】
1.一种基于多模态的跨境追踪方法，其特征在于：包括以下步骤：S1、获取同意目标的可见光图像和红外图像；S2、利用yolov5目标检测算法对不同摄像头下视频里的行人进行检测，并摘取出来生成图像集行人库；S3、构建行人重识别模型；S4、设定相似度阈值a；S5、将所述待查询目标的可见光图像、所述待查询目标的红外图像与图像集行人库中特征向量进行特征提取；S6、将所述待查询目标的可见光图像、所述待查询目标的红外图像与图像集行人库中特征向量进行相似性度量；S7、根据可见光模态返回结果的相似度和可见光模态预设权重得到可见光模态综合相似度；根据红外模态相似度和红外预设权重得到红外模态综合相似度；S8、将两种模态的结果取交并比IOU，并按综合相似度的降序排序；S9、根据摄像头ID和图片名字去除相同的图片得到最终结果。2.根据权利要求1所述的一种基于多模态的跨境追踪方法，其特征在于：所述步骤S6中所述待查询目标的可见光图像与图像集行人库中特征向量进行相似性度量具体为：对于所述待查询目标的可见光图像，使用图像集行人库作为搜索空间，将所述待检测目标的可见光图像的特征向量与所述图像集行人库中特征向量进行相似性度量，具体如下：d
s
(q
RGB
,g
j
)＝d
(k)
(q
RGB
,g
j
)其中，所述d
s
(q
RGB
,g
j
)表示目标可见光模态图像与所述图像集行人库中的K个相似性距离度量；所述q
RGB
表示目标query的RGB模态图像；所述g
j
表示行人gallery特征库；返回大于设定阈值a的结果，具体如下：其中，所述ψ
RGB
(q
RGB
,k
q
,d
s
,th
RGB
)表示大于设定阈值的前top_k
q
个结果；所述q
RGB
表示目标RGB模态下的query待查询图片；所述k
q
表示结果中的前top_k
q
个结果；所述d
s
表示距离相似度；所述th
RGB
表示RGB模态下设定的阈值。3.根据权利要求1所述的一种基于多模态的跨境追踪方法，其特征在于：所述步骤S6中所述待查询目标的红外图像与图像集行人库中特征向量进行相似性度量具体为：对于所述待查询目标的红外图像，使用所述图像集行人库作为搜索空间，将所述待检测目标的红外图像的特征向量与所述图像集行人库中特征...

【专利技术属性】
技术研发人员：毛志强，吴思霈，
申请(专利权)人：北京新橙智慧科技发展有限公司，
类型：发明
国别省市：