基于多特征联合的多视角目标关联方法、系统及介质技术方案

本发明专利技术提供了一种基于多特征联合的多视角目标关联方法、系统及介质，包括：模型训练步骤：在数据集上进行目标模型的预训练，进行图像目标检测，设目标为T，根据目标T进行在线学习更新目标模型，获得训练后模型；目标检测步骤：根据获得的训练后模型，对当前帧图像fim进行目标检测，提取深度特征；目标跟踪步骤：使用TLD目标跟踪算法获得跟踪目标G跟，联合深度特征及颜色直方图匹配，获得目标T和跟踪目标G跟间的匹配度M跟；目标关联步骤：根据更新后的检测目标H检及匹配度M检，判断H检与前一帧fim‑1关联目标的距离是否在预设范围内。本发明专利技术采用了HSV空间颜色直方图特征，在视角较大时仍具有较好的稳健性。

【技术实现步骤摘要】
基于多特征联合的多视角目标关联方法、系统及介质
本专利技术涉及图像处理、目标识别领域，具体地，涉及基于多特征联合的多视角目标关联方法、系统及介质。
技术介绍
在信息化战场中，陆空联合进行态势感知和精确打击，对提升联合作战能力及打赢信息化战争具有重要意义。发现、识别目标并进行准确关联是致胜的前提。随着无人机系统、传感器技术等的快速发展，探测手段、获取方式呈现多样化，目标信息更丰富。通常地面采用高分辨率相机获取图像信息，无人机搭载视频传感器采集目标动态信息。由于目标存在多分辨率、多视角性，使得地面目标和空中目标的准确关联成为研究的难点。图像目标关联通常采用匹配的方式，利用DoG、Harris、SIFT、ASIFT等检测子提取特征，采用SIFT描述子对特征进行描述，实现目标匹配。但该方法在视角变化较大的情况下，特征描述不稳健，误匹配度较高。同时由于获取的关键点数目较多、处理速度较慢，不能满足实时性要求。专利文献CN106527496A(申请号：201710023941.0)公开了一种面向无人机航拍图像序列的空中目标快速跟踪方法，其步骤是：假设当前时钟为T，那么t时刻的观测集可以表示为Z(t)，i∈{1，2，…T}，t时刻的观测数则表示为Mk＝|Z(t)|，数据关联过程可以描述为寻找集合Z到轨道集Tr的分割方案；从无人机航拍图像序列中获得轨道集，选中某个特定时间，将轨道集分解成轨道；在帧A中选择目标，使用基于滑动时间窗的MHT算法聚类轮廓，构造目标对象。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种基于多特征联合的多视角目标关联方法、系统及介质。根据本专利技术提供的一种基于多特征联合的多视角目标关联方法，包括：模型训练步骤：在数据集上进行目标模型的预训练，进行图像目标检测，设目标为T，根据目标T进行在线学习更新目标模型，获得训练后模型；目标检测步骤：根据获得的训练后模型，对当前帧图像fim进行目标检测，提取深度特征，根据深度特征进行分类，获得候选目标群{Hi}，i＝1，2，3，…，下标i表示序号，对目标T和候选目标群{Hi}，进行HSV空间的颜色直方图提取，联合深度特征及颜色直方图匹配，获得{Hi}中与目标T的匹配度最大的目标H检及其匹配度M检；第一关联判断步骤：对当前帧图像fim，判定前一帧图像fim-1是否关联到目标T，若不是，进入第二关联判断步骤继续执行；若是，则进入目标跟踪步骤继续执行；第二关联判断步骤：给定关联阈值δ，判断是否M检≥δ，若是，则判定目标T和H检关联，并用H检对TLD目标跟踪算法进行初始化，进入流程终止判断步骤继续执行；否则，则判定目标T在当前帧fim内没有关联目标，进入流程终止判断步骤继续执行；目标跟踪步骤：使用TLD目标跟踪算法获得跟踪目标G跟，联合深度特征及颜色直方图匹配，获得目标T和跟踪目标G跟间的匹配度M跟，更新获得的检测目标H检及匹配度M检，进入目标位置关联步骤继续执行；目标位置关联步骤：根据更新后的检测目标H检及匹配度M检，判断H检与前一帧fim-1关联目标的距离是否在预设范围内：若是，则判定当前帧关联到有效目标，进入第二关联判断步骤继续执行；若不是，则判定当前帧未关联到有效目标，进入流程终止判断步骤继续执行；流程终止判断步骤：判断当前帧图像fim是否为最后一帧图像，若是，结束流程；否则，则读取下一帧图像，返回目标检测步骤继续执行。优选地，所述目标检测步骤包括：候选目标群获取步骤：根据获得的训练后模型，对当前帧fim进行目标检测，提取相应的深度特征，根据深度特征进行分类得到候选目标群{Hi}；RGB转HSV步骤：将目标T的RGB颜色空间的颜色信息[R，G，B]转换为HSV颜色空间的颜色信息[H，S，V]；颜色直方图分布转化步骤：根据获得的[H，S，V]信息，按照3个通道转化成颜色直方图分布{ZH，ZS，ZV}；匹配度计算步骤：设目标T的HSV空间颜色直方图分布为候选目标Hi的HSV空间颜色直方图分布为比较T和Hi的直方图差异，获得匹配度Mi；最大匹配度目标获取步骤：对于候选目标群{Hi}中每一个候选目标Hi，根据获得的其与目标T的匹配度Mi，则M检＝max(Mi)，H检＝argmax(Mi)。优选地，所述RGB转HSV步骤：转换方法如下：Cmax＝max(R，G，B)Cmin＝min(R，G，B)Δ＝Cmax-Cmin若H＜0，则令H增加360°V＝CmaxR，G，B∈[0，1]其中，Cmax表示[R，G，B]三色通道中最大值；Cmin表示[R，G，B]三色通道中最小值；R表示红色(Red)通道；G表示绿色(Green)通道；B表示蓝色(Blue)通道；H表示色调(Hue)；S表示饱和度(Saturation)；V表示明度(Value)；所述颜色直方图分布转化步骤：将[H，S，V]空间每个通道等分为8个颜色区间，计算获得H、S、V空间的颜色直方图分布ZH、ZS、ZV，{ZH，ZS，ZV}表示[H，S，V]空间的颜色直方图分布，计算方法如下：设H空间像素点总数为NH，依次统计落在第i个区间内像素点个数NHi，i＝1，2，3，...，8，令则为H空间颜色直方图分布；设S空间像素点总数为NS，依次统计落在第i个区间内像素点个数NSi，i＝1，2，3，...，8，令则为S空间颜色直方图分布；设V空间像素点总数为NV，依次统计落在第i个区间内像素点个数NVi，i＝1，2，3，...，8，令则为V空间颜色直方图分布；所述匹配度计算步骤：计算公式如下：其中，dH(Z1|Z2)、dS(Z1|Z2)、dV(Z1|Z2)分别表示Z1和Z2在H，S，V空间颜色直方图分布的巴氏距离；Mi表示匹配度，Z1、Z2越相似，匹配度越高，则M越接近于1；分别表示Z1目标在H，S，V空间颜色直方图分布的均值；分别表示Z2目标在H，S，V空间颜色直方图分布的均值；分别表示Z1目标在H，S，V空间中第i个颜色区间的颜色直方图值；分别表示Z2目标在H，S，V空间中第i个颜色区间的颜色直方图值；N表示直方图总块数。优选地，所述目标位置关联步骤：设H检的中心位置坐标为{xi，yi}，前一帧fim-1关联目标中心位置坐标为{xi-1，yi-1}，判断D是否小于预设阈值：若是，则判定当前帧关联到有效目标，进入第二关联判断步骤继续执行；若不是，则判定当前帧未关联到有效目标，进入流程终止判断步骤继续执行。根据本专利技术提供的一种基于多特征联合的多视角目标关联系统，包括：模型训练模块：在数据集上进行目标模型的预训练，进行图像目标检测，设目标为T，根据目标T进行在线学习更新目标模型，获得训练后模型；目标检测模块：根据获得的训练后模型，对当前帧图像fim进行目标检测，提取深度特征，根据深度特征进行分类，获得候选目标群{Hi}，i＝1，2，3，…，下标i表示序号，对目标T和候选目标群{Hi}进行HSV空间的颜色直方图提取，联合深度特征及颜色直方图匹配，获得{Hi}中与目标T的匹配度最大的目标H检及其匹配度M检；第一关联判断模块：对当前帧图像fim，判定前一帧图像fim-1是否关联到目标T，若不是，则调用第二关联判断模块；若是，则调用目标跟踪模块；第二关联判断模块：给定关联阈值δ，判断是否M检≥δ，若是，则判定目标T和H检本文档来自技高网...

【技术保护点】
1.一种基于多特征联合的多视角目标关联方法，其特征在于，包括：模型训练步骤：在数据集上进行目标模型的预训练，进行图像目标检测，设目标为T，根据目标T进行在线学习更新目标模型，获得训练后模型；目标检测步骤：根据获得的训练后模型，对当前帧图像fim进行目标检测，提取深度特征，根据深度特征进行分类，获得候选目标群{Hi}，i＝1,2,3,…，下标i表示序号，对目标T和候选目标群{Hi}，进行HSV空间的颜色直方图提取，联合深度特征及颜色直方图匹配，获得{Hi}中与目标T的匹配度最大的目标H检及其匹配度M检；第一关联判断步骤：对当前帧图像fim，判定前一帧图像fim‑1是否关联到目标T，若不是，进入第二关联判断步骤继续执行；若是，则进入目标跟踪步骤继续执行；第二关联判断步骤：给定关联阈值δ，判断是否M检≥δ，若是，则判定目标T和H检关联，并用H检对TLD目标跟踪算法进行初始化，进入流程终止判断步骤继续执行；否则，则判定目标T在当前帧fim内没有关联目标，进入流程终止判断步骤继续执行；目标跟踪步骤：使用TLD目标跟踪算法获得跟踪目标G跟，联合深度特征及颜色直方图匹配，获得目标T和跟踪目标G跟间的匹配度M跟，更新获得的检测目标H检及匹配度M检，进入目标位置关联步骤继续执行；目标位置关联步骤：根据更新后的检测目标H检及匹配度M检，判断H检与前一帧fim‑1关联目标的距离是否在预设范围内：若是，则判定当前帧关联到有效目标，进入第二关联判断步骤继续执行；若不是，则判定当前帧未关联到有效目标，进入流程终止判断步骤继续执行；流程终止判断步骤：判断当前帧图像fim是否为最后一帧图像，若是，结束流程；否则，则读取下一帧图像，返回目标检测步骤继续执行。...

【技术特征摘要】
1.一种基于多特征联合的多视角目标关联方法，其特征在于，包括：模型训练步骤：在数据集上进行目标模型的预训练，进行图像目标检测，设目标为T，根据目标T进行在线学习更新目标模型，获得训练后模型；目标检测步骤：根据获得的训练后模型，对当前帧图像fim进行目标检测，提取深度特征，根据深度特征进行分类，获得候选目标群{Hi}，i＝1,2,3,…，下标i表示序号，对目标T和候选目标群{Hi}，进行HSV空间的颜色直方图提取，联合深度特征及颜色直方图匹配，获得{Hi}中与目标T的匹配度最大的目标H检及其匹配度M检；第一关联判断步骤：对当前帧图像fim，判定前一帧图像fim-1是否关联到目标T，若不是，进入第二关联判断步骤继续执行；若是，则进入目标跟踪步骤继续执行；第二关联判断步骤：给定关联阈值δ，判断是否M检≥δ，若是，则判定目标T和H检关联，并用H检对TLD目标跟踪算法进行初始化，进入流程终止判断步骤继续执行；否则，则判定目标T在当前帧fim内没有关联目标，进入流程终止判断步骤继续执行；目标跟踪步骤：使用TLD目标跟踪算法获得跟踪目标G跟，联合深度特征及颜色直方图匹配，获得目标T和跟踪目标G跟间的匹配度M跟，更新获得的检测目标H检及匹配度M检，进入目标位置关联步骤继续执行；目标位置关联步骤：根据更新后的检测目标H检及匹配度M检，判断H检与前一帧fim-1关联目标的距离是否在预设范围内：若是，则判定当前帧关联到有效目标，进入第二关联判断步骤继续执行；若不是，则判定当前帧未关联到有效目标，进入流程终止判断步骤继续执行；流程终止判断步骤：判断当前帧图像fim是否为最后一帧图像，若是，结束流程；否则，则读取下一帧图像，返回目标检测步骤继续执行。2.根据权利要求1所述的基于多特征联合的多视角目标关联方法，其特征在于，所述目标检测步骤包括：候选目标群获取步骤：根据获得的训练后模型，对当前帧fim进行目标检测，提取相应的深度特征，根据深度特征进行分类得到候选目标群{Hi}；RGB转HSV步骤：将目标T的RGB颜色空间的颜色信息[R,G,B]转换为HSV颜色空间的颜色信息[H,S,V]；颜色直方图分布转化步骤：根据获得的[H,S,V]信息，按照3个通道转化成颜色直方图分布{ZH,ZS,ZV}；匹配度计算步骤：设目标T的HSV空间颜色直方图分布为候选目标Hi的HSV空间颜色直方图分布为比较T和Hi的直方图差异，获得匹配度Mi；最大匹配度目标获取步骤：对于候选目标群{Hi}中每一个候选目标Hi，根据获得的其与目标T的匹配度Mi，则M检＝max(Mi)，H检＝argmax(Mi)。3.根据权利要求2所述的基于多特征联合的多视角目标关联方法，其特征在于，所述RGB转HSV步骤：转换方法如下：Cmax＝max(R,G,B)Cmin＝min(R,G,B)Δ＝Cmax-Cmin若H<0，则令H增加360°V＝CmaxR,G,B∈[0,1]其中，Cmax表示[R,G,B]三色通道中最大值；Cmin表示[R,G,B]三色通道中最小值；R表示红色(Red)通道；G表示绿色(Green)通道；B表示蓝色(Blue)通道；H表示色调(Hue)；S表示饱和度(Saturation)；V表示明度(Value)；所述颜色直方图分布转化步骤：将[H,S,V]空间每个通道等分为8个颜色区间，计算获得H、S、V空间的颜色直方图分布ZH、ZS、ZV，{ZH,ZS,ZV}表示[H,S,V]空间的颜色直方图分布，计算方法如下：设H空间像素点总数为NH,依次统计落在第i个区间内像素点个数NHi，i＝1,2,3,…,8，令则为H空间颜色直方图分布；设S空间像素点总数为NS,依次统计落在第i个区间内像素点个数NSi，i＝1,2,3,…,8，令则为S空间颜色直方图分布；设V空间像素点总数为NV,依次统计落在第i个区间内像素点个数NVi，i＝1,2,3,…,8，令则为V空间颜色直方图分布；所述匹配度计算步骤：计算公式如下：其中，dH(Z1|Z2)、dS(Z1|Z2)、dV(Z1|Z2)分别表示Z1和Z2在H,S,V空间颜色直方图分布的巴氏距离；Mi表示匹配度，Z1、Z2越相似，匹配度越高，则M越接近于1；分别表示Z1目标在H,S,V空间颜色直方图分布的均值；分别表示Z2目标在H,S,V空间颜色直方图分布的均值；分别表示Z1目标在H,S,V空间中第i个颜色区间的颜色直方图值；分别表示Z2目标在H,S,V空间中第i个颜色区间的颜色直方图值；N表示直方图总块数。4.根据权利要求3所述的基于多特征联合的多视角目标关联方法，其特征在于，所述目标位置关联步骤：设H检的中心位置坐标为{xi,yi}，前一帧fim-1关联目标中心位置坐标为{xi-1,yi-1}，判断D是否小于预设阈值：若是，则判定当前帧关联到有效目标，进入第二关联判断步骤继续执行；若不是，则判定当前帧未关联到有效目标，进入流程终止判断步骤继续执行。5.一种基于多特征联合的多视角目标关联系统，其特征在于，包括：模型训练模块：...

【专利技术属性】
技术研发人员：庹红娅，钟昊文，敬忠良，潘汉，王超，任炫光，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31