一种基于三维标定的运动目标跨镜头跟踪方法技术

本发明专利技术涉及一种基于三维标定的运动目标跨镜头跟踪方法，将各相机在三维场景模型上的图像覆盖区域投影到地面上，生成二维的相机分布图，人工选定跟踪目标，在相关相机图像中进行目标识别，以识别出跟踪目标的相机为当前相机进行目标跟踪，将跟踪获得的运动目标位置映射到相机分布图中，在相机分布图中进行运动目标预测，在预测到运动目标可能进入其他相机的图像覆盖区域时，以运动目标可能进入的区域为目标检测区域，将目标检测区域映射到接力相机的图像中，在目标检测区域内进行运动目标检测，以检测到运动目标的接力相机为当前相机继续进行目标跟踪。本发明专利技术能够减少数据处理量，提高运动目标跨镜头跟踪的ReID检测效率和准确率。确率。确率。

【技术实现步骤摘要】
一种基于三维标定的运动目标跨镜头跟踪方法


[0001]本专利技术涉及一种基于三维标定的运动目标跨镜头跟踪方法。

技术介绍

[0002]三维标定是将二维图像中的基本信息(点、线、面的二维坐标及像素等)与三维空间信息(点、线、面的三维坐标及纹理等)匹配融合。
[0003]运动目标跨境头跟踪(TargetRe
‑
identification，也称运动目标再识别，简称为ReID)是过计算机视觉技术检索不同摄像头下的同一个运动目标。传统人工录像查询不同相机的同一个运动目标，效率低下。随着深度学习快速发展，基于深度学习的ReID逐渐替代其他方式成为研究方向，通过选择特定运动目标的图像特征进行运动目标的识别和匹配，确认不同图像中的同一运动目标，进而实现跨镜头跟踪，例如人脸识别或车牌识别等。
[0004]基于人脸识别或车牌识别的运动目标ReID虽然准确率高，但对相机安装要求高，人脸或车牌相机覆盖范围小，需要大量安装识别相机才能覆盖一定区域，成本高昂，而且难以利用已有相机实现ReID，故难以广泛应用。
[0005]另外，基于深度学习的ReID需要同时检索多个镜头/图像中的所有运动目标，耗费较高计算资源，需要高性能显卡服务器，硬件成本高，而且当相机安装较高时，运动目标特征不明显或相似运动目标太多时，存在较多误检、漏检。

技术实现思路

[0006]为克服现有技术的上述缺陷，本专利技术提供了针对当前ReID存在同时检索多个镜头耗费较高计算资源以及相机安装位置较高时导致误检漏检问题，提出一种基于三维标定的运动目标跨镜头跟踪方法。。
[0007]本专利技术的技术方案是：一种基于三维标定的运动目标跨镜头跟踪方法，设置包含相机场景(监视区域)的三维场景模型，依据各相机的像素坐标系与三维世界坐标系之间的映射关系，将各相机在三维场景模型上的图像覆盖区域(相机图像所包含的区域)投影到地面(XY平面，或者说二维世界坐标系)上，由此形成能够以二维世界坐标系描述的相机分布图，人工选定跟踪目标(所要跟踪的运动目标)，在相关相机图像中进行目标识别，以识别出跟踪目标的相机为当前相机进行目标跟踪，将跟踪获得的运动目标位置映射到相机分布图中，在相机分布图中进行运动目标预测，在预测到运动目标可能进入(例如，预测位置临近或已经位于)其他相机的图像覆盖区域时，以运动目标可能进入(在下一帧上可能存在)的区域为目标检测区域(例如，以目标检测框方式限定的区域)，以运动目标可能进入其图像覆盖区域的其他相机(当前相机之外的相机)为接力相机，将目标检测区域映射到接力相机的图像中，在目标检测区域(映射到图像中的目标检测区域)内进行运动目标检测，直至接力相机检测到运动目标或当前相机跟踪到的运动目标不临近其他相机的图像覆盖区域，以检测到运动目标的接力相机为当前相机(当任一接力相机检测到运动目标时)，继续进行目标跟踪，当多个相机的实际图像在三维场景模型上或三维场景模型的地面投影上存在重叠
的覆盖区域时，通过相机掩码图屏蔽相关相机的部分实际图像，以经掩码图处理后的图像(屏蔽部分实际图像后的图像)为相机图像，使各相机图像在相机分布图中的覆盖区域相互连接且不重叠。
[0008]当产生新的当前相机之前，原有当前相机在接力相机进行目标识别的过程中，依然应继续进行目标跟踪，且将跟踪获得的目标位置不断映射到相机分布图中，且应依据目标位置的更新，不断更新接力相机及目标检测框，进行相应的目标识别。在产生新的当前相机后，原当前相机不再是当前相机，不再进行目标跟踪，但通常会出现新的当前相机跟踪获得的目标位置在相机分布图上的映射临近原当前相机的图像覆盖区域的情形，在此情形下，原当前相机会成为接力相机，应在相应的目标检测区域内进行目标识别。
[0009]当相机分布图中的目标位置同时临近多个相机的图像覆盖区域时，这些相机均为接力相机。
[0010]进一步地，可以将部分或全部相机图像(相机拍摄的图像，或者说视频帧)映射(渲染，例如，纹理映射)于三维场景模型，形成三维融合图像，将三维融合图像投影到地面上，形成二维融合图像；或者，将三维场景模型投影到地面上，形成二维场景模型，将相机图像映射于二维场景模型，形成二维融合图像。
[0011]可以在下列图像中进行跟踪目标的人工选定：
[0012]1)在含有运动目标的相机图像中人工选定；
[0013]2)在三维融合图像(或称三维融合画面)中人工选定，并映射到含有运动目标的相机图像中；
[0014]3)在二维融合图像中人工选定，并映射到含有运动目标的相机图像中。
[0015]人工选定跟踪目标的方式可以为用鼠标点击运动目标或框选出(框出)运动目标，或者其他任意适宜方式。
[0016]优选地，在二维世界坐标系下为相机分布图赋值，赋值方式为下列任一种：
[0017]1)以灰度图方式赋值，对任一相机的图像覆盖区域中的任一像素(或称像素点)/任一点，以该相机ID(例如，相机编号)为其灰度值；
[0018]2)以RGBA彩色图方式赋值，对任一相机的图像覆盖区域中的任一像素/任一点，以R和G通道存储该相机ID，B和A通道分别存储该相机图像中对应的(映射的)图像坐标。
[0019]对于相机分布图中的任一像素/任一位置(以XY坐标表示的位置，例如，目标位置，或目标预测位置)，可以依据像素值(灰度值或相应的彩色值/RGBA值)获得相应的相机ID。对于以RGBA彩色图方式赋值的相机分布图，还可以获得映射到相应相机图像的图像坐标；对于以灰度图方式赋值的相机分布图，可以依据二维世界坐标与相应的相机图像坐标之间的映射关系，获得映射在相机图像上的图像坐标。
[0020]优选地，依据下列方式确认接力相机及启动接力相机的目标识别：在相机分布图中，基于运动目标的当前位置或预测位置设置目标检测框(也就是，目标检测区域)，在目标检测框进入其他相机(当前相机之外的相机)的图像覆盖区域的情形下，以相关的其他相机为接力相机，将相机布局图中的目标检测框映射到接力相机图像中，在接力相机图像中的目标检测框(依据目标检测框进入相应接力相机的图像覆盖区域的程度，可以为完整的目标检测框或者为目标检测框中的一部分)范围内进行目标识别。
[0021]目标检测框的大小可以依据运动目标及其运动状况设定，可以采用现有跟踪/检
测技术确定或采用其他适宜方式。例如，可以为以运动目标的当前位置为中心、半边长(边长的一半)为当前运动速度乘以帧周期的积的两倍的正方形；或者，为以运动目标的预测位置为中心、边长为运动目标的当前目标框对应边长的两倍或三倍的矩形框。
[0022]进一步地，在映射到接力相机图像中的目标检测框出现变形(不为矩形或正方形)的情形下(可以依据各顶点坐标判断)，以包围目标检测框在接力相机图像中的映射区域的最小矩形为接力相机图像中用于目标识别的检测区域，或者说，为接力相机图像中的目标检测框。
[0023]本专利技术的工作原理和有益效果是：利用三维位置空间关系生成固定区域内的相机分布图，相机分布本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三维标定的运动目标跨镜头跟踪方法，设置包含相机场景的三维场景模型，依据各相机的像素坐标系与三维世界坐标系之间的映射关系，将各相机在三维场景模型上的图像覆盖区域投影到地面上，由此形成能够以二维世界坐标系描述的相机分布图，人工选定跟踪目标，在相关相机图像中进行目标识别，以识别出跟踪目标的相机为当前相机进行目标跟踪，将跟踪获得的运动目标位置映射到相机分布图中，在相机分布图中进行运动目标预测，在预测到运动目标可能进入其他相机的图像覆盖区域时，以运动目标可能进入的区域为目标检测区域，以运动目标可能进入其图像覆盖区域的其他相机为接力相机，将目标检测区域映射到接力相机的图像中，在目标检测区域内进行运动目标检测，直至接力相机检测到运动目标或当前相机跟踪到的运动目标不临近其他相机的图像覆盖区域，以检测到运动目标的接力相机为当前相机，继续进行目标跟踪，当多个相机的实际图像在三维场景模型上或三维场景模型的地面投影上存在重叠的覆盖区域时，通过相机掩码图屏蔽相关相机的部分实际图像，以经掩码图处理后的图像为相机图像，使各相机图像在相机分布图中的覆盖区域相互连接且不重叠。2.如权利要求1所述的基于三维标定的运动目标跨镜头跟踪方法，其特征在于将部分或全部相机图像映射于三维场景模型，形成三维融合图像，将三维融合图像投影到地面上，形成二维融合图像；或者，将三维场景模型投影到地面上，形成二维场景模型，将相机图像映射于二维场景模型，形成二维融合图像。3.如权利要求1所述的基于三维标定的运动目标跨镜头跟踪方法，其特征在...

【专利技术属性】
技术研发人员：董华宇，林姝含，
申请(专利权)人：北京天睿空间科技股份有限公司，
类型：发明
国别省市：