地理场景中视频动态对象轨迹时空检索方法及系统技术方案

一种地理场景中视频动态对象轨迹时空检索方法及系统，对视频图像中动态对象的检测、位置标记及子图提取并跟踪，获取动态对象轨迹信息；进行动态对象的连续单帧瞬时定位，将动态对象的所有瞬时空间位置的时序组合得到局部轨迹；对同一运动对象进行多相机连续定位，实现全局轨迹的获取；构建检索条件，给出轨迹样本与检索条件匹配的模型；分析检索条件与相机视域的空间关系，选出与检索条件匹配的相机，实现检索条件与每个相机中的视频轨迹匹配查询；基于全局轨迹检索，通过分析已构建的视频对象全局轨迹，将检索条件与全局轨迹进行匹配查询。本发明专利技术实现对跨相机运动目标全场景时空一体化检索，为视频GIS时空数据分析与可视化提供支持。

【技术实现步骤摘要】
地理场景中视频动态对象轨迹时空检索方法及系统
本专利技术涉及视频与地理场景数据组织、地理场景中视频检索与视频动态对象检索等
，具体涉及一种地理场景中视频动态对象轨迹时空检索方法及系统。
技术介绍
监控视频能够记录地理场景中动态对象(行人、车辆等)的时序运动行为，刻画其运动轨迹。轨迹是动态对象活动路线的抽象概括，具有位置、方向等丰富的时空信息，通过轨迹检索可提升视频对象查询分析效率。由于不同监控相机视域存在空间隔断，导致出现在不同镜头中的动态对象轨迹时空不连续，检索困难。另一方面，视频GIS通过视频与地理信息融合，已经实现多相机视频图像的空间检索查询。在此基础上，如何基于统一的地理时空描述，发展视频目标轨迹层面的空间化检索方法，从轨迹数据中挖掘出对应不同潜在应用价值的内容，已经成为时空数据管理分析领域的一个重要研究课题。与返回特定图像集合的视频图像检索不同，视频轨迹检索返回特定动态对象轨迹集合。当前的轨迹检索研究多聚焦于对图像内容本身的检索分析，忽视了相机时域之间的空间拓扑关系，无法对跨相机运动目标进行全场景时空一体化检索。因此，急需发展能够将视频轨迹与地理场景进行一体化描述与关联分析的检索方法，将多相机视频目轨迹作为独立地理对象进行检索，获得感兴趣相机、视频与轨迹集合。基于上述分析，亟需发展一种地理场景中视频动态对象轨迹时空检索的技术方案。
技术实现思路
为此，本专利技术提供一种地理场景中视频动态对象轨迹时空检索方法及系统，以解决由于不同监控相机视域存在空间隔断，导致出现在不同镜头中的动态对象轨迹时空不连续，检索困难，以及现有的轨迹检索研究多聚焦于对图像内容本身的检索分析，忽视了相机时域之间的空间拓扑关系，无法对跨相机运动目标进行全场景时空一体化检索的问题。为了实现上述目的，本专利技术提供如下技术方案：第一方面，提供一种地理场景中视频动态对象轨迹时空检索方法，包括以下步骤：对视频图像中动态对象的检测、位置标记及子图提取，基于跟踪算法对所述动态对象进行跟踪，并获取动态对象的轨迹信息；基于相机标定的结果，构建图像-地理空间映射模型，进行所述动态对象的连续单帧瞬时定位，通过在每个相机的视域中，将动态对象的所有瞬时空间位置的时序组合得到局部轨迹；基于动态对象重识别算法进行跨相机重识别，对同一运动对象进行多相机的连续定位，实现全局轨迹的获取；基于空间约束与时间约束，构建检索条件，并给出轨迹样本与所述检索条件匹配的模型；基于逐相机检索，通过分析检索条件与相机视域的空间关系，选出与检索条件匹配的相机，实现检索条件与每个相机中的视频轨迹匹配查询；基于全局轨迹检索，通过分析已构建的视频对象全局轨迹，将所述检索条件与全局轨迹进行匹配查询。作为地理场景中视频动态对象轨迹时空检索方法的优选方案，对视频图像中动态对象的检测采用的算法为Mask-RCNN，对视频图像中动态对象的跟踪采用的算法为CSRT。作为地理场景中视频动态对象轨迹时空检索方法的优选方案，所述局部轨迹为所有的单帧瞬时空间位置的排列组合。作为地理场景中视频动态对象轨迹时空检索方法的优选方案，所述跨相机重识别，及对同一运动对象进行多相机连续定位，包括以下步骤：1)记Obj为地理场景中所有动态对象的总集合，在第k个相机视域中共有Nk个动态对象，每个动态对象在该相机拍摄范围内的局部轨迹为Ck,i，则Ck,i的表达式如下：Obj＝{Ck,i,(k＝1,2…L)(i＝1,2,…,Nk)}Ck,i＝{Pk,i,j,(j＝1,2,…,n)}Pk,i,j表示第k个相机中第i个动态对象，在其出现的第j个视频帧中所在的地理空间位置；2)当同一动态对象出现于不同的相机视域中，为表现动态对象跨相机关联情况，记Lo表示地理场景中动态对象的实际总数，每个动态对象在地理场景中的全局轨迹为Cubei。Cubei表达式如下：Cubei＝{Ck1,i,Ck2,i…Cko,i…,(k1,k2,…ko)∈(1,2…L)}Obj＝{Cubei(i＝1,2,…,Lo)}(Lo≤L)其中,Obj仍为地理场景中所有动态对象的总集合，Cubei表示第i个动态对象在地理场景中的全局轨迹，由该动态对象在相机中的k1,k2,…ko局部轨迹为Ck1,i,Ck2,i…Cko,i。作为地理场景中视频动态对象轨迹时空检索方法的优选方案，所述空间约束的轨迹检索模式包括线检索、面检索、运动方向检索和相机路径检索；所述时间约束包括描述动态对象出现时间和描述动态对象在地理场景中运动快慢的两种类型。作为地理场景中视频动态对象轨迹时空检索方法的优选方案，所述逐相机检索在线检索模式下的步骤包括：a1)分析检索线段与每个相机视域的空间关系：当检索线段与一个或者多个相机视域相交时，将对应的相机选出，并依照检索线段与相机视域的交点对检索线段进行分段，获得对应于每个相机的子检索线段；a2)对于每个符合条件的相机，设置线检索约束参数：角度参数Angle、比值参数Rate、距离参数Dis，将每个相机对应的子检索线段与该相机内局部轨迹比对，判断该相机视域内的每个局部轨迹与对应的子检索线段是否相似。作为地理场景中视频动态对象轨迹时空检索方法的优选方案，所述逐相机检索在面检索模式下的步骤包括：b1)分析检索面与每个相机视域的空间关系：若检索面与一个或多个相机视域交集不为空，将对应的相机选出；b2)对于每个符合条件的相机，判断该相机中每个动态对象轨迹与检索面是否匹配。作为地理场景中视频动态对象轨迹时空检索方法的优选方案，所述逐相机检索在运动方向检索约束条件下的步骤包括：c1)对于每个相机中的局部轨迹进行运动方向分析：获取动态对象在该相机视域内的入口点与出口点；c2)设置方向参数r0，获取动态对象的运动方向Dir，分析运动方向Dir与检索条件是否匹配。作为地理场景中视频动态对象轨迹时空检索方法的优选方案，所述逐相机检索在相机路径检索模式下的步骤包括：d1)对相机路径向量Oi进行分解，得到通过的相机集合Ci(i＝1,2…)；d2)分别返回每个相机中的所有动态对象。作为地理场景中视频动态对象轨迹时空检索方法的优选方案，在空间检索的基础上，继续筛选符合时间约束的对象，实现视频对象轨迹逐相机时空检索；对于时间段落检索，设检索时间段落为ΔT，若当前视频动态对象出现时间段落与ΔT交集不为空，则满足时间约束条件；对于平均速度检索，通过计算动态对象在其所属相机视域内的地理空间平均速度，与检索条件比对，判断是否满足时间约束条件。作为地理场景中视频动态对象轨迹时空检索方法的优选方案，所述逐相机检索，对于不同的时空约束条件，全局轨迹检索步骤包括：e)对于线检索，直接设置检索约束参数：角度参数Angle、比值参数Rate、距离参数Dis，对每个动态对象全局轨迹与检索线段进行匹配，忽略相机间的盲区；f)对于面检索，本文档来自技高网...

【技术保护点】
1.一种地理场景中视频动态对象轨迹时空检索方法，其特征在于，包括以下步骤：/n对视频图像中动态对象的检测、位置标记及子图提取，基于跟踪算法对所述动态对象进行跟踪，并获取动态对象的轨迹信息；/n基于相机标定的结果，构建图像-地理空间映射模型，进行所述动态对象的连续单帧瞬时定位，通过在每个相机的视域中，将动态对象的所有瞬时空间位置的时序组合得到局部轨迹；/n基于动态对象重识别算法进行跨相机重识别，对同一运动对象进行多相机的连续定位，实现全局轨迹的获取；/n基于空间约束与时间约束，构建检索条件，并给出轨迹样本与所述检索条件匹配的模型；/n基于逐相机检索，通过分析检索条件与相机视域的空间关系，选出与检索条件匹配的相机，实现检索条件与每个相机中的视频轨迹匹配查询；/n基于全局轨迹检索，通过分析已构建的视频对象全局轨迹，将所述检索条件与全局轨迹进行匹配查询。/n

【技术特征摘要】
1.一种地理场景中视频动态对象轨迹时空检索方法，其特征在于，包括以下步骤：
对视频图像中动态对象的检测、位置标记及子图提取，基于跟踪算法对所述动态对象进行跟踪，并获取动态对象的轨迹信息；
基于相机标定的结果，构建图像-地理空间映射模型，进行所述动态对象的连续单帧瞬时定位，通过在每个相机的视域中，将动态对象的所有瞬时空间位置的时序组合得到局部轨迹；
基于动态对象重识别算法进行跨相机重识别，对同一运动对象进行多相机的连续定位，实现全局轨迹的获取；
基于空间约束与时间约束，构建检索条件，并给出轨迹样本与所述检索条件匹配的模型；
基于逐相机检索，通过分析检索条件与相机视域的空间关系，选出与检索条件匹配的相机，实现检索条件与每个相机中的视频轨迹匹配查询；
基于全局轨迹检索，通过分析已构建的视频对象全局轨迹，将所述检索条件与全局轨迹进行匹配查询。


2.根据权利要求1所述的一种地理场景中视频动态对象轨迹时空检索方法，其特征在于，对视频图像中动态对象的检测采用的算法为Mask-RCNN，对视频图像中动态对象的跟踪采用的算法为CSRT。


3.根据权利要求2所述的一种地理场景中视频动态对象轨迹时空检索方法，其特征在于，所述局部轨迹为所有的单帧瞬时空间位置的排列组合。


4.根据权利要求3所述的一种地理场景中视频动态对象轨迹时空检索方法，其特征在于，所述跨相机重识别，及对同一运动对象进行多相机连续定位，包括以下步骤：
1)记Obj为地理场景中所有动态对象的总集合，在第k个相机视域中共有Nk个动态对象，每个动态对象在该相机拍摄范围内的局部轨迹为Ck,i，则Ck,i的表达式如下：
Obj＝{Ck,i,(k＝1,2…L)(i＝1,2,…,Nk)}
Ck,i＝{Pk,i,j,(j＝1,2,…,n)}
Pk,i,j表示第k个相机中第i个动态对象，在其出现的第j个视频帧中所在的地理空间位置；
2)当同一动态对象出现于不同的相机视域中，为表现动态对象跨相机关联情况，记Lo表示地理场景中动态对象的实际总数，每个动态对象在地理场景中的全局轨迹为Cubei，Cubei表达式如下：
Cubei＝{Ck1,i,Ck2,i…Cko,i…,(k1,k2,…ko)∈(1,2…L)}
Obj＝*Cubei(i＝1,2,…,Lo)+(Lo≤L)
其中,Obj仍为地理场景中所有动态对象的总集合，Cubei表示第i个动态对象在地理场景中的全局轨迹，由该动态对象在相机中的k1,k2,…ko局部轨迹为Ck1,i,Ck2,i…Cko,i。


5.根据权利要求4所述的一种地理场景中视频动态对象轨迹时空检索方法，其特征在于，所述空间约束的轨迹检索模式包括线检索、面检索、运动方向检索和相机路径检索；
所述时间约束包括描述动态对象出现时间和描述动态对象在地理场景中运动快慢的两种类型。


6.根据权利要求5所述的一种地理场景中视频动态对象轨迹时空检索方法，其特征在于，所述逐相机检索在线检索模式下的步骤包括：
a1)分析检索线段与每个相机视域的空间关系：当检索线段与一个或者多个相机视域相交时，将对应的相机选出，并依照检索线段与相机视域的交点对检索线段进行分段，获得对应于每个相机的子检索线段；
a2)对于每个符合条件的相机，设置线检索约束参数：角度参数Angle、比值参数Rate、距离参数Dis，将每个相机对应的子检索线段与该相机内局部轨迹比对，判断该相机视域内的每个局部轨迹与对应的子检索线段是否相似；
所述逐相机检索在面检索模式下的步骤包括：
b1)分析检索面与每个相机视域的空间关系：若检索面与一个或多个相机视域交集不为空，将对应的相机选出；
b2)对于每个符合条件的相机，判断该相机中每个动态对象轨迹与检索面是否匹配；
所述逐相机检索在运动方向检索模式...

【专利技术属性】
技术研发人员：解愉嘉，毛波，陈晓晓，
申请(专利权)人：南京财经大学，
类型：发明
国别省市：江苏;32