一种交通视频结构化数据生成方法、装置及介质制造方法及图纸

本申请涉及计算机视觉及数据处理技术领域，更为具体来说，本申请涉及一种交通视频结构化数据生成方法、装置及介质。所述方法包括：获取目标视频，并将所述目标视频解码转换为第一图像；对所述第一图像进行预处理得到第二图像；通过训练好的目标检测网络检测所述第二图像，得到多个待追踪目标对象；将所述多个待追踪目标对象在多帧视频图像序列的时域和空域上关联匹配；对关联匹配后的图像通过训练好的目标属性描述生成网络生成结构化数据。本申请充分利用特征图中不同位置的语义信息，构建全局语义关联，使生成的结构化数据更为准确。使生成的结构化数据更为准确。使生成的结构化数据更为准确。

【技术实现步骤摘要】
一种交通视频结构化数据生成方法、装置及介质


[0001]本申请涉及计算机视觉及数据处理
，更为具体来说，本申请涉及一种交通视频结构化数据生成方法、装置及介质。

技术介绍

[0002]近年来，智慧交通的应用越发广泛。智慧交通是在智能交通的基础上，融入物联网、云计算、大数据、移动互联等高新IT技术，通过高新技术汇集交通信息，提供实时交通数据下的交通信息服务。而视频结构化技术能够从多个维度优化现有的智慧交通业务，将原本数量巨大、响应迟缓、且大部分没有应用价值的视频数据进行精缩，转化为查找更便捷、存储空间占用更小且可被深度挖掘的高密度数据，助力警务升级，提升视频图像信息服务警务实战的能力，使图像信息在交通管理过程中发挥出更大的作用，因此如何生成交通视频结构化数据就变为亟待解决的问题。

技术实现思路

[0003]基于上述技术问题，本专利技术旨在通过充分利用特征图中不同位置的语义信息，构建全局语义关联，以保证生成的结构化数据的精准度。
[0004]本专利技术的第一方面提供了一种交通视频结构化数据生成方法，所述方法包括：获取目标视频，并将所述目标视频解码转换为第一图像；对所述第一图像进行预处理得到第二图像；通过训练好的目标检测网络检测所述第二图像，得到多个待追踪目标对象；将所述多个待追踪目标对象在多帧视频图像序列的时域和空域上关联匹配；对关联匹配后的图像通过训练好的目标属性描述生成网络生成结构化数据。
[0005]在本专利技术的一些实施例中，在所述对关联匹配后的图像通过训练好的目标属性描述生成网络生成结构化数据之后，还包括对所述结构化数据进行存储和查询。
[0006]在本专利技术的一些实施例中，所述将所述多个待追踪目标对象在多帧视频图像序列的时域和空域上关联匹配，包括：估计当前帧视频图像中当前时刻的所述多个待追踪目标对象在下帧视频图像时刻时的位置；将估计结果对应的图像基于预设模板图像做特征匹配。
[0007]在本专利技术的一些实施例中，所述将估计结果对应的图像基于预设模板图像做特征匹配，包括：在所述将估计结果对应的图像中提取、时刻下各目标对象的hog特征点，根据所述hog特征点并对应于、时刻生成两个特征描述矩阵；遍历所述两个特征描述矩阵中的每个元素，构建特征描述协方差矩阵，并基于协方差矩阵确定特征匹配结果；通过追踪器确定预设帧连续的包含有所述多个待追踪目标对象且特征匹配的视
频图像。
[0008]在本专利技术的一些实施例中，所述目标属性描述生成网络包括特征提取模块、特征编码模块、结构化信息输出模块；所述对关联匹配后的图像通过训练好的目标属性描述生成网络生成结构化数据，包括：将追踪器确定出的图像输入所述特征提取模块进行特征提取，将提取的特征通过滑动窗口处理后送入所述特征编码模块；所述特征编码模块基于自注意力编码信息得到注意力矩阵，并将所述注意力矩阵映射至所述追踪器确定出的图像，得到目标属性对应的结构化数据；通过所述结构化信息输出模块输出所述目标属性对应的结构化数据。
[0009]在本专利技术的一些实施例中，所述对所述结构化数据进行存储，包括：建立所述结构化数据对应的缓存队列，在所述缓存队列中数据量达到预设数时将所述预设数的结构化数据存储于数据库。
[0010]在本专利技术的一些实施例中，所述对所述结构化数据进行查询，包括：根据与所述结构化数据对应的特征向量创建查询索引文件；查询目标特征向量时，利用所述查询索引文件逐步定位到相似向量所存在的特征子集空间，并加载该子集所指向的文件，以实现特征比对及信息提取。
[0011]在本专利技术的一些实施例中，所述对所述第一图像进行预处理得到第二图像，包括：对所述第一图像依次进行色彩空间转换、等比例缩放、补零处理，得到第二图像。
[0012]本专利技术第二方面提供了一种交通视频结构化数据生成装置，所述装置包括：获取模块，被配置为获取目标视频，并将所述目标视频解码转换为第一图像；预处理模块，被配置为对所述第一图像进行预处理得到第二图像；对象检测模块，被配置为通过训练好的目标检测网络检测所述第二图像，得到多个待追踪目标对象；关联匹配模块，被配置为将所述多个待追踪目标对象在多帧视频图像序列的时域和空域上关联匹配；生成模块，被配置为对关联匹配后的图像通过训练好的目标属性描述生成网络生成结构化数据。
[0013]本专利技术第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下步骤：获取目标视频，并将所述目标视频解码转换为第一图像；对所述第一图像进行预处理得到第二图像；通过训练好的目标检测网络检测所述第二图像，得到多个待追踪目标对象；将所述多个待追踪目标对象在多帧视频图像序列的时域和空域上关联匹配；对关联匹配后的图像通过训练好的目标属性描述生成网络生成结构化数据。
[0014]本申请实施例中提供的技术方案，至少具有如下技术效果或优点：本申请首先获取目标视频，并将所述目标视频解码转换为第一图像，然后对所述第一图像进行预处理得到第二图像，再通过训练好的目标检测网络检测所述第二图像，得到多个待追踪目标对象，将所述多个待追踪目标对象在多帧视频图像序列的时域和空域上关联匹配，对关联匹配后的图像通过训练好的目标属性描述生成网络生成结构化数据，因
为充分利用关联匹配后的图像特征图中不同位置的语义信息，构建全局语义关联，使生成的结构化数据更为精准。不仅如此，本申请还对所述结构化数据进行存储和查询，根据与所述结构化数据对应的特征向量创建查询索引文件，查询目标特征向量时，利用所述查询索引文件逐步定位到相似向量所存在的特征子集空间，进而加载该子集所指向的文件，以实现特征比对及信息提取，从而实现较快地查询出结构化数据。
[0015]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。
附图说明
[0016]通过阅读下文优选实施方式的详细描述，各种其它的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了本申请一示例性实施例中的交通视频结构化数据生成方法步骤示意图；图2示出了本申请一示例性实施例中另一种交通视频结构化数据生成方法实现示意图；图3示出了本申请一示例性实施例中的目标追踪器工作过程示意图；图4示出了本申请一示例性实施例中的一种结构化数据存储与查询系统工作过程示意图；图5示出了本申请一示例性实施例中的一种交通视频结构化数据生成装置结构示意图；图6示出了本申请一示例性实施例所提供的一种计算机设备的结构示意图。
具体实施方式
[0017]以下，将参照附图来描述本申请的实施例。但是应该理解的是，这些描述只是示例性的，而并非要限制本申请的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本申请的概念。对于本领域技术人员来说显而易见的是，本申请可以无需一个或多个这些细节而得以实施。在其它的例子中，为了避免与本申请发生混淆，对于本领本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种交通视频结构化数据生成方法，其特征在于，所述方法包括：获取目标视频，并将所述目标视频解码转换为第一图像；对所述第一图像进行预处理得到第二图像；通过训练好的目标检测网络检测所述第二图像，得到多个待追踪目标对象；将所述多个待追踪目标对象在多帧视频图像序列的时域和空域上关联匹配；对关联匹配后的图像通过训练好的目标属性描述生成网络生成结构化数据。2.根据权利要求1所述的交通视频结构化数据生成方法，其特征在于，在所述对关联匹配后的图像通过训练好的目标属性描述生成网络生成结构化数据之后，还包括对所述结构化数据进行存储和查询。3.根据权利要求1所述的交通视频结构化数据生成方法，其特征在于，所述将所述多个待追踪目标对象在多帧视频图像序列的时域和空域上关联匹配，包括：估计当前帧视频图像中当前时刻的所述多个待追踪目标对象在下帧视频图像时刻时的位置；将估计结果对应的图像基于预设模板图像做特征匹配。4.根据权利要求3所述的交通视频结构化数据生成方法，其特征在于，所述将估计结果对应的图像基于预设模板图像做特征匹配，包括：在所述将估计结果对应的图像中提取t1、t2时刻下各目标对象的hog特征点，根据所述hog特征点并对应于t1、t2时刻生成两个特征描述矩阵；遍历所述两个特征描述矩阵中的每个元素，构建特征描述协方差矩阵，并基于协方差矩阵确定特征匹配结果；通过追踪器确定预设帧连续的包含有所述多个待追踪目标对象且特征匹配的视频图像。5.根据权利要求4所述的交通视频结构化数据生成方法，其特征在于，所述目标属性描述生成网络包括特征提取模块、特征编码模块、结构化信息输出模块；所述对关联匹配后的图像通过训练好的目标属性描述生成网络生成结构化数据，包括：将追踪器确定出的图像输入所述特征提取模块进行特征提取，将提取的特征通过滑动窗口...

【专利技术属性】
技术研发人员：王飞，魏洪利，梅荣德，刘双，王丽辰，田丙富，何建华，马加强，朱义民，孙振，卢晓东，
申请(专利权)人：山东华夏高科信息股份有限公司，
类型：发明
国别省市：