视频处理方法、设备、系统及存储介质技术方案

本申请实施例提供一种视频处理方法、设备、系统及存储介质。在本申请实施例中，针对包含移动对象的视频流，一方面采用多级神经网络模型进行属性识别，可提高识别精度，降低误识别现象；另一方面，结合多种多级神经网络模型可以同步对移动对象的多种属性进行识别，提高识别效率。进一步，在多种多级神经网络模型之间，根据模型输入输出之间的关系进行神经网络模型的复用，可以降低神经网络模型整体的复杂度，实现多维多级神经网络模型的轻量化，有效节约算力和运行时间。

【技术实现步骤摘要】
视频处理方法、设备、系统及存储介质
本申请涉及视频处理
，尤其涉及一种视频处理方法、设备、系统及存储介质。
技术介绍
随着视频处理技术的发展，视频处理被广泛应用在道路交通管理场景中。在城市道路、高速路或各类道路路口处安装摄像头、电子眼等采集设备负责采集道路交通视频流；通过车辆算法可获取视频流中的车辆属性，进而可将获取到的车辆属性，应用到车辆检测、车辆跟踪或车辆分类等各个领域。其中，现有的车辆算法大多是基于人工特征，例如，直方图特征、灰度特征或纹理特征，对车辆属性进行识别的，算法精度较差，易出现误识别现象，而且还只能识别车辆的单一属性，识别效率较低，应用上存在一定的局限性。
技术实现思路
本申请的多个方面提供一种视频处理方法、设备、系统及存储介质，用以提高识别属性信息的精度和效率。本申请实施例提供一种视频处理方法，包括：获取包括移动对象的原始视频流，从原始视频流中选择多帧目标图像；利用多维多级神经网络模型对多帧目标图像进行属性识别，以获得移动对象对应的M种属性信息；其中，多维多级神经网络模型包括N种并联的多级神经网络模型，且在N种多级神经网络模型之间，至少存在部分输入相同的多个神经网络模型复用相同的上级神经网络模型；其中，N和M是大于等于2的正整数，且M≥N。本申请实施例还提供一种视频处理系统，包括：视频采集设备、服务端设备和应用端设备；视频采集设备，用于采集包括移动对象的原始视频流并上传至服务端设备；服务端设备，用于从视频采集设备上传的原始视频流中，选择多帧目标图像；利用多维多级神经网络模型对多帧目标图像进行属性识别，以获得移动对象对应的M种属性信息，并提供给应用端设备；其中，所述多维多级神经网络模型包括N种并联的多级神经网络模型，且在N种多级神经网络模型之间，至少存在部分输入相同的多个神经网络模型复用相同的上级神经网络模型；其中，N和M是大于等于2的正整数，且M≥N；应用端设备，用于基于移动对象对应的M种属性信息，执行与移动对象对应的处理操作。本申请实施例还提供一种计算机设备，包括：存储器和处理器；存储器，用于存储计算机程序；处理器，与存储器耦合，用于执行计算机程序，以用于：获取包括移动对象的原始视频流，从原始视频流中选择多帧目标图像；利用多维多级神经网络模型对多帧目标图像进行属性识别，以获得移动对象对应的M种属性信息；其中，多维多级神经网络模型包括N种并联的多级神经网络模型，且在N种多级神经网络模型之间，至少存在部分输入相同的多个神经网络模型复用相同的上级神经网络模型；其中，N和M是大于等于2的正整数，且M≥N。本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，当计算机程序被处理器执行时，致使处理器实现本申请实施例提供的视频处理方法中的步骤。本申请实施例还提供一种计算机程序产品，包括计算机程序/指令，当计算机程序/指令被处理器执行时，致使处理器实现本申请实施例提供的视频处理方法中的步骤。在本申请实施例中，针对包含移动对象的视频流，一方面采用多级神经网络模型进行属性识别，可提高识别精度，降低误识别现象；另一方面，结合多种多级神经网络模型可以同步对移动对象的多种属性进行识别，提高识别效率。进一步，在多种多级神经网络模型之间，根据模型输入输出之间的关系进行神经网络模型的复用，可以降低神经网络模型整体的复杂度，实现多维多级神经网络模型的轻量化，有效节约算力和运行时间。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为本申请示例性实施例提供的一种视频处理方法的流程示意图；图2a为一种从移动对象维度进行属性识别的多级神经网络模型的示意图；图2b为一种从移动对象上的局部特征维度进行属性识别的多级神经网络模型的结构示意图；图2c为另一种从移动对象上的局部特征维度进行属性识别的多级神经网络模型的结构示意图；图2d为一种多维多级神经网络模型的结构示意图；图3为本申请示例性实施例提供的一种视频处理系统的结构示意图；图4为一种移动对象是车辆的多维多级神经网络模型的结构示意图；图5为本申请示例性实施例提供的一种计算机设备的结构示意图。具体实施方式为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。针对现有车辆算法精确度较差，易出现误识别现象，且只能识别车辆的单一属性，识别效率较低，应用上存在一定的局限性的问题。在本申请实施例中，针对包含移动对象的视频流，一方面采用多级神经网络模型进行属性识别，可提高识别精度，降低误识别现象；另一方面，结合多种多级神经网络模型可以同步对移动对象的多种属性进行识别，提高识别效率。进一步，在多种多级神经网络模型之间，根据模型输入输出之间的关系进行神经网络模型的复用，可以降低神经网络模型整体的复杂度，实现多维多级神经网络模型的轻量化，有效节约算力和运行时间。以下结合附图，详细说明本申请各实施例提供的技术方案。图1为本申请示例性实施例提供的一种视频处理方法的流程示意图。如图1所示，该方法包括：101、获取包括移动对象的原始视频流，从原始视频流中选择多帧目标图像；102、利用多维多级神经网络模型对多帧目标图像进行属性识别，以获得移动对象对应的M种属性信息；其中，多维多级神经网络模型包括N种并联的多级神经网络模型，且在N种多级神经网络模型之间，至少存在部分输入相同的多个神经网络模型复用相同的上级神经网络模型；其中，N和M是大于等于2的正整数，且M≥N。在本实施例中，可以获取原始视频流，获取方式包括接收视频采集终端采集并实时上传的原始视频流，或者视频采集终端也可以将采集到的原始视频流上传至数据库中，从数据库中读取原始视频流。在本实施例中，原始视频流包括移动对象，移动对象可以是各种类型的车辆、人物、动物、机器人等可以自主移动或被控制移动的对象。在一些应用场景中，需要依赖移动对象的属性信息，据此在本实施例中，可以采用多维多级神经网络模型对移动对象进行属性识别，得到移动对象对应的M种属性信息。本实施例中的多维多级神经网络包括N种多级神经网络模型，每种多级神经网络模型可以识别移动对象对应的一种或多种属性信息。根据移动对象的不同，移动对象的属性信息也有所不同。例如，在交通管控场景中，移动对象可以是车辆，则车辆的属性信息可以包括车辆自身的属性信息，如车辆的颜色、车辆的类型、车辆的品牌、车辆的朝向或车辆的清晰度等；进一步，车辆的属性信息还可以包括车辆上局部特征（如车牌、车门、轮胎等）的属性信息，以车牌为例，车牌的属性信息可以包括车牌的颜色、大小、车牌号等，以车门为例，车本文档来自技高网...

【技术保护点】
1.一种视频处理方法，其特征在于，包括：/n获取包括移动对象的原始视频流，从所述原始视频流中选择多帧目标图像；/n利用多维多级神经网络模型对所述多帧目标图像进行属性识别，以获得所述移动对象对应的M种属性信息；/n其中，所述多维多级神经网络模型包括N种并联的多级神经网络模型，且在N种多级神经网络模型之间，至少存在部分输入相同的多个神经网络模型复用相同的上级神经网络模型；其中，N和M是大于等于2的正整数，且M≥N。/n

【技术特征摘要】
1.一种视频处理方法，其特征在于，包括：
获取包括移动对象的原始视频流，从所述原始视频流中选择多帧目标图像；
利用多维多级神经网络模型对所述多帧目标图像进行属性识别，以获得所述移动对象对应的M种属性信息；
其中，所述多维多级神经网络模型包括N种并联的多级神经网络模型，且在N种多级神经网络模型之间，至少存在部分输入相同的多个神经网络模型复用相同的上级神经网络模型；其中，N和M是大于等于2的正整数，且M≥N。


2.根据权利要求1所述的方法，其特征在于，从所述原始视频流中选择多帧图像，包括：
对所述原始视频流进行采样，以得到多帧采样图像；
利用卷积神经网络对所述多帧采样图像进行特征提取，以得到所述多帧采样图像的图像特征；
基于所述多帧采样图像的图像特征，从中选择图像质量符合要求的多帧目标图像。


3.根据权利要求1或2所述的方法，其特征在于，所述N种多级神经网络模型至少包括：用于从移动对象维度进行属性识别的多级神经网络模型和从移动对象上的局部特征维度进行属性识别的多级神经网络模型。


4.根据权利要求3所述的方法，其特征在于，利用多维多级神经网络模型对所述多帧目标图像进行属性识别，以得到移动对象的M种属性信息，包括：
将所述多帧目标图像输入对象检测模型，以从所述多帧目标图像中提取包含所述移动对象的多帧第一局部图像，所述对象检测模型是被下一级的对象跟踪模型和特征可见模型复用的首级神经网络模型；
将所述多帧第一局部图像输入特征可见模型，以检测移动对象上的指定局部特征是否在所述多帧第一局部图像中可见并输出对应的检测结果，所述特征可见模型被对象属性识别模型和特征属性识别模型复用；
将所述多帧第一局部图像输入所述对象跟踪模型，以跟踪同一移动对象的第一局部图像并输出其中符合质量要求的目标局部图像，所述对象跟踪模型被对象属性识别模型和特征属性识别模型复用；
将所述目标局部图像和所述多帧第一局部图像对应的检测结果输入所述对象属性识别模型和所述特征属性识别模型，以针对所述移动对象和所述指定局部特征分别进行属性识别，得到M种属性信息。


5.根据权利要求4所述的方法，其特征在于，将所述目标局部图像和所述多帧第一局部图像对应的检测结果输入所述特征属性识别模型，以针对所述指定局部特征进行属性识别，包括：
将所述目标局部图像和所述多帧第一局部图像对应的检测结果输入特征检测模型，以在所述目标局部图像对应可见检测结果的情况下，基于所述目标局部图像中的关键点特征对所述目标局部图像进行裁剪得到包含所述指定局部特征的第二局部图像；
将所述第二局部图像输入所述特征属性识别模型，以得到与所述指定局部特征对应的至少一种属性信息。


6.根据权利要求5所述的方法，其特征在于，所述移动对象...

【专利技术属性】
技术研发人员：王伟，黑光月，杜荣，邵斌，陈冬白，吴翰清，
申请(专利权)人：阿里云计算有限公司，
类型：发明
国别省市：浙江;33