一种基于智能数字视网膜的视频处理方法和装置制造方法及图纸

本发明专利技术公开了一种基于智能数字视网膜的视频处理方法和装置，所述方法包括：将时间片划分结果中的每一个时间片与搜索数量和／或回放数量进行关联和解析，得到每一个时间片的关注次数；根据目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，确定并删除目标时间窗的待删除的数据片，待删除的数据片包括待删除的视频数据片和／或待删除的特征数据片，得到处理后的视频流和对应的特征流。本申请实施例提供的视频处理方法，能够根据目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，精准地确定并删除目标时间窗的待删除的数据片，这样，能够有效地减少基于智能数字视网膜的视频处理过程中的存储开销。能数字视网膜的视频处理过程中的存储开销。能数字视网膜的视频处理过程中的存储开销。

【技术实现步骤摘要】
一种基于智能数字视网膜的视频处理方法和装置


[0001]本专利技术涉及视频处理
，特别涉及一种基于智能数字视网膜的视频处理方法和装置。

技术介绍

[0002]自从数字视网膜概念提出以来，在视频编解码、视频监控等领域引起了较大的关注。在传统的图像处理领域，视频压缩和视频分析分属不同的两个领域，数字视网膜技术受人类视网膜的生物学功能启发，率先提出了视频压缩、视频分析一体化的智能图像传感器。具体而言，数字视网膜的特点在于能够同时获得视频压缩数据和视频特征数据，并通过数据流传送至云端，便于后期的回放和检索。为了获取图像的特征流，数字视网膜技术引入了模型流的概念，也就是说图像采集前端可以根据需求应用不同的特征提取模型，这些模型可以通过云端存储和反向传输的方式发送到图像采集前端。
[0003]在视频压缩方面，基本的理念是通过计算压缩视频的时空冗余信息。视频压缩的基本范式在过去数十年来没有发生较大的改变，基于分块的视频压缩编解码技术发展得非常成熟，其具有计算复杂度适中、压缩率高、重建质量高等特点，因此在过去的数十年里得到了非常广泛的应用，目前主流的编解码技术包括H.264/H.265/H.266以及MPEG2/MPEG4等均主要以基于分块的视频编解码技术。从早期的视频编码开始，编码理论的范式就没有改变过，新一代的编码标准所采用的技术都是通过“计算换空间”的方法来提升压缩比率。例如从H.264到H.265的演进，压缩率提升了50%，但是同时也带来了更大的计算需求。这是由于使用了更灵活的编码单元，更灵活的参考帧，使得基于运动补偿的压缩方法挖掘了更多的压缩潜力。
[0004]由于数字视网膜框架融合了与视频相关的特征识别和数据压缩两个方面，因此创造了一种新的范式，这种范式排除了以单一参数为衡量的某种技术，而是以一种面向复杂目标的综合性评价方法。这也正是从视网膜的生物结构中获得的宝贵启示，视网膜并不是单纯的传输或压缩图像数据，而是服务于大脑各项复杂任务的智能前端设备。
[0005]然而，数字视网膜技术虽然带来了视频的采集和分析的一体化和智能化，然而这也意味着对存储空间提出了更高的要求。云服务器一方面要存储视频流数据，一方面又要存储特征流数据，同时还需要存储模型数据。
[0006]如何降低基于智能数字视网膜的视频处理方法的存储开销，是待解决的技术问题。

技术实现思路

[0007]基于此，有必要针对基于现有基于智能数字视网膜的视频处理方法需要消耗大量的存储开销的问题，提供一种基于智能数字视网膜的视频处理方法、装置、电子设备和存储介质。
[0008]第一方面，本申请实施例提供了一种基于智能数字视网膜的视频处理方法，所述
方法包括：获取视频流和对应的特征流；按照预设划分方式对所述视频流和对应的特征流进行时间片划分，得到对应的时间片划分结果，所述时间片划分结果包括每一个时间片对应的时间戳、对应的视频数据片和对应的特征数据片；将所述时间片划分结果中的每一个时间片与搜索数量和／或回放数量进行关联和解析，得到每一个时间片的关注次数；根据目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，确定并删除所述目标时间窗的待删除的数据片，所述待删除的数据片包括待删除的视频数据片和／或待删除的特征数据片，得到处理后的视频流和对应的特征流。
[0009]在一种实施方式中，所述待删除的数据片包括所述目标时间窗的第一待删除的视频数据片和所述目标时间窗的第一待删除的特征数据片；所述根据目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，确定并删除所述目标时间窗的待删除的数据片包括：根据所述目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，确定并删除所述第一待删除的视频数据片和所述第一待删除的特征数据片。
[0010]在一种实施方式中，所述待删除的数据片包括所述目标时间窗的第二待删除的视频数据片，所述根据目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，确定并删除所述目标时间窗的待删除的数据片包括：根据目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，确定并删除所述第二待删除的视频数据片。
[0011]在一种实施方式中，所述方法还包括：根据预设删除方式删除所述目标时间窗的待删除的视频数据片。
[0012]在一种实施方式中，所述根据预设删除方式删除所述目标时间窗的待删除的视频数据片包括：获取所述目标时间窗内的总数据量，以及获取最大待分配存储数据量；计算所述目标时间窗内的总数据量和所述最大待分配存储数据量之间的差值；基于所述差值确定所述目标时间窗的所述待删除的视频数据片；将所述待删除的视频数据片删除，并生成用于重建视频数据的重建特征数据；存储所述目标时间窗的特征数据片和所述重建特征数据。
[0013]在一种实施方式中，所述方法还包括：获取视频重建模型、未删除的视频数据、所述目标时间窗的特征数据片和所述重建特征数据；基于所述视频重建模型、未删除的视频数据、所述目标时间窗的特征数据片和所述重建特征数据，对所述目标时间窗的待删除的数据片进行重建处理，生成对应的重建视频数据。
[0014]在一种实施方式中，所述方法还包括：基于深度模型的类型匹配对应的视频重建模型。
[0015]在一种实施方式，所述基于深度模型的类型匹配对应的视频重建模型包括：
若所述深度模型为生成图像为具有第一预设分辨率范围的模型，则匹配出的对应的视频重建模型为具有第二预设分辨率范围的重建深度模型；或者，若所述深度模型为特征提取模型，则匹配出的对应的视频重建模型为自编码机的解码器；或者，若所述深度模型为基于生成对抗模型进行重建特征提取的模型，则匹配出的对应的视频重建模型为生成对抗网络。
[0016]第二方面，本申请实施例提供了一种基于智能数字视网膜的视频处理装置，所述装置包括：获取模块，用于获取视频流和对应的特征流；划分模块，用于按照预设划分方式对所述获取模块获取的所述视频流和对应的特征流进行时间片划分，得到对应的时间片划分结果，所述时间片划分结果包括每一个时间片对应的时间戳、对应的视频数据片和对应的特征数据片；关联解析模块，用于将所述划分模块得到的所述时间片划分结果中的每一个时间片与搜索数量和／或回放数量进行关联和解析，得到每一个时间片的关注次数；确定及删除模块，用于根据目标时间窗对应的待删除数据的数据量和所述关联解析模块得到的每一个时间片的关注次数，确定并删除所述目标时间窗的待删除的数据片，所述待删除的数据片包括待删除的视频数据片和／或待删除的特征数据片，得到处理后的视频流和对应的特征流。
[0017]第三方面，本申请实施例提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序以实现如上所述的方法步骤。
[0018]第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现如上所述的方法步骤。
[0019]本申请实施例提供的技术方案可以包括以下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于智能数字视网膜的视频处理方法，其特征在于，所述方法包括：获取视频流和对应的特征流；按照预设划分方式对所述视频流和对应的特征流进行时间片划分，得到对应的时间片划分结果，所述时间片划分结果包括每一个时间片对应的时间戳、对应的视频数据片和对应的特征数据片；将所述时间片划分结果中的每一个时间片与搜索数量和／或回放数量进行关联和解析，得到每一个时间片的关注次数；根据目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，确定并删除所述目标时间窗的待删除的数据片，所述待删除的数据片包括待删除的视频数据片和／或待删除的特征数据片，得到处理后的视频流和对应的特征流。2.根据权利要求1所述的方法，其特征在于，所述待删除的数据片包括所述目标时间窗的第一待删除的视频数据片和所述目标时间窗的第一待删除的特征数据片；所述根据目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，确定并删除所述目标时间窗的待删除的数据片包括：根据所述目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，确定并删除所述第一待删除的视频数据片和所述第一待删除的特征数据片。3.根据权利要求1所述的方法，其特征在于，所述待删除的数据片包括所述目标时间窗的第二待删除的视频数据片，所述根据目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，确定并删除所述目标时间窗的待删除的数据片包括：根据目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，确定并删除所述第二待删除的视频数据片。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据预设删除方式删除所述目标时间窗的待删除的视频数据片。5.根据权利要求4所述的方法，其特征在于，所述根据预设删除方式删除所述目标时间窗的待删除的视频数据片包括：获取所述目标时间窗内的总数据量，以及获取最大待分配存储数据量；计算所述目标时间窗内的总数据量和所述最大待分配存储数据量之间的差值；基于所述差值确定所述目标时间窗的所述待删除的视频数据片；将所述待删除的视频数据片删除，并生成用于重建视频数据的重建特征数据；存储所述目标时间窗的特征数据片和所述重建特征数据。6.根据权利要求5所述的方法，其特征在于，所...

【专利技术属性】
技术研发人员：滕波，王琪，向国庆，周东东，洪一帆，张羿，焦立欣，
申请(专利权)人：浙江智慧视频安防创新中心有限公司，
类型：发明
国别省市：