基于内容的实时视频分析配置更新方法、设备及系统技术方案

本发明专利技术公开了一种基于内容的实时视频分析配置更新方法、设备及系统，属于视频分析领域，包括：将当前配置分析窗口尾部长度为λ

【技术实现步骤摘要】
基于内容的实时视频分析配置更新方法、设备及系统


[0001]本专利技术属于视频分析领域，更具体地，涉及一种基于视频内容变化检测的配置更新方法、设备及系统。

技术介绍

[0002]智能摄像头作为智能硬件的代表，已广泛用于安防、智能家居、智能护理等各种场景，现有的智能摄像头及边缘节点的算力资源是非有限，通常而言，一个边缘节点需要覆盖十几个摄像头，而一些视频分析任务对于准确度和延时的要求比较高。随着人工智能、深度学习等技术的快速发展，深度神经网络(Deep Neural Networks，DNN)模型被广泛应用于视频分析任务是，但是现有的DNN模型很难在资源受限的边缘节点同时实现高准确度、低时延。
[0003]影响DNN模型推理准确度和资源开销的因素有很多，比如视频分辨率、帧率、不同的DNN模型等。这些影响因素的特定组合称为视频分析系统的配置，不同的配置会带来不同的推理准确度以及开销，通过调节配置可以实现资源与准确度之间的平衡。现有的方法通常采用两种方式完成视频配置：其一，仅在视频最开始进行一次配置；其二，周期性地更新配置。但是，配置文件随着视频内容不断变化，所以仅在视频最开始进行一次配置分析得到的最佳配置并不能保证长期准确度，周期性地更新配置也不能捕捉视频内容的变化，导致长期准确度的降低，同时也会由于频繁地更新配置带来额外的计算资源开销。

技术实现思路

[0004]针对现有技术的缺陷和改进需求，本专利技术提供了一种基于内容的实时视频分析配置更新方法、设备及系统，其目的在于，在保证视频分析任务准确度的情况下减少计算资源开销。
[0005]为实现上述目的，按照本专利技术的一个方面，提供了一种基于内容的实时视频分析配置更新方法，包括：
[0006](S1)将当前配置分析窗口尾部长度为λ
*
的视频流输入至深度神经网络模型，以提取该视频流中每一帧的语义特征；
[0007](S2)根据所提取的每一帧的语义特征计算视频流的特征分布，得到当前配置分析窗口的经验特征分布
[0008](S3)将经验特征分布输入至时间序列预测模型，以预测下一配置分析窗口头部长度为λ
*
的视频流的特征分布，得到下一配置分析窗口的预测特征分布
[0009](S4)计算经验特征分布与预测特征分布的分布距离D，若D≤ε
d*
，则维持摄像头的配置不变；若D＞ε
d*
，则从预设的配置空间中选取能够平衡资源开销与深度神经网络模型推理准确度的最佳配置，并发送至摄像头，使摄像头进行配置更新；
[0010]其中，λ
*
为预设的预测窗口长度。
[0011]进一步地，预测窗口长度λ
*
的确定方式包括：利用历史数据获取时间序列预测模
型的预测准确度与预测窗口长度的对应关系，将其中最高准确度所对应的预测窗口长度作为预测窗口长度λ
*
。
[0012]进一步地，本专利技术提供的基于内容的实时视频分析配置更新方法，还包括：在初始时刻，设置配置分析窗口长度为λ
*
；
[0013]并且，步骤(S4)还包括：若D＞ε
d*
，则将下一配置分析窗口的长度设置为λ
*
；若D≤ε
d*
，则设置下一配置分析窗口的长度大于当前配置分析窗口的长度。
[0014]进一步地，检测阈值ε
d*
的确定方式包括：
[0015]根据求解检测阈值ε
d
与预测窗口长度λ的第一关系式；
[0016]根据求解检测阈值ε
d
与预测窗口长度λ的第一关系式；
[0017]在时隙长度为λ
*
的条件下，计算同时满足第一关系式和第二关系式的检测阈值ε
d
的最大值，作为检测阈值ε
d*
；
[0018]其中，表示第m个配置分析窗口的经验特征分布，表示第m+1个配置分析窗口的预测特征分布，p
m+1
(t)表示第m+1个配置分析窗口的真实特征分布，D()表示两个特征分布的分布距离；表示概率；ε
o
表示时间序列预测模型可接受的误差上界；σ
o
表示时间序列预测模型的预测准确度，σ表示在视频内容发生明显变化而该变化未被检测到的最大检测误差，σ2表示视频内容未发生明显变化而被误检测为发生明显概率的最大检测误差。
[0019]进一步地，特征分布之间的分布距离通过全变差表征。
[0020]进一步地，第一关系式为：第二关系式为：第二关系式为：
[0021]进一步地，步骤(S4)中，从预设的配置空间中选取能够平衡资源开销与深度神经网络模型推理准确度的最佳配置，包括：
[0022]对于配置空间中的每一个配置c
i
，在视频内容X(t)下分别计算该配置下的资源开销F(X(t)，c
i
)与深度神经网络模型推理准确度Acc(X(t)，c
i
)，并按照计算对应的效用函数值
[0023]选择效用函数值最高的配置作为能够平衡资源开销与深度神经网络模型推理准确度的最佳配置；
[0024]其中，视频内容X(t)为当前配置分析窗口的经验特征分布构成的集合；ω为权重系数，ω＞0。
[0025]按照本专利技术的另一个方面，提供了一种基于内容的实时视频分析配置更新系统，包括：
[0026]配置分析器，用于从预设的配置空间中选取能够平衡资源开销与深度神经网络模型推理准确度的最佳配置，并发送至摄像头，使摄像头进行配置更新；
[0027]语义特征提取模块，用于将当前配置分析窗口尾部长度为λ
*
的视频流输入至深度神经网络模型，以提取该视频流中每一帧的语义特征；
[0028]分布估计器，用于根据语义特征提取模块提取的每一帧的语义特征计算视频流的特征分布，得到当前配置分析窗口的经验特征分布
[0029]特征分布预测模块，用于将经验特征分布输入至时间序列预测模型，以预测下一配置分析窗口头部长度为λ
*
的视频流的特征分布，得到下一配置分析窗口的预测特征分布
[0030]变化检测器，用于计算经验特征分布与预测特征分布的分布距离D，并在D＞ε
d*
时，触发配置分析器，以结束当前时刻的配置更新；
[0031]其中，λ
*
为预设的预测窗口长度。
[0032]总体而言，通过本专利技术所构思的以上技术方案，能够取得以下有益效果：
[0033](1)本专利技术按照配置分析窗口对视频内容进行检测分析，在每一个配置分析窗口，利用深度神经网络提取用于刻画视频动态特性的语义特征，通过计算视频状态在每个时刻的概率分布来刻画视频的内容，并预测视频内容未来的状态分布，将视频内容变化的检测问题转变为衡量两个概率分布的相似度问题，实现了对视频内容变化程度的提前感知本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于内容的实时视频分析配置更新方法，其特征在于，包括：(S1)将当前配置分析窗口尾部长度为λ
*
的视频流输入至深度神经网络模型，以提取该视频流中每一帧的语义特征；(S2)根据所提取的每一帧的语义特征计算视频流的特征分布，得到当前配置分析窗口的经验特征分布(S3)将所述经验特征分布输入至时间序列预测模型，以预测下一配置分析窗口头部长度为λ
*
的视频流的特征分布，得到下一配置分析窗口的预测特征分布(S4)计算所述经验特征分布与所述预测特征分布的分布距离D，若D≤ε
d*
，则维持所述摄像头的配置不变；若D＞ε
d*
，则从预设的配置空间中选取能够平衡资源开销与深度神经网络模型推理准确度的最佳配置，并发送至所述摄像头，使所述摄像头进行配置更新；其中，λ
*
为预设的预测窗口长度。2.如权利要求1所述的基于内容的实时视频分析配置更新方法，其特征在于，预测窗口长度λ
*
的确定方式包括：利用历史数据获取所述时间序列预测模型的预测准确度与预测窗口长度的对应关系，将其中最高准确度所对应的预测窗口长度作为所述预测窗口长度λ
*
。3.如权利要求2所述的基于内容的实时视频分析配置更新方法，其特征在于，还包括：在初始时刻，设置配置分析窗口长度为λ
*
；并且，所述步骤(S4)还包括：若D＞ε
d*
，则将下一配置分析窗口的长度设置为λ
*
；若D≤ε
d*
，则设置下一配置分析窗口的长度大于当前配置分析窗口的长度。4.如权利要求1～3任一项所述的基于内容的实时视频分析配置更新方法，其特征在于，检测阈值ε
d*
的确定方式包括：根据求解检测阈值ε
d
与预测窗口长度λ的第一关系式；根据求解检测阈值ε
d
与预测窗口长度λ的第一关系式；在时隙长度为λ
*
的条件下，计算同时满足所述第一关系式和所述第二关系式的检测阈值ε
d
的最大值，作为所述检测阈值ε
d*
；其中，表示第m个配置分析窗口的经验特征分布，表示第m+1个配置分析窗口的预测特征分布，p
m+1
(t)表示第m+1个配置分析窗口的真实特征分布，D(...

【专利技术属性】
技术研发人员：程岩，杨鹏，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：