【技术实现步骤摘要】
本专利技术属于图像去噪领域，具体涉及一种低光照环境下的视频优化方法、装置、设备及介质。
技术介绍
1、尽管近年来摄影传感器有了显著的提升，视频处理仍然需要着重处理降噪，特别是在面对具有挑战性的拍摄条件时，比如低光照或传感器尺寸偏小等情况。
2、视频降噪模型的选择涵盖了非局部相似性模型法、盲去噪法以及深度学习法。非局部相似性模型法在应对实际环境中的噪声分布时显得适应性不足，因为噪声并非总是符合非局部相似性规律。盲去噪法则常常因为忽略时域信息，导致信息利用率不高，竞争力相对较弱，特别是对于方差较大的噪声，其效果难以令人满意。相较之下，深度学习法相对较为出色，但该类模型更适用于噪声分布已确定的情形，如高斯分布等。而对于时域变化明显的噪声，深度神经网络需要针对每一帧噪声数据进行重新拟合，操作不仅耗时耗力，并且模型泛化性较差。
3、因此，在现有技术中，对于低光照环境下的视频去噪优化仍存在较高的技术挑战，尤其是现有技术中对不同类型视频去噪优化的方法泛用性较差，需要开发更加鲁棒的噪声处理算法以及高效的模型压缩和维护策略。
技术实现思路
1、为了解决上述现有技术中对不同类型视频优化的方法泛用性较差的问题，本专利技术提供了一种低光照环境下的视频优化方法、装置、设备及介质。
2、为了实现上述目的，本专利技术提供如下技术方案：
3、本专利技术提供了一种低光照环境下的视频优化方法，所述方法包括：获取低光照环境下目标视频的运动矢量和连续帧；将运动矢量转换为光流
4、可选地，所述方法还包括对迭代优化后的目标视频进行滤波，所述滤波过程包括：将目标视频的每一帧划分成不重叠的图像块，确定同一位置不同时间点图像块差值图的方差均值，进而通过方差均值的分布情况确定噪声阈值；根据所述噪声阈值划分运动矢量的类型，进而根据不同的类型对运动矢量进行重构，得到轨迹矢量；根据轨迹矢量对目标视频进行滤波。
5、可选地，获取低光照环境下目标视频的运动矢量和连续帧包括：通过运动矢量初始化网络提取目标视频的初始运动矢量；根据最小化邻域像素范数修正初始运动矢量的误差，得到目标视频的运动矢量；通过对目标视频进行解码，得到目标视频的连续帧。
6、可选地，所述根据最小化邻域像素范数修正初始运动矢量的误差包括：通过最小化中心图像块与8个相邻图像块之间的l2范数来校正运动矢量场；所述l2范数包括幅值和相位，即
7、
8、其中，a(c)和p(c)分别代表当前图像块c的幅值和相位，a(n)和p(n)表示8个相邻图像块的幅值和相位，(x,y)是空域坐标，t是时域坐标，i是邻域相邻图像块编号，ω和λ是加权系数，分别是中心图像块的幅值和相位损失函数。
9、可选地，所述将运动矢量转换为光流图，根据所述连续帧中的图像帧上下文信息将光流图进一步平滑，得到粗略光流图包括：使用相同的运动偏移填充每个块中的像素，将运动矢量转换为密集的光流图；将所述连续帧中相邻两帧的前一帧输入两个不同的编码器以获得查询矩阵q图和键矩阵k图，而光流图则直接作为值矩阵v图，表示为
10、q＝ea(i1),k＝eb(i1),v＝fmv
11、其中，ea和eb是两个编码器块，每个块由六个卷积层和相应的激活层组成；使用可信度估计块来估计每个像素的运动先验的可信度，通过以下公式表示：
12、cmv＝ceb(i1,mmv)
13、其中mmv表示存在运动矢量的区域，i1是所述连续帧中相邻两帧的前一帧，cmv是一个范围在(0,1)之间的权重图，ceb是一个卷积神经网络(cnn)块；计算局部窗口中心像素与其他像素之间的相关性si,j：
14、si,j＝softmax(qi,j·ki+k,j+l)
15、其中k,l∈[-d,d]，k和l是局部窗口的偏移量，表示相对于中心像素的位置，d表示窗口的半径，(i,j)是局部窗口中心像素的位置，点·表示点积运算，因此计算得到的相关性权重si,j是一个形状为(2d+1)2的张量；将像素的可信度与相关性结合起来得到最终的权重表示为：
16、
17、是从cmv中心像素(i,j)周围提取的一个(2d+1)×(2d+1)窗口，⊙标记表示逐元素乘法运算符；根据权重对局部窗口内的运动进行聚合，得到粗略光流图fi,j：
18、
19、vi+k,j+l表示初始光流图fmv在(i+k,j+l)处的运动矢量值。
20、可选地，所述确定所述连续帧中相邻两帧的相关关系包括：获取两个连续帧为i1和i2，使用卷积神经网络分别从两个图像帧中提取特征图，记作l1和l2；确定l1和l2的相关性矩阵c，具体公式如下：
21、c(i,j)＝l1(i)·l2(j)
22、其中，c(i,j)为c的元素，表示特征l1中位置i和特征l2中位置j之间的相似性，·表示点积运算。
23、可选地，所述将所述粗略光流图作为初始值，根据所述相关关系进行迭代优化包括：
24、在每次迭代中，光流估计值可以通过下面公式进行更新：
25、δfmv＝u(fmv(k),c)
26、fmv(k+1)＝fmv(k)+δfmv
27、其中，fmv(k)表示第k次迭代的光流估计值，δfmv表示由当前光流估计值fmv(k)和相关性矩阵c结合起来得到的本次迭代的光流更新量，u(·)一个卷积神经网络(cnn)块；在达到预设迭代次数，或者光流更新量小于或等于预设更新值的情况下，停止迭代，得到高精度的光流图fmv(*)。
28、本专利技术还提供了一种低光照环境下的视频优化装置，其特征在于，所述装置包括：
29、获取模块，用于获取低光照环境下目标视频的运动矢量和连续帧；
30、优化模块，用于将运动矢量转换为光流图，根据所述连续帧中的图像帧上下文信息将光流图进一步平滑化，得到粗略光流图；确定所述连续帧中相邻两个图像帧的相关关系；根据所述相关关系对粗略光流图进行迭代优化。
31、本专利技术还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述低光照环境下的视频优化方法的步骤。
32、本专利技术还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述低光照环境下的视频优化方法的步骤。
33、本专利技术提供的低光照环境下的视频优化方法具有以下有益效果：
34、通过将运动矢量转换为光流图，并通过图像连续帧的上下文信息将光流图转化为更为平滑的粗略光流图，进而根据该相关关系将粗略光流图作为初始值进行迭代，这样针对不同的视频进行相应的光流处理，具有较高的泛用性，而本文档来自技高网...
【技术保护点】
1.一种低光照环境下的视频优化方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种低光照环境下的视频优化方法，其特征在于，所述方法还包括对迭代优化后的目标视频进行滤波，所述滤波过程包括：
3.根据权利要求1所述的一种低光照环境下的视频优化方法，其特征在于，获取低光照环境下目标视频的运动矢量和连续帧包括：
4.根据权利要求3所述的一种低光照环境下的视频优化方法，其特征在于，所述根据最小化邻域像素范数修正初始运动矢量的误差包括：
5.根据权利要求1所述的一种低光照环境下的视频优化方法，其特征在于，所述将运动矢量转换为光流图，根据所述连续帧中的图像帧上下文信息将光流图进一步平滑，得到粗略光流图包括：
6.根据权利要求1所述的一种低光照环境下的视频优化方法，其特征在于，所述确定所述连续帧中相邻两帧的相关关系包括：
7.根据权利要求1所述的一种低光照环境下的视频优化方法，其特征在于，所述将所述粗略光流图作为初始值，根据所述相关关系进行迭代优化包括：
8.一种低光照环境下的视频优化装置，其特征在于，
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～7任一项所述低光照环境下的视频优化方法的步骤。
10.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述权利要求1～7任一项所述低光照环境下的视频优化方法的步骤。
...【技术特征摘要】
1.一种低光照环境下的视频优化方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种低光照环境下的视频优化方法，其特征在于，所述方法还包括对迭代优化后的目标视频进行滤波，所述滤波过程包括：
3.根据权利要求1所述的一种低光照环境下的视频优化方法，其特征在于，获取低光照环境下目标视频的运动矢量和连续帧包括：
4.根据权利要求3所述的一种低光照环境下的视频优化方法，其特征在于，所述根据最小化邻域像素范数修正初始运动矢量的误差包括：
5.根据权利要求1所述的一种低光照环境下的视频优化方法，其特征在于，所述将运动矢量转换为光流图，根据所述连续帧中的图像帧上下文信息将光流图进一步平滑，得到粗略光流图包括：
6.根据权利要求1所述的...
【专利技术属性】
技术研发人员：江鹤，乙夫迪，顾豪，郑州，黄欣，孙蟒，郑平，程德强，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。