【技术实现步骤摘要】
本专利技术涉及图像处理，特别涉及一种视频去雪方法、装置、设备及介质。
技术介绍
1、降雪作为一种恶劣天气，经常出现在户外视频中，雪粒和条纹造成的退化效应严重降低了视频帧的可视性，进而阻碍了资助系统中视频处理算法的高级性能。在现有技术中，由于合成数据与现实世界数据之间存在域分布差异，现有的初学方法不可避免的会收到不现实的训练数据阻碍，并且无法处理具有不可预测形状和运动的真实降雪，导致视频中的雪景场景内容较为模糊且感知保真度较低。
技术实现思路
1、本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出一种视频去雪方法、装置、设备及介质，能够去除视频中的雪图样，并提高视频中雪景场景的清晰度。
2、第一方面，本专利技术实施例提供了一种视频去雪方法，应用于视频去雪系统中，所述视频去雪系统包括编码器、第一解耦模块和解码器，所述第一解耦模块与所述编码器和所述解码器相连接，所述视频去雪方法包括：
3、获取雪视频序列，将所述雪视频序列输入至所述编码器中，提取视频帧特征图；
4、将所述视频帧特征图输入至所述第一解耦模块，获取构成所述雪视频序列的物理特征，并去除所述物理特征中无用的退化层，得到空间特征图；
5、构建第一网络和第二网络，获取所述空间特征图的标签数据，根据预设的监督阶段将所述标签数据输入至所述第一网络和/或所述第二网络，以执行所述视频帧特征图的去雪任务，得到第一去雪结果和第二去雪结果；
6、根据所述第一去雪结果和
7、获取所述超正样本合成雪层，将所述超正样本合成雪层输入至所述解码器中，得到预测结果图像。
8、在本专利技术的一些实施例中，所述视频去雪系统还设置有第二变换器，所述第二变换器设置有多层感知机块，所述解耦模块设置有物理变换器块和第一处理单元，所述获取构成所述雪视频序列的物理特征，包括：
9、对所述视频帧特征图进行重叠块嵌入，得到所述视频帧特征图的线性块；
10、获取所述视频帧特征图的标记数量和标记通道，根据所述标记数量和所述标记通道在所述线性块内嵌入第一标记，得到标记线性块；
11、将所述标记线性块输入至所述物理变换器块中进行物理信息分离，以将所述第一解耦模块集成至所述第二变换器中，替换所述多层感知机块，得到第二解耦模块。
12、在本专利技术的一些实施例中，所述视频去雪系统还设置有时序分解路由器，所述将所述第一解耦模块替换所述多层感知机块后，所述方法还包括：
13、获取所述视频帧特征图的多个输入标记，其中，每个所述输入标记均设置有对应的参数向量；
14、获取所述时序分解路由器的时序维度，根据所述输入标记和所述时序维度获取所述视频帧特征图的自适应权重；
15、根据所述自适应权重和所述输入标记得到所述视频帧特征图的第一凸组合，其中，所述第一凸组合包括所述时序维度的自适应时序信息；
16、根据所述第二解耦模块内预设的第一函数和所述自适应时序信息，获取所述视频帧特征图的组件标记；
17、所述时间分解路由器根据所述组件标记和所述自适应权重对所述物理特征进行动态解码，得到第一输出标记，将所述第一输出标记作为所述视频帧特征图的第二凸组合。
18、在本专利技术的一些实施例中，所述根据预设的监督阶段将所述标签数据输入至所述第一网络和/或所述第二网络，包括：
19、根据所述第一网络和所述第二网络对所述空间特征图进行半监督处理，得到所述第一网络的标记数据和第一未标记数据，以及，所述第二网络的第二未标记数据；
20、获取所述标记数据的第一背景特征和第一雪特征，所述第一未标记数据的第二背景特征和第二雪特征，以及所述第二未标记数据的第三背景特征和第三雪特征；
21、将所述第二背景特征与所述第一雪特征组合为正样本，将所述第三背景特征和所述第二雪特征组合为锚样本，将所述第一背景特征和所述第三雪特征组合为负样本；
22、根据所述正样本、所述锚样本和所述负样本计算对比损失。
23、在本专利技术的一些实施例中，所述根据所述第一网络和所述第二网络对所述空间特征图进行半监督处理，包括：
24、根据所述标记数据和所述第一未标记数据获取互补信息；
25、根据所述互补信息获取所述第一网络的第一监督损失和第二监督损失，以及所述第二网络的平均移动指数；
26、所述第一网络根据所述第一监督损失和所述第二监督损失进行更新，所述第二网络根据所述平均移动指数进行更新。
27、在本专利技术的一些实施例中，所述获取所述超正样本的合成雪层，包括：
28、将所述超正样本输入至预设的高斯混合模型中，对所述超正样本进行量化，得到真实雪层分布和合成雪层分布；
29、计算所述真实雪层分布和所述合成雪层分布的散度，得到超正样本合成雪层；
30、根据所述超正样本合成雪层、所述正样本和所述负样本计算所述空间特征图的对比损失。
31、在本专利技术的一些实施例中，所述根据所述正样本、所述锚样本和所述负样本计算对比损失后，所述方法还包括：
32、当所述监督阶段为全监督训练时，将所述标签数据输入至所述第一网络，得到所述空间特征图的恢复帧和干净帧，根据所述恢复帧和所述干净帧计算所述空间特征图的逐像素监督损失；
33、当所述监督阶段为半监督训练时，将所述第一未标记数据分别输入至所述第一网络和所述第二网络中，计算所述空间特征图的逐像素一致性损失、感知对比损失和先验损失。
34、第二方面，本专利技术实施例提供了一种视频去雪装置，包括少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如上述第一方面所述的视频去雪方法。
35、第三方面，本专利技术实施例提供了一种电子设备，包括有如上述第二方面所述的视频去雪装置。
36、第四方面，本专利技术实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上述第一方面所述的视频去雪方法。
37、根据本专利技术实施例的视频去雪方法，至少具有如下有益效果：
38、获取雪视频序列，将雪视频序列输入至编码器中，提取视频帧特征图；将视频帧特征图输入至第一解耦模块，获取构成雪视频序列的物理特征，并去除物理特征中无用的退化层，得到空间特征图；构建第一网络和第二网络，获取预测结果的标签数据，根据预设的监督阶段将标签数据输入至第一网络和/或第二网络，以执行视频帧特征图的去雪任务，得到第一去雪结果和第二去雪结果；根据第一去雪结果和第二去雪结果构建正样本、锚样本和负样本，根据正样本、锚样本和负样本对视频本文档来自技高网...
【技术保护点】
1.一种视频去雪方法，其特征在于，应用于视频去雪系统中，所述视频去雪系统包括编码器、第一解耦模块和解码器，所述第一解耦模块与所述编码器和所述解码器相连接，所述视频去雪方法包括：
2.根据权利要求1所述的视频去雪方法，其特征在于，所述视频去雪系统还设置有第二变换器，所述第二变换器设置有多层感知机块，所述解耦模块设置有物理变换器块和第一处理单元，所述获取构成所述雪视频序列的物理特征，包括：
3.根据权利要求2所述的视频去雪方法，其特征在于，所述视频去雪系统还设置有时序分解路由器，所述将所述第一解耦模块替换所述多层感知机块后，所述方法还包括：
4.根据权利要求1所述的视频去雪方法，其特征在于，所述根据预设的监督阶段将所述标签数据输入至所述第一网络和/或所述第二网络，包括：
5.根据权利要求4所述的视频去雪方法，其特征在于，所述根据所述第一网络和所述第二网络对所述空间特征图进行半监督处理，包括：
6.根据权利要求1所述的视频去雪方法，其特征在于，所述获取所述超正样本的合成雪层，包括：
7.根据权利要求4所述的视频去雪
8.一种视频去雪装置，其特征在于，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求1至7任一项所述的视频去雪方法。
9.一种电子设备，其特征在于，包括权利要求8所述的视频去雪装置。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的视频去雪方法。
...【技术特征摘要】
1.一种视频去雪方法，其特征在于，应用于视频去雪系统中，所述视频去雪系统包括编码器、第一解耦模块和解码器，所述第一解耦模块与所述编码器和所述解码器相连接，所述视频去雪方法包括：
2.根据权利要求1所述的视频去雪方法，其特征在于，所述视频去雪系统还设置有第二变换器，所述第二变换器设置有多层感知机块，所述解耦模块设置有物理变换器块和第一处理单元，所述获取构成所述雪视频序列的物理特征，包括：
3.根据权利要求2所述的视频去雪方法，其特征在于，所述视频去雪系统还设置有时序分解路由器，所述将所述第一解耦模块替换所述多层感知机块后，所述方法还包括：
4.根据权利要求1所述的视频去雪方法，其特征在于，所述根据预设的监督阶段将所述标签数据输入至所述第一网络和/或所述第二网络，包括：
5.根据权利要求4所述的视频去雪方法，其特征在于，所述根据所述第一网络和所述第二网络对所述空...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。