基于结构重参数化训练的背景质量增强方法技术

本发明专利技术公开了一种基于结构重参数化训练的背景质量增强方法，包括训练过程和推理过程，结构重参数化模块会在训练过程中插入到背景增强模块的模型结构，与背景增强模块一起进行参数优化，在推理过程中会经过特定变换操作，将有效参数固定到背景增强模块中；背景增强模块是经过结构重参数化模块训练改进过的背景复原算法，负责对视频帧进行背景区域的识别和质量提升操作；函数优化模块负责优化结构重参数化模块和背景增强模块的模型参数，最终优化好的模块被用于推理过程使用。本发明专利技术使用结构重参数化技术改进背景复原算法，在参考的背景信息有限时也能有效提高背景质量。背景信息有限时也能有效提高背景质量。背景信息有限时也能有效提高背景质量。

【技术实现步骤摘要】
基于结构重参数化训练的背景质量增强方法


[0001]本专利技术属于视频处理
，具体涉及一种基于结构重参数化训练的背景质量增强方法。

技术介绍

[0002]在视频传输过程中，为了减轻传输压力，需要满足传输码率要求，会对传输视频进行码率压缩，因此会降低视频画质，造成细节丢失。
[0003]为了尽可能的不降低视频质量，一般在压缩时会分别对重要区域(前景)和非重要区域(背景)进行不同压缩率的处理，使前景质量相对更高，背景区域压缩后质量会更差。

技术实现思路

[0004]鉴于以上存在的问题，本专利技术提供一种基于结构重参数化训练的背景质量增强方法，利用结构重参数化技术增强神经网络模型的拟合能力，可以提高现有背景质量提升方法的运行速度和效果。
[0005]为解决上述技术问题，本专利技术采用如下的技术方案：
[0006]一种基于结构重参数化训练的背景质量增强方法，包括训练过程和推理过程，其中：
[0007]采用结构重参数化模块在训练过程中插入到背景增强模块的模型结构，与背景增强模块一起进行参数优化，在推理过程中经过特定变换操作，将有效参数固定到背景增强模块中；
[0008]训练过程中输入训练数据对<img
x
,img
ref
>，其中img
x
表示待处理数据，img
ref
表示辅助参考的其他图像信息，背景增强模块用于完成背景区域识别划分和利用辅助信息增强背景质量的一系列操作，模块中基础组件是核大小为3
×
3的二维卷积和激活函数ReLU组合的无分支结构；结构重参数化模块用于将基础组件的参数进行多分支扩展；对经过结构重参数化模块扩展后的背景增强模块的参数进行优化，优化目标是基准图像序列GT和背景增强模块输出数据Y，计算最小重建损失，得到最佳参数θ
all
；
[0009]推理过程中，数据输入模块将从视频流里或存储介质里加载得到待处理的视频序列和参考帧，输入到经过优化后的背景增强模块中处理；在训练过程中得到结构重参数化模块和背景增强模块的最佳参数θ
all
后，根据结构重参数化方法，采用特定变换方式，将θ
all
映射为只包含基础组件的背景增强模块的参数θ
rep
，重复所有类似结构的变换，得到改进后的背景增强模块的所有模型结构的参数变换；采用数据输出模块将背景增强模块处理好的序列合并到输出视频保存或播放到显示设备上。
[0010]一种可能的实现方式中，结构重参数化模块用于将基础组件的参数进行多分支扩展包括核大小为3
×
1的二维卷积、核大小为1
×
3的二维卷积、核大小为1
×
1的二维卷积和恒等映射。
[0011]一种可能的实现方式中，对经过结构重参数化模块扩展后的背景增强模块的参数
进行优化，优化目标是基准图像序列GT和背景增强模块输出数据Y，计算最小重建损失，得到最佳参数θ
all
的公式表示为：
[0012]L＝∑(Y
‑
GT)2[0013][0014]其中L是均方误差函数，通过训练得到最小重建损失
[0015]一种可能的实现方式中，推理过程中，在训练过程中得到结构重参数化模块和背景增强模块的最佳参数θ
all
后，根据结构重参数化方法，采用特定变换方式，将θ
all
映射为只包含基础组件的背景增强模块的参数θ
rep
，重复所有类似结构的变换，得到改进后的背景增强模块的所有模型结构的参数变换具体包括：
[0016]对于3x3 Conv结构，包含的参数是3
×
3大小的ω3×3；对于1x1 Conv结构，包含的参数是1
×
1大小的ω1×1，将1x1 Conv结构等价变换为3x3 Conv结构只需将1
×
1卷积核填充0得到特殊的3
×
3卷积核，对于1x3Conv结构和3x1 Conv结构的参数分别是ω1×3和ω3×1，变换方式类似，将1
×
3卷积核和3
×
1卷积核都填充至3
×
3大小，表达式如下：
[0017][0018][0019][0020]对于恒等映射，等效为一种卷积核形式类似单位矩阵的特殊卷积结构采用等价变换得到参数
[0021]设输入输出恒等映射结构的特征尺寸大小为c
×
h
×
w，其中h和w表示特征的长和宽，c表示输入输出的特征维数，则恒等映射的等效参数的尺寸可以表示为c
×
c
×1×
1，在c取1～c范围内的所有整数的单位矩阵位置上的等效参数值为1，其他为0，再经过等价变换得到3x3 Conv结构；
[0022]最终将所有等价变换参数相加得到参数公式为：
[0023][0024]至此完成了单一基础组件的结构重参数化等价变换操作，重复所有类似结构的变换，得到改进后的背景增强模块的所有模型结构的参数变换，公式如下：
[0025]θ
all
＝∪<ω3×3,ω1×1,ω1×3,ω3×1>
[0026][0027]采用本专利技术具有如下的有益效果：利用结构重参数化技术增强神经网络模型的拟合能力，可以提高现有背景质量提升方法的运行速度和效果。使用结构重参数化技术改进背景复原算法，在解码视频码率较低时，利用附带传输的少量背景信息提升解码视频中的所有背景区域的质量，即在参考的背景信息有限时也能有效提高背景质量。
附图说明
[0028]图1为本专利技术实施例的基于结构重参数化训练的背景质量增强方法的步骤流程
图；
[0029]图2为本专利技术实施例的基于结构重参数化训练的背景质量增强方法中结构重参数化过程示意图；
[0030]图3为本专利技术实施例的基于结构重参数化训练的背景质量增强方法一具体应用实例中的输入图片；
[0031]图4为本专利技术实施例的基于结构重参数化训练的背景质量增强方法中的辅助参考图像示意图；
[0032]图5为本专利技术实施例的基于结构重参数化训练的背景质量增强方法一具体应用实例中未改进方法处理结果示意图；
[0033]图6为本专利技术实施例的基于结构重参数化训练的背景质量增强方法一具体应用实例中下边是经过改进后的结果示意图。
具体实施方式
[0034]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0035]参照图1，所示为本专利技术实施例的一种基于结构重参数化训练的背景质量增强方法的步骤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于结构重参数化训练的背景质量增强方法，其特征在于，包括训练过程和推理过程，其中：采用结构重参数化模块在训练过程中插入到背景增强模块的模型结构，与背景增强模块一起进行参数优化，在推理过程中经过特定变换操作，将有效参数固定到背景增强模块中；训练过程中输入训练数据对<img
x
,img
ref
>，其中img
x
表示待处理数据，img
ref
表示辅助参考的其他图像信息，背景增强模块用于完成背景区域识别划分和利用辅助信息增强背景质量的一系列操作，模块中基础组件是核大小为3
×
3的二维卷积和激活函数ReLU组合的无分支结构；结构重参数化模块用于将基础组件的参数进行多分支扩展；对经过结构重参数化模块扩展后的背景增强模块的参数进行优化，优化目标是基准图像序列GT和背景增强模块输出数据Y，计算最小重建损失，得到最佳参数θ
all
；推理过程中，数据输入模块将从视频流里或存储介质里加载得到待处理的视频序列和参考帧，输入到经过优化后的背景增强模块中处理；在训练过程中得到结构重参数化模块和背景增强模块的最佳参数θ
all
后，根据结构重参数化方法，采用特定变换方式，将θ
all
映射为只包含基础组件的背景增强模块的参数θ
rep
，重复所有类似结构的变换，得到改进后的背景增强模块的所有模型结构的参数变换；采用数据输出模块将背景增强模块处理好的序列合并到输出视频保存或播放到显示设备上。2.如权利要求1所述的基于结构重参数化训练的背景质量增强方法，其特征在于，结构重参数化模块用于将基础组件的参数进行多分支扩展包括核大小为3
×
1的二维卷积、核大小为1
×
3的二维卷积、核大小为1
×
1的二维卷积和恒等映射。3.如权利要求1所述的基于结构重参数化训练的背景质量增强方法，其特征在于，对经过结构重参数化模块扩展后的背景增强模块的参数进行优化，优化目标是基准图像序列GT和...

【专利技术属性】
技术研发人员：赵浩，陈晓峰，祁伟，谢亚光，
申请(专利权)人：杭州当虹科技股份有限公司，
类型：发明
国别省市：