【技术实现步骤摘要】
基于特征纠缠调制的图像复原方法、装置、设备和介质
[0001]本专利技术涉及深度学习应用
,具体涉及一种基于特征纠缠调制的图像复原方法、装置、设备和存储介质。
技术介绍
[0002]视频监控已广泛应用于社会治安防控体系建设中。但是,由于物体与摄像机之间存在相对运动,监控视频中的画面往往出现模糊、噪声和失真等退化情况,而具有退化情况的图像往往会掩盖图像中关键的信息点,例如车牌信息、人脸信息、证件文字信息等,因此需要对图像的相关退化特性进行去除。
[0003]目前针对退化图像的复原方法主要有两种,一种是根据图像退化数学模型,利用设计的图像先验知识或者正则化约束,例如图像暗通道先验、稀疏先验等,再结合凸优化的方法,求解清晰图像;另一种是通过数据驱动的方法,构建清晰图像与模糊图像的映射关系和网络模型,进而可以对测试的模糊图像进行恢复。基于退化模型的方法,往往只能针对单一的退化因素,难以同时对多种退化因素进行处理。
[0004]对于具有多种退化因素的图像复原问题,其关键的问题是如何设计相应合理的深度学习网络框架,利用高性能的计算机处理能力对网络进行训练,进而可以生成高质量的图像,进而有效地获得丰富和准确的图像细节,为后续图像的使用提供关键线索。
技术实现思路
[0005]为了解决上述现有技术的不足,本专利技术提供了一种基于特征纠缠调制的图像复原方法、装置、设备和存储介质,该方法构建的网络模型包括特征纠缠调制子网络和重构子网络,特征纠缠调制子网络通过特征纠缠与调制机制,使退化特征指导图像调制 ...
【技术保护点】
【技术特征摘要】
1.一种基于特征纠缠调制的图像复原方法,其特征在于,所述方法包括:获取训练数据集;所述训练数据集中的图像对包括退化图像和高质量图像;利用网络模型中的特征纠缠调制子网络对所述退化图像分别进行特征提取和特征调制,得到退化特征和图像调制特征;利用网络模型中的重构子网络对所述退化特征和所述图像调制特征进行图像重构,获得复原图像;根据所述复原图像和所述退化图像对应的训练数据集中的高质量图像,优化网络模型的损失函数,实现网络模型的收敛,从而得到训练好的网络模型;将待测的图像输入所述训练好的网络模型,生成具有清晰细节的复原图像。2.根据权利要求1所述的图像复原方法,其特征在于,所述特征纠缠调制子网络包括退化特征提取器和图像特征调制器;所述利用网络模型中的特征纠缠调制子网络对所述退化图像分别进行特征提取和特征调制,得到退化特征和图像调制特征,具体包括:利用所述退化特征提取器对所述退化图像进行特征提取,得到退化特征;利用所述图像特征调制器对所述退化图像进行特征调制,得到图像调制特征。3.根据权利要求2所述的图像复原方法,其特征在于,所述退化特征提取器包括n个退化特征残差模块;其中,n为设定阈值;所述利用所述退化特征提取器对所述退化图像进行特征提取,得到退化特征,具体包括:当i为1时,利用第i个所述退化特征残差模块对第一输入图像进行特征提取,得到第i个退化特征;其中,所述第一输入图像为所述退化图像;当i为大于1且小于或等于n的正整数时,利用第i个所述退化特征残差模块对第一输入图像进行特征提取,得到第i个退化特征;其中,所述第一输入图像为第i
‑
1个退化特征;所述图像特征调制器包括n个图像特征残差模块;所述利用所述图像特征调制器对所述退化图像进行特征调制,得到图像调制特征,具体包括:当i为1时,利用第i个所述图像特征残差模块对第二输入图像进行特征调制,得到第i个图像调制特征;其中,所述第二输入图像为所述退化图像;当i为大于1且小于等于n的正整数时,利用第i个所述图像特征残差模块对第二输入图像进行特征调制,得到第i个图像调制特征;其中,所述第二输入图像为第i
‑
1个图像调制特征。4.根据权利要求3所述的图像复原方法,其特征在于,每个所述退化特征残差模块包括第一卷积层、第二卷积层以及第一特征叠加操作层和第二特征叠加操作层;所述第一输入图像为所述第i个退化特征为所述第二输入图像为为所述第i个图像调制特征为所述利用第i个所述退化特征残差模块对第一输入图像进行特征提取,得到第i个退化特征,具体包括:根据下式,利用第i个所述退化特征残差模块对第一输入图像进行特征提取,得到
第i个退化特征为第i个退化特征为其中,分别为第i个退化特征残差模块的第一卷积层以及第二卷积层,分别为第i个退化特征残差模块的第一特征叠加操作层和第二特征叠加操作层,分别为第i个退化特征残差模块的第一卷积层、第二卷积层、第一特征叠加操作层以及第二特征叠加操作层的输出;所述特征纠缠调制子网络包括n个特征纠缠模块;每个所述特征纠缠模块包括第一特征级联操作层和第二特征级联操作层;每个所述图像特征残差模块包括第一卷积层、第二卷积层、第三卷积层以及第一特征叠加操作层;所述利用第i个所述图像特征残差模块对第二输入图像进行...
【专利技术属性】
技术研发人员:温峻峰,张浪文,李鑫,杜海江,江志伟,谢巍,杨晓峰,
申请(专利权)人:中科天网广东科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。