【技术实现步骤摘要】
本申请涉及数字图像复原，特别是涉及一种基于深度展开的单图像反射去除方法、装置和计算机设备。
技术介绍
1、单图像去反射(single image reflection removal,sirr)是一个典型的盲源分离问题。其目的是将通过玻璃拍摄含有反射层的图像i分解为透射图像t和反射图像r。一般来说，认为i被为t和r的线性组合，即i＝t+r。i的分解是一个高度不适定的问题，因为存在无限数量的可行分解，其形式为i＝(t+q)+(r-q)，其中q是t和r之间共享的图像内容。sirr的目标是最小化q，同时保正分离出的透射图像和反射图像的自然性。
2、为了消除在分离过程中t和r存在的歧义，需要通过先验知识来约束解的空间，现有的图像去反射方法利用的先验包括梯度稀疏先验、相对平滑先验等等。上述基于模型的方法明确定义了图像先验，并将图像反射去除表述为一个优化问题。其数学公式和优化算法具有很高的可解释性，但其去反射性能较弱。且这些基于模型单图像去反射方法的去效果与最新的基于深度学习的方法相比并没有优势。
3、基于学习的方法则是通过对特定的任务设计合适的网络和损失函数，实现性能的持续改进。如ceilnet由e-cnn和i-cnn两个子网络组成，分别用于边缘的预测和图像的重构。zhang等人提出同时用排除损失、感知损失和对抗损失来学习图像反射去除网络。bdn使用级联深度网络交替估计反射图像和透射图像。errnet通过额外的对齐不变损失，利用未对齐的训练数据进行学习。ibcln使用迭代增强卷积网络逐步将包含反射的图像分成透射图像
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种基于深度展开的单图像反射去除方法、装置和计算机设备。
2、一种基于深度展开的单图像反射去除方法，所述方法包括：
3、获取训练样本；所述训练样本包括观察目标对应的传输图像和混合图像；所述传输图像为观察目标图像；所述混合图像为通过玻璃拍摄的观察目标图像；
4、根据所述传输图像和所述混合图像计算得透射图像和反射图像，根据透射图像和反射图像计算基于变换的排异先验，对基于卷积稀疏编码的反射消除模型施加所述排异先验，得到单图像反射移除模型；
5、根据预先设置的迭代特征与辅助分离算法对单图像反射移除模型参数的优化过程，构建用于对混合图像去反射的深度展开去反射网络；所述深度展开去反射网络包括依次连接的多个展开分离块，每一展开分离块对应于所述迭代特征与辅助分离算法对所述单图像反射移除模型参数的一次迭代；
6、根据训练样本和与预先构建的损失函数对所述深度展开去反射网络进行训练，得到训练好的深度展开去反射网络；
7、将待去反射的混合图像输入所述训练好的深度展开去反射网络，得到去反射后的图像。
8、在其中一个实施例中，还包括：对基于卷积稀疏编码的反射消除模型施加所述排异先验，得到单图像反射移除模型为：
9、
10、其中，λt,λr,κ是正则化参数，t是透射图像，r是反射图像，pt(zt)和pr(zr)则表示规范化t和r图像的特征，使其变稀疏，zt是透射图像对应的稀疏特征，zr是反射图像对应的稀疏特征，是关于图像t的第i个卷积核，是关于图像r的第i个卷积核，wm表示小波变换的第m个滤波器，是f-范数，是卷积操作，⊙是逐元素相乘操作。
11、在其中一个实施例中，还包括：对所述单图像反射移除模型进行半二次分裂，得到新的单图像反射移除模型为：
12、
13、其中，τ是正则化参数，是透射图像的辅助参数，是反射图像的辅助参数，‖·‖1是1范数；利用迭代特征与辅助分离算法更新所述新的单图像反射移除模型中透射图像和反射图像对应的稀疏特征和辅助参数；更新过程表示为：
14、
15、其中，proxηλ/τ(·)是与先验项pt(·)和pr(·)相对应的近似点算子，表示转置卷积，表示wm的逆滤波器，k为算法迭代次数，η3和η4为步长参数，i为混合图像。
16、在其中一个实施例中，还包括：每一所述展开分离块包括结构相同的第一特征预测模块和第二特征预测模块以及结构相同的第一排异交互模块和第二排异交互模块；所述第一特征预测模块和所述第二特征预测模块分别用于根据所述迭代特征与辅助分离算法对透射图像和反射图像的稀疏特征进行更新；所述第一排异交互模块和所述第二排异交互模块分别用于根据所述迭代特征与辅助分离算法对透射图像和反射图像的辅助参数进行更新。
17、在其中一个实施例中，还包括：所述第一特征预测模块根据上一次迭代时所述透射图像的稀疏特征、辅助参数以及当前第一排异交互模块的输出对所述透射图像的稀疏特征进行更新。
18、在其中一个实施例中，还包括：所述第一排异交互模块根据上一次迭代时所述透射图像和反射图像的辅助参数以及当前第一特征预测模块和第一特征预测模块的输出对所述透射图像的辅助参数进行更新。
19、在其中一个实施例中，还包括：根据深度展开去反射网络的重建损失、感知损失、对抗损失和排异损失，构建损失函数为：
20、
21、其中，为重建损失，为感知损失，为对抗损失，为排异损失，λe、λp和λa为正则化参数。
22、一种基于深度展开的单图像反射去除装置，所述装置包括：
23、样本获取模块，用于获取训练样本；所述训练样本包括观察目标对应的传输图像和混合图像；所述传输图像为观察目标图像；所述混合图像为通过玻璃拍摄的观察目标图像；
24、反射移除模型构建模块，用于根据所述传输图像和所述混合图像计算得透射图像和反射图像，根据透射图像和反射图像计算基于变换的排异先验，对基于卷积稀疏编码的反射消除模型施加所述排异先验，得到单图像反射移除模型；
25、去反射网络构建模块，用于根据预先设置的迭代特征与辅助分离算法对单图像反射移除模型参数的优化过程，构建用于对混合图像去反射的深度展开去反射网络；所述深度展开去反射网络包括依次连接的多个展开分离块，每一展开分离块对应于所述迭代特征与辅助分离算法对所述单图像反射移除模型参数的一次迭代；
26、网络训练模块，用于根据训练样本和与预先构建的损失函数对所述深度展开去反射网络进行训练，得到训练好的深度展开去反射网络；
27、去反射模块，用于将待去反射的混合图像输入所述训练好的深度展开去反射网络，得到去反射后的图像。
28、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
29、获取训练样本；所述训练样本包括观察目标对应的传输图像和混合图像；所述传输图本文档来自技高网...
【技术保护点】
1.一种基于深度展开的单图像反射去除方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对基于卷积稀疏编码的反射消除模型施加所述排异先验，得到单图像反射移除模型包括：
3.根据权利要求2所述的方法，其特征在于，所述预先设置的迭代特征与辅助分离算法对单图像反射移除模型参数的优化过程包括：
4.根据权利要求1至3任一项所述的方法，其特征在于，每一所述展开分离块包括结构相同的第一特征预测模块和第二特征预测模块以及结构相同的第一排异交互模块和第二排异交互模块；
5.根据权利要求4所述的方法，其特征在于，所述第一特征预测模块根据上一次迭代时所述透射图像的稀疏特征、辅助参数以及当前第一排异交互模块的输出对所述透射图像的稀疏特征进行更新。
6.根据权利要求4所述的方法，其特征在于，所述第一排异交互模块根据上一次迭代时所述透射图像和反射图像的辅助参数以及当前第一特征预测模块和第一特征预测模块的输出对所述透射图像的辅助参数进行更新。
7.根据权利要求1至3任一项所述的方法，其特征在于，构建损失函数的
8.一种基于深度展开的单图像反射去除装置，其特征在于，所述装置包括：
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种基于深度展开的单图像反射去除方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对基于卷积稀疏编码的反射消除模型施加所述排异先验，得到单图像反射移除模型包括：
3.根据权利要求2所述的方法，其特征在于，所述预先设置的迭代特征与辅助分离算法对单图像反射移除模型参数的优化过程包括：
4.根据权利要求1至3任一项所述的方法，其特征在于，每一所述展开分离块包括结构相同的第一特征预测模块和第二特征预测模块以及结构相同的第一排异交互模块和第二排异交互模块；
5.根据权利要求4所述的方法，其特征在于，所述第一特征预测模块根据上一次迭代时所述透射图像的稀疏特征、辅助参数以及当前第一排异交互模块的输出对所述透射图像的稀疏特征进行...
【专利技术属性】
技术研发人员：刘天瑞，黄俊杰，赵文涛，刘啸，刘新旺，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。