一种天气线索指导下的影像光场信息转换方法技术

本发明专利技术涉及一种天气线索指导下的影像光场信息转换方法，属于图形处理技术领域。主要由四个网络组成，分别是影像光场匹配网络M、光场天气语义结构分割模块F、光场天气线索提取模块W和全局天气光场生成模块S，每个网络对源图片进行不同的图像处理。共同构成了多天气光场信息转换统一框架，实现了在同一个生成对抗网络中完成5种天气光场之间的相互转换。本发明专利技术方法能在影像光场信息转换的整个过程中，尽可能的保留图片中和天气光场无关的建筑物，人等物体图像，对天空、地面等光场天气线索相关区域根据目标天气的属性和要求进行相应地精确且多样性地天气光场信息转换。确且多样性地天气光场信息转换。确且多样性地天气光场信息转换。

【技术实现步骤摘要】
一种天气线索指导下的影像光场信息转换方法


[0001]本专利技术属于计算机视觉，图形处理
，具体涉及一种天气线索指导下的影像光场信息转换方法。

技术介绍

[0002]天气线索指导下的影像光场信息的转换是一个复杂的改变图片中天气光场的任务，与图片恢复和风格转换等任务有一定的联系和区别。
[0003]图片恢复方法只能对影像的雨天和雾天光场进行去雨和去雾等光场操作，使图片更加清晰，如文献1“K.He,J.Sun,and X.Tang,“Single image haze removal using dark channel prior,”in Proc.IEEE Conference on Computer Vision and Pattern Recognition,2009,pp.1956
–
1963.”中提出建立低秩模型来移除图片中的雨滴。文献2“Y.Chang,L.Yan,and S.Zhong,“Transformed low
‑
rank model for line pattern noise removal,”in Proc.IEEE International Conference on Computer Vision,2017,pp.1735
–
1743.”中建立暗通道先验模型移除图片中的雾元素光场。去雨、去雾算法通常需要建立复杂的数学模型来估计图片中的噪声，无法将雾天和雨天转换到其他天气光场(如晴天、雪天、阴天等)，也无法将其他天气类型转换到雾天或者雨天光场。
[0004]图片风格转换算法使用生成对抗模型对图片的整体光场进行转换，但没有也无法应对多种天气光场之间的转换。文献3“J.Zhu,T.Park,P.Isola,and A.A.Efros,“Unpaired image
‑
to
‑
image translation using cycle
‑
consistent adversarial networks,”in Proc.IEEE International Conference on Computer Vision,2017,pp.2242
–
2251.”中通过组合两个生成对抗网络，并提出循环一致性的损失训练策略，成为一种通用的图片风格迁移框架。基于生成对抗网络的图片风格迁移方法中一个网络一般只能完成两个天气光场之间的转换，且无法对图片中的天气光场进行精确编辑，只能转换图片整体的光场，转换的结果虚假不真实不自然。除此之外，这些方法大都受制于天气数据集数据分布不平衡因素的影响，转换的图片常常严重过拟合，显得虚假，可用率低。

技术实现思路

[0005]要解决的技术问题
[0006]为了避免现有天气数据集分布不平衡问题以及现有方法无法应对多种天气光场转换并精确编辑影像光场的问题，本专利技术提出一种天气线索指导下的影像光场信息转换方法。
[0007]技术方案
[0008]一种天气线索指导下的影像光场信息转换方法，其特征在于步骤如下：
[0009]步骤B1：源图片表示为x，源图片的光场天气类型为y，天气光场转换的目标光场天气为随机初始化随机潜在编码z1和z2，输入到影像光场匹配网络M中产生目标光场天气的两个不同的光场天气控制编码和
[0010]步骤B2：以步骤B1中的源图片x作为光场天气语义结构分割模块F的输入，得到天气光场线索分割图F
y
(x)；
[0011]步骤B3：光场天气线索提取模块W以步骤B1中输出的步骤B2中输出的光场天气光场分割图F
y
(x)和步骤B1中的源图片x作为输入，输出相应的光场天气线索图
[0012]步骤B4：全局天气光场生成模块S以步骤B1中输出的和源图片x作为输入，输出全局天气光场转换图并以步骤B3中输出的光场天气线索图为指导，合成最终的天气光场转换图为指导，合成最终的天气光场转换图定义为：
[0013][0014][0014][0016]所述的影像光场匹配网络M由三层全联接网络层组成。
[0017]所述的天气语义结构分割模块F由编解码器网络组成。
[0018]所述的天气线索提取模块W由带参数的正则化编解码器网络构成。
[0019]所述的全局天气光场生成模块S由带参数的正则化编解码器网络组成。
[0020]一种计算机系统，其特征在于包括：一个或多个处理器，计算机可读存储介质，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的方法。
[0021]一种计算机可读存储介质，其特征在于存储有计算机可执行指令，所述指令在被执行时用于实现上述的方法。
[0022]有益效果
[0023]本专利技术提供的一种天气线索指导下的影像光场信息转换方法，它能在在影像光场信息转换的整个过程中，尽可能的保留图片中和天气光场无关的建筑物，人等物体图像，对天空、地面等光场天气线索相关区域根据目标天气的属性和要求进行相应地精确且多样性地天气光场信息转换。并有效避免现有数据集不平衡问题，并通过一个统一的天气光场转换器完成五种光场天气(晴天，雨天，阴天，雪天，雾天)两两之间总计20种类型的天气光场转换，影像光场转换的真实性和多样性指标FID达到了48.998，影像光场天气转换的准确率达到78.83％。另外，本方法不仅可以应用在天气光场转换任务上，还可以扩展应用在极端环境光场转换和精确的图片编辑，图片恢复，场景生成，风格迁移等视觉任务上。
附图说明
[0024]附图仅用于示出具体实施例的目的，而并不认为是对本专利技术的限制，在整个附图中，相同的参考符号表示相同的部件。
[0025]图1本专利技术训练流程图；
[0026]图2本专利技术测试流程图；
[0027]图3本专利技术天气转换效果图。
具体实施方式
[0028]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。此外，下面描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0029]一种天气线索指导下的影像光场信息转换方法，主要由四个网络组成，分别是影像光场转换器G、影像光场匹配网络M、天气光场编码器E和天气光场鉴别器D。其中光场转换器由三个部分组成，分别是光场天气语义结构分割模块F、光场天气线索提取模块W和全局天气光场生成模块S。影像光场转换器，影像光场匹配网络，天气光场编码器和天气光场鉴别器共同构成了多天气光场信息转换统一框架，实现了在同一个生成对抗网络中完成5种天气光场之间的相互转换。影像光场转换器首先完成了天气光场语义结构信息识别和处理，并在多天气光场信息转换统一框架的帮助下完成影像在多种天气下的影像光场信息转换。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种天气线索指导下的影像光场信息转换方法，其特征在于步骤如下：步骤B1：源图片表示为x，源图片的光场天气类型为y，天气光场转换的目标光场天气为随机初始化随机潜在编码z1和z2，输入到影像光场匹配网络M中产生目标光场天气的两个不同的光场天气控制编码和步骤B2：以步骤B1中的源图片x作为光场天气语义结构分割模块F的输入，得到天气光场线索分割图F
y
(x)；步骤B3：光场天气线索提取模块W以步骤B1中输出的步骤B2中输出的光场天气光场分割图F
y
(x)和步骤B1中的源图片x作为输入，输出相应的光场天气线索图步骤B4：全局天气光场生成模块S以步骤B1中输出的和源图片x作为输入，输出全局天气光场转换图并以步骤B3中输出的光场天气线索图为指导，合成最终的天气光场转换图为指导，合成最终的天气光场转换图定义为：定义为：2.根据权利要求1所述的天气线索...

【专利技术属性】
技术研发人员：李学龙，赵斌，李晨，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：