本发明专利技术实施例公开了一种暗光图像融合方法、装置、电子设备及存储介质，方法包括：获取暗光区域的可见光数据和与所述可见光数据对应的红外光数据；通过预设编码‑解码网络对所述可见光数据和所述红外光数据进行特征融合，得到所述暗光区域的所述暗光区域的增强光图像和所述暗光区域的红外光图像；将所述增强光图像和所述红外光图像对预设对抗网络进行训练，得到目标生成器，所述目标生成器用于图像融合。通过预设编码‑解码网络生成适合融合的增强光图像，提升图像增强能力，保证了融合图像的质量。
1、图像融合算法是现阶段目标识别、图像分割以及图像分类等高级计算机视觉任务的数据预处理关键技术之一。图像融合使用多传感器的多模态数据作为输入，通过特定的算法将多模态数据中清晰的结构或者特征提取后进行融合，例如应用于自动驾驶与道路监控中的红外数据与可见光数据，在黑暗中红外光数据可以清晰地捕捉行人与行驶中车辆的结构光数据，而可见光数据包含有较为丰富的颜色以及纹理数据，更接近人类视觉体验。
2、在现有的暗光图像融合算法中，通常需要发掘更多地目标细节，例如隐藏在黑暗中的汽车以及行人等，通常红外传感器所获的数据为红外光数据信息，能够敏锐地捕捉行人、动物以及发动中的汽车，对于自行车、路牌等则无法有效地获得，对此，单单使用红外光数据来补充隐藏在黑暗中的可见光数据效果是有限的，使得后续高级视觉处理任务效果较差，无法很好地运用于自动驾驶中。
3、其次，现有方法中使用暗光增强来发掘隐藏在黑暗中的细节图像，再使用图像融合算法来融合增强后的可见光图像和红外图像数据，要求暗光增强算法必须生成出符合图像融合算法输入的增强图像，对暗光增强算法提出较高要求，且暗光增强算法和图像融合算法是分开训练的，无法做到统一性上的联系，使得融合图像的质量低下。
>2、第一方面，本专利技术实施例提供了一种暗光图像融合方法，方法包括：3、获取暗光区域的可见光数据和与所述可见光数据对应的红外光数据；
4、通过预设编码-解码网络对所述可见光数据和所述红外光数据进行特征融合，得到所述暗光区域的增强光图像和所述暗光区域的红外光图像；
5、将所述增强光图像和所述红外光图像对预设对抗网络进行训练，得到目标生成器，所述目标生成器用于图像融合。
6、可选地，在所述通过预设编码-解码网络对所述可见光数据和所述红外光数据进行特征融合，得到所述暗光区域的增强光图像和所述暗光区域的红外光图像的步骤之前，还包括：
7、获取预设训练集，所述训练集包括预设可见光数据、与所述预设可见光数据对应的预设可见光图像和与所述预设可见光数据对应的预设红外光数据；
8、基于所述预设可见光数据、所述预设红外光数据和所述预设可见光图像对初始编码-解码网络进行训练，直至所述初始编码-解码网络满足预设要求；
9、将满足所述预设要求的初始编码-解码网络作为所述预设编码-解码网络。
10、可选地，所述基于所述预设可见光数据、所述预设红外光数据和所述预设可见光图像对初始编码-解码网络进行训练，直至所述初始编码-解码网络满足预设要求的步骤，包括：
11、将所述预设可见光数据、所述预设红外光数据输入所述初始编码-解码网络，得到初始反射光图像、初始增强光图像和初始红外光图像；
12、基于所述初始反射光图像和所述初始增强光图像，通过颜色恒常知觉的计算理论生成初始可见光图像；
13、计算所述初始可见光图像与所述预设可见光图像的损失数据，作为第一损失数据；
14、计算所述初始红外光图像与所述预设红外光数据的损失数据，作为第二损失数据；
15、将所述第一损失数据和所述第二损失数据分别与所述预设要求进行对比，得到对比结果；
16、若对比结果为不通过，则根据所述对比结果调整所述初始编码-解码网络的运行参数，直至所述第一损失数据满足所述预设要求中的第一要求，且所述第二损失数据满足所述预设要求中的第二要求。
17、可选地，所述通过预设编码-解码网络对所述可见光数据和所述红外光数据进行特征融合，得到所述暗光区域的增强光图像和所述暗光区域的红外光图像的步骤，包括：
18、将所述可见光数据和所述红外光数据，输入所述预设编码-解码网络中的编码子网络，得到与所述可见光数据对应的可见光特征和与所述红外光数据对应的红外光特征，并通过所述编码子网络对所述可见光特征和所述红外光特征按照维度拼接的方式进行特征融合，得到融合特征；
19、将所述融合特征输入所述预设编码-解码网络中的解码子网络，得到所述增强光图像和所述红外光图像。
20、可选地，所述编码子网络包括第一预设数量个串联连接的编码模块，所述编码模块包括卷积层、第一归一化层和编码激活函数层，其中，所述卷积层的输出端连接所述第一归一化层的输入端，所述第一归一化层的输出端连接所述编码激活函数层的输入端；
21、所述解码子网络包括预设算子模块和第二预设数量个串联连接的解码模块，所述预设算子模块与第三数量个解码模块并联，所述解码模块包括反卷积层、第二归一化层和解码激活函数层，其中，所述反卷积层的输出端连接所述第二归一化层的输入端，所述第二归一化层的输出端连接所述解码激活函数层的输入端。
22、可选地，所述将所述增强光图像和所述红外光图像对预设对抗网络进行训练，得到目标生成器的步骤，包括：
23、基于所述反射光图像和所述增强光图像，通过颜色恒常知觉的计算理论生成可见光图像；
24、通过所述可见光图像对初始对抗网络进行训练，得到目标对抗网络，所述初始对抗网络中的初始生成器包括残差网络，所述初始对抗网络中的初始判别器包括注意力机制网络；
25、通过所述红外光图像对所述目标对抗网络进行训练，得到训练后的目标对抗网络，并将训练后的目标对抗网络中的生成器作为所述目标生成器。
26、可选地，所述方法，还包括：
27、获取待融合可见光数据和待融合红外光数据，并将所述待融合可见光数据和所述待融合红外光数据输入所述目标生成器，以使所述目标生成器分别为所述待融合可见光数据和所述待融合红外光数据添加高斯白噪声，得到融合图像。
28、第二方面，本专利技术实施例还提供了一种暗光图像融合装置，装置包括：
29、数据获取模块，用于获取暗光区域的可见光数据和与所述可见光数据对应的红外光数据；
30、生成模块，用于通过预设编码-解码网络对所述可见光数据和所述红外光数据进行特征融合，得到所述暗光区域的增强光图像和所述暗光区域的红外光图像；
31、融合模块，用于将所述增强光图像和所述红外光图像对预设对抗网络进行训练，得到目标生成器，所述目标生成器用于图像融合。
32、第三方面，本专利技术实施例还提供了一种电子设备，所述电子设备包括：
33、一个或者多个处理器；
34、存储装置，用于存储一个或者多个程序；
35、当所述一个或者多个程序被所述一个或者多个处理器执行，使得所述一个或者多个处理器实现如本专利技术任一所述实施例中的暗光图像融合方法。
36、第四方面，本专利技术实施例还提供了一种包含计算机可执行指令的存储本文档来自技高网...
【技术保护点】
1.一种暗光图像融合方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在所述通过预设编码-解码网络对所述可见光数据和所述红外光数据进行特征融合，得到所述暗光区域的增强光图像和所述暗光区域的红外光图像的步骤之前，还包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述预设可见光数据、所述预设红外光数据和所述预设可见光图像对初始编码-解码网络进行训练，直至所述初始编码-解码网络满足预设要求的步骤，包括：
4.根据权利要求1所述的方法，其特征在于，所述通过预设编码-解码网络对所述可见光数据和所述红外光数据进行特征融合，得到所述暗光区域的增强光图像和所述暗光区域的红外光图像的步骤，包括：
5.根据权利要求4所述的方法，其特征在于，所述编码子网络包括第一预设数量个串联连接的编码模块，所述编码模块包括卷积层、第一归一化层和编码激活函数层，其中，所述卷积层的输出端连接所述第一归一化层的输入端，所述第一归一化层的输出端连接所述编码激活函数层的输入端；
6.根据权利要求1所述的方法，其特征在于，所述将所述增强光图像和所述红外光图像对预设对抗网络进行训练，得到目标生成器的步骤，包括：
7.根据权利要求1所述的方法，其特征在于，所述方法，还包括：
8.一种暗光图像融合装置，其特征在于，所述装置包括：
9.一种电子设备，其特征在于，所述电子设备包括：
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的暗光图像融合方法。
...
【技术特征摘要】
1.一种暗光图像融合方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在所述通过预设编码-解码网络对所述可见光数据和所述红外光数据进行特征融合，得到所述暗光区域的增强光图像和所述暗光区域的红外光图像的步骤之前，还包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述预设可见光数据、所述预设红外光数据和所述预设可见光图像对初始编码-解码网络进行训练，直至所述初始编码-解码网络满足预设要求的步骤，包括：
4.根据权利要求1所述的方法，其特征在于，所述通过预设编码-解码网络对所述可见光数据和所述红外光数据进行特征融合，得到所述暗光区域的增强光图像和所述暗光区域的红外光图像的步骤，包括：
5.根据权利要求4所述的方法，其特征在于，所述编码子网...
【专利技术属性】
技术研发人员：杨晓君，周齐，闵海波，施煜锴，程昱，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。