【技术实现步骤摘要】
本专利技术涉及图像处理，具体涉及一种基于文本关联先验知识与亮度感知的多曝光图像融合方法及系统。
技术介绍
1、图像融合在计算机视觉领域中占据着核心地位，它通过综合不同输入图像中的关键信息，生成具有优化视觉效果的融合图像。与人类视觉系统凭借感光细胞和瞳孔调节自然适应高动态范围不同，传统数字设备拍摄的图像常受限于亮度与细节表现，难以匹配人眼的感知效果。面对多变的环境亮度条件，如天气变化和日照强度差异，捕获的低动态范围图像往往出现曝光失衡的问题，部分区域过曝或欠曝。
2、为应对这一挑战，研究人员在硬件层面发展了高动态范围成像技术，尽管高端摄影设备能显著提升成像质量，但其高昂的成本和应用的局限性仍不容忽视。因此，多曝光图像融合技术应运而生，旨在将不同曝光条件下的多幅图像整合为一，融合每幅图像中的最佳视觉元素，从而展现更为完整、细腻的场景结构和细节，提升图像内容的丰富度和表现力。
3、初期，多曝光图像融合多依赖于基于数学运算的传统方法，聚焦于空间域或变换域的融合策略，依靠经验规则构建曝光适宜的图像。然而，这类方法在面对复杂多变的场景时显得力不从心，常导致对比度损失和纹理细节模糊。
4、随着深度学习技术的兴起，图像融合领域迎来了革命性进展。对比学习、架构搜索等先进技术被引入，旨在通过深度学习模型捕捉并融合图像中更深层次的视觉特征。然而，面对极端复杂的场景，这些方法仍可能产生不稳定的融合效果。
5、为了进一步提升融合效果，研究人员开始探索文本信息在图像融合中的潜力，期望利用文本语义指导融合过程。
技术实现思路
1、本专利技术的目的在于，提出一种基于文本关联先验知识与亮度感知的多曝光图像融合方法及系统，其生成的融合结果展现出更宽的动态范围，同时保留了丰富的细节和出色的结构。
2、根据本公开实施例的第一个方面，提供了一种基于文本关联先验知识与亮度感知的多曝光图像融合方法，包括以下步骤：
3、将欠曝图像、过曝图像、欠曝图像的文本描述、过曝图像的文本描述输入至文本关联网络进行训练，得到先验知识；
4、将欠曝图像、过曝图像输入至多曝光融合网络的特征提取器，分别得到欠曝图像的特征图和过曝图像的特征图；
5、将先验知识、欠曝图像的特征图和过曝图像的特征图输入至多曝光融合网络的先验引导模块，获得粗融合结果；
6、将粗融合结果输入至多曝光融合网络的亮度感知模块，调整粗融合结果的亮度表现，保留极端曝光区域的丰富细节特征，得到精融合结果。
7、根据本公开实施例的第二个方面，提供了一种基于文本关联先验知识与亮度感知的多曝光图像融合系统，包括：
8、先验知识获取模块，将欠曝图像、过曝图像、欠曝图像的文本描述、过曝图像的文本描述输入至文本关联网络进行训练，得到先验知识；
9、特征图获取模块，将欠曝图像、过曝图像输入至多曝光融合网络的特征提取器，分别得到欠曝图像的特征图和过曝图像的特征图；
10、粗融合模块，将先验知识、欠曝图像的特征图和过曝图像的特征图输入至多曝光融合网络的先验引导模块，获得粗融合结果；
11、精融合模块，将粗融合结果输入至多曝光融合网络的亮度感知模块，调整粗融合结果的亮度表现，保留极端曝光区域的丰富细节特征，得到精融合结果。
12、根据本公开实施例的第三个方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，所述处理器执行所述程序时实现所述的一种基于文本关联先验知识与亮度感知的多曝光图像融合方法。
13、根据本公开实施例的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的一种基于文本关联先验知识与亮度感知的多曝光图像融合方法。
14、本专利技术采用的以上技术方案，与现有技术相比，具有的优点是：本专利技术的文本关联网络帮助更好地理解场景内容；多曝光融合网络借助先验知识可以从图像中提取外观变化巨大的物体特征，增强融合性能，其中先验引导模块利用先验知识整合欠曝图像和过曝图像所含的信息，进而帮助提升网络的特征提取能力和场景重构能力；亮度感知模块通过欠曝图像和过曝图像生成亮度感知图，调整融合结果的亮度表现，保留极端曝光区域的丰富细节。
15、本申请可以在现有的公开多曝光图像数据集上进行融合操作，融合结果可以有效保留欠曝图像和过曝图像中全面的细节，更加准确地描述场景内容。
本文档来自技高网...【技术保护点】
1.基于文本关联先验知识与亮度感知的多曝光图像融合方法，其特征在于，包括以下步骤：
2.根据权利要求1所述基于文本关联先验知识与亮度感知的多曝光图像融合方法，其特征在于，欠曝图像、过曝图像分别输入至文本关联网络的视觉编码器得到图像特征，欠曝图像的文本描述、过曝图像的文本描述分别输入至文本关联网络的标题编码器得到本文特征，通过关联损失函数缩短跨膜态差距。
3.根据权利要求2所述基于文本关联先验知识与亮度感知的多曝光图像融合方法，其特征在于，所述关联损失函数为：
4.根据权利要求1所述基于文本关联先验知识与亮度感知的多曝光图像融合方法，其特征在于，获得粗融合结果方式为：
5.根据权利要求1所述基于文本关联先验知识与亮度感知的多曝光图像融合方法，其特征在于，所述亮度感知模块包括对比感知模块和亮度调整模块，所述对比感知模块基于欠曝图像的特征图和过曝图像的特征图，预测亮度感知图；所述亮度调整模块基于粗融合结果、亮度感知图，即引入双域注意力机制实现了双重亮度调制，得到精融合结果。
6.根据权利要求5所述基于文本关联先验知识与亮度感知
7.根据权利要求1所述基于文本关联先验知识与亮度感知的多曝光图像融合方法，其特征在于，所述多曝光融合网络为端到端模型，引入结构损失进行参数更新；所述结构损失定义如下：
8.一种基于文本关联先验知识与亮度感知的多曝光图像融合系统，其特征在于，包括：
9.一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-7任一项所述的一种基于文本关联先验知识与亮度感知的多曝光图像融合方法。
10.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-7任一项所述的一种基于文本关联先验知识与亮度感知的多曝光图像融合方法。
...【技术特征摘要】
1.基于文本关联先验知识与亮度感知的多曝光图像融合方法，其特征在于，包括以下步骤：
2.根据权利要求1所述基于文本关联先验知识与亮度感知的多曝光图像融合方法，其特征在于，欠曝图像、过曝图像分别输入至文本关联网络的视觉编码器得到图像特征，欠曝图像的文本描述、过曝图像的文本描述分别输入至文本关联网络的标题编码器得到本文特征，通过关联损失函数缩短跨膜态差距。
3.根据权利要求2所述基于文本关联先验知识与亮度感知的多曝光图像融合方法，其特征在于，所述关联损失函数为：
4.根据权利要求1所述基于文本关联先验知识与亮度感知的多曝光图像融合方法，其特征在于，获得粗融合结果方式为：
5.根据权利要求1所述基于文本关联先验知识与亮度感知的多曝光图像融合方法，其特征在于，所述亮度感知模块包括对比感知模块和亮度调整模块，所述对比感知模块基于欠曝图像的特征图和过曝图像的特征图，预测亮度感知图；所述亮度调整模块基于粗融合结...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。