【技术实现步骤摘要】
本专利技术涉及q-bench大模型辅助感知的红外可见图像融合方法，属于图像融合。
技术介绍
1、可见光传感器可以清晰地成像人眼可见的物体，其成像结果具有空间分辨率高、纹理细节丰富、更符合人类视觉感知等优点。然而，这种传感器无法在雾和霾等恶劣天气场景中清晰地成像物体。红外传感器通过测量目标与背景之间的温差进行成像，能够有效避免恶劣条件对目标成像的影响，但在相对恒定的温度下仍然无法清晰地成像纹理细节信息。为了整合这两类成像传感器的优势，红外与可见光图像融合技术应运而生。该技术可以将两类传感器提取的互补信息整合成一张显著目标、背景和纹理细节都清晰的图像，实现对场景的更全面描述。目前，大模型因为其强大的推理、分析能力，在各个领域都有了初步的应用。现有的红外可见光图像融合方法对图像的可视化质量评估还没有较为客观的解决方案，限制了融合图像质量的进一步提升。于是，针对上述问题，提出了q-bench大模型辅助感知的红外可见图像融合方法。
技术实现思路
1、为了解决现有方法的不足，本专利技术提供了q-bench大模型辅助感知的红外可见图像融合方法， 该方法利用大模型对图像内容强大的理解和推理能力，将大模型对图像质量反馈的文本作为提示，参与融合特征的调和过程，有针对性的提升了融合图像的质量，得到了视觉效果更加优越的融合结果。
2、本专利技术的技术方案是：q-bench大模型辅助感知的红外可见图像融合方法，所述方法包括：
3、步骤1：获取用于红外图像和可见光图像融合的训练数据集，
4、步骤2：将红外图像和可见光图像输入到各自的特征编码器中，获得红外图像特征和可见光图像特征；
5、步骤3：将红外图像特征和可见光图像特征进行拼接融合，得到融合特征，并通过融合特征重构出融合图像；
6、步骤4：将融合图像输入q-bench大模型得到反馈文本，调和提示生成模块通过反馈文本特征和融合特征获取调和提示，将调和提示与融合特征一同输入映射调和模块中，对融合特征进行修正，利用修正的后融合特征重构出视觉效果优异的融合图像。
7、进一步地，所述步骤1中，所述训练数据集中的每个红外可见光图像对，都由一张红外图像和一张可见光图像组成，每个模态的图像的大小均为256×256；对训练数据集进行预处理的方法包括：随机翻转、随机旋转，对图像进行归一化。
8、进一步地，所述步骤2包括：
9、将可见光图像输入可见光图像特征编码器中，将红外图像输入红外图像特征编码器中，分别获得可见光图像特征和红外图像特征；可见光图像和红外图像的特征提取过程表示为：
10、；
11、每个可见光图像特征编码器、红外图像特征编码器都由3个3×3卷积层和relu激活函数构成的特征提取块通过密集连接的方式相连，最后再通过concat操作和1×1卷积层组成。
12、进一步地，所述步骤3中，将红外图像特征和可见光图像特征进行拼接融合，得到融合特征，并通过融合特征重构出融合图像；获取融合图像的过程如下：
13、<mstyle displaystyle="true" mathcolor="#000000"><mtable columnalign="left"><mtr><mtd><mstyle displaystyle="true" mathcolor="#000000"><mstyle displaystyle="true" mathcolor="#000000"><mi>f</mi></mstyle><mstyle displaystyle="true" mathcolor="#000000"><msub><mrow /><mi>f</mi></msub></mstyle><mstyle displaystyle="true" mathcolor="#000000"><mi>=</mi></mstyle><mstyle displaystyle="true" mathcolor="#000000"><mo>[</mo><mrow><msub><mi>f</mi><mi>ir</mi></msub><mi>,</mi><msub><mi>f</mi><mi>vis</mi></msub></mrow><mo>]</mo></mstyle></mstyle></mtd></mtr><mtr><mtd><mstyle displaystyle="true" mathcolor="#000000"><mstyle displaystyle="true" mathcolor="#000000"><mi>i</mi></mstyle><mstyle displaystyle="true" mathcolor="#000000"><msub><mrow /><mstyle displaystyle="true" mathcolor="#000000"><mi>f</mi></mstyle></msub></mstyle><mstyle displaystyle="true" mathcolor="#000000"><mi>=</mi></mstyle><mstyle displaystyle="true" mathcolor="#000000"><mi>d</mi></mstyle><mstyle displaystyle="true" mathcolor="#000000"><msub><mrow /><mi>f</mi></msub></mstyle><mstyle displaystyle="true" mathcolor="#000000"><mo>(</mo><mrow><mstyle displaystyle="true" mathcolor="#000000"><mi>f</mi>本文档来自技高网...
【技术保护点】
1.Q-Bench大模型辅助感知的红外可见图像融合方法，其特征在于，所述方法包括：
2.根据权利要求1所述的Q-Bench大模型辅助感知的红外可见图像融合方法，其特征在于：所述步骤1中，所述训练数据集中的每个红外可见光图像对，都由一张红外图像和一张可见光图像组成，每个模态的图像的大小均为256×256；对训练数据集进行预处理的方法包括：随机翻转、随机旋转，对图像进行归一化。
3.根据权利要求1所述的Q-Bench大模型辅助感知的红外可见图像融合方法，其特征在于：所述步骤2包括：
4.根据权利要求1所述的Q-Bench大模型辅助感知的红外可见图像融合方法，其特征在于：所述步骤3中，将红外图像特征和可见光图像特征进行拼接融合，得到融合特征，并通过融合特征重构出融合图像；获取融合图像的过程如下：
5.根据权利要求1所述的Q-Bench大模型辅助感知的红外可见图像融合方法，其特征在于：所述步骤3中，使用纹理损失来保留红外图像和可见光图像的纹理细节，进而用于保留融合图像的纹理细节；纹理损失的计算公式如下：
6.根据权利要求1所述的
7.根据权利要求6所述的Q-Bench大模型辅助感知的红外可见图像融合方法，其特征在于：所述步骤4.4中，所述重构出视觉效果优异的融合图像的过程包括：
8.根据权利要求1所述的Q-Bench大模型辅助感知的红外可见图像融合方法，其特征在于：所述步骤4中，使用联合梯度损失来保留红外图像和可见光图像的纹理细节，进而用于保留视觉效果优异的融合图像的纹理细节；联合梯度损失的计算公式如下：
9.Q-Bench大模型辅助感知的红外可见图像融合系统，其特征在于，所述系统包括：用于执行如权利要求1至8任一权利要求所述的Q-Bench大模型辅助感知的红外可见图像融合方法的模块。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述Q-Bench大模型辅助感知的红外可见图像融合方法。
...【技术特征摘要】
1.q-bench大模型辅助感知的红外可见图像融合方法，其特征在于，所述方法包括：
2.根据权利要求1所述的q-bench大模型辅助感知的红外可见图像融合方法，其特征在于：所述步骤1中，所述训练数据集中的每个红外可见光图像对，都由一张红外图像和一张可见光图像组成，每个模态的图像的大小均为256×256；对训练数据集进行预处理的方法包括：随机翻转、随机旋转，对图像进行归一化。
3.根据权利要求1所述的q-bench大模型辅助感知的红外可见图像融合方法，其特征在于：所述步骤2包括：
4.根据权利要求1所述的q-bench大模型辅助感知的红外可见图像融合方法，其特征在于：所述步骤3中，将红外图像特征和可见光图像特征进行拼接融合，得到融合特征，并通过融合特征重构出融合图像；获取融合图像的过程如下：
5.根据权利要求1所述的q-bench大模型辅助感知的红外可见图像融合方法，其特征在于：所述步骤3中，使用纹理损失来保留红外图像和可见光图像的纹理细节，进而用于保留融合图像的纹理细节；纹理损失的计算公式如...
【专利技术属性】
技术研发人员：李华锋，都柯颖，张亚飞，谢明鸿，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。