【技术实现步骤摘要】
本专利技术属于数字图像处理，具体涉及双分支的红外与可见光图像融合方法。
技术介绍
1、单一传感器受到成像机理和制造工艺的限制，难以捕获场景的全面信息。面对在复杂多变的环境条件下对高质量图像的迫切需求，单一传感器已不能满足多种实际任务需要，因而多传感器系统应运而生。对同一场景，多传感器系统可以从不同方面和角度进行表达，捕获特点各不相同的图像。为了获取同一场景下高质量图像，整合不同图像中的优势互补信息同时剔除无用成分，图像融合技术应运而生。
2、目前，图像融合技术已经被广泛应用于各个领域。例如，在临床诊断中，将电子计算机断层扫描(ct)及核磁共振(mr)影像中重要信息进行融合，得到融合后的医学诊断图像可减小精确诊断的难度；在数字摄影中，将不同曝光程度图像或不同焦点图像融合，得到具有多曝光图像信息和多聚焦信息图像，可提供更为清晰与逼真的数字图像；在遥感图像处理中，全色(pan)图像与多光谱(ms)图像融合，可得到空间分辨率较高且光谱信息内容丰富的融合图像；在目标探测或监控中，为实现系统全天候工作，将红外与可见光图像进行融合，红外图像的目标强度及可见光图像的细节能够很好地保留在最终的融合图像中，更易于观察具体的目标信息。
3、近三十年以来，红外与可见光图像融合技术的研究发展已较为成熟。红外传感器对场景中的热辐射能量比较敏感，因此在复杂的环境下，可以很容易通过捕捉到物体的热辐射信息从而发现隐匿在不明显场景中的热目标物体。红外图像的获取基本不受障碍物遮挡或者极端天气的影响，且对光照强度不敏感。因此，红外图像具有空间分
技术实现思路
1、本专利技术的目的是提供双分支的红外与可见光图像融合方法，使用cnn和transformer构成了双分支特征提取网络，利用cnn对局部信息的捕获能力和transformer对全局上下文信息的捕获能力，充分提取了图像的局部特征和全局特征，从而保证融合后的图像包含更多的有用信息。
2、本专利技术所采用的技术方案是，双分支的红外与可见光图像融合方法，具体按照以下步骤实施：
3、步骤1、将红外图像和可见光图像分别作为输入，划分数据为训练集和测试集；
4、步骤2、构建结合cnn和transformer的双分支融合网络模型，确定损失函数；
5、步骤3、将所述步骤1中划分的训练集输入到步骤2构建的融合网络模型中，设置参数，进行训练，得到训练好的融合网络模型；
6、步骤4、使用训练好的融合网络模型，对测试集的图像数据进行融合；
7、步骤5、对融合图像质量进行评估。
8、本专利技术的特点还在于，
9、步骤1具体按照以下步骤实施：
10、步骤1、对于红外图像和可见光图像的数据集划分，将采用不同的比例进行划分，把红外图像划分为训练集和测试集，训练集和测试集的比例为9：1；而对于可见光图像，同样采用比例为9：1的方式进行划分，得到红外与可见光图像数据的90％作为训练集，10％作为测试集。
11、步骤2具体按照以下步骤实施：
12、步骤2.1、双分支融合融合模型包含2个部分，分别是特征提取部分和图像重构部分。
13、步骤2.2、对于特征提取部分，使用cnn和transformer构建双分支的特征提取网络，具体来说，将步骤1得到的训练集中的红外与可见光图像输入到步骤2中的融合网络模型中，首先采用3*3的卷积进行粗特征提取，输出通道为16，然后将提取的特征分别送入cnn分支和transformer分支，cnn分支由3个密集连接卷积块denseblock组成，3个denseblock的输出通道依次是32、48、48，transformer分支则由一个transformer block和一个1*1的卷积层组成，其中transformer block由三个自适应transformer组成，该模块的输入为16通道，输出也为16通道，然后再经过1*1的卷积层，得到通道数为48的全局特征，最后将cnn分支和transformer分支提取的特征进行相加得到混合特征；
14、步骤2.3、特征提取网络分别提取到红外图像的混合特征和可见光图像的混合特征，然后进行拼接，得到96通道的特征，最后，图像重构网络得到融合图像，图像重构网络由3个3*3的卷积层和1个1*1的卷积层串联组成，每个卷积层的输出通道数依次是64，32，16，1；
15、步骤2.4、使用的损失函数包含两部分，即强度损失和梯度损失，整体损失函数为：
16、lc＝li+αlt
17、其中，α表示在强度损失和提取损失之间取得平衡的超参数，lc表示总损失，li表示强度损失，lt表示梯度损失。强度损失被用来约束图像的亮度和对比度，梯度损失来约束图像的细粒度特征。因此，强度损失可以被定义为：
18、
19、其中，li表示强度损失，h和w分别使图像的长度和宽度，max()表示元素的最大值求取，if表示融合后的图像，iir表示红外图像，ivi表示可见光图像，|| ||1表示1范数，对于同一位置的像素，选择更高强度值的像素作为融合的对应像素；
20、在图像融合任务中，需要引入梯度损失，以促使融合图像包含更多的细粒度纹理信息，梯度损失定义为：
21、
22、其中，lt表示强度损失，表示sobel算子，|·|表示绝对值计算，h和w分别使图像的长度和宽度，max()表示元素的最大值求取，if表示融合后的图像，iir表示红外图像，ivi表示可见光图像，|| ||1表示1范数。
23、步骤3具体按照以下步骤实施：
24、步骤3.1、在整个训练过程，将程序代码中的batchsize的大小设为2，学习率为0.001，epoch为15，优化器为adam，将包含红外图像和可见光图像的训练数据集输入到融合网络模型中，最终得到一个训练好的融合模型。
25、步骤4具体按照以下步骤实施：
26、步骤4.1、将测试集中的红外和可见光图像数据，输入到步骤2搭建的融合网络模型中，并带入训练好的权重系数，最终输出融合后的图像，融合后的图像不仅包含丰富的纹理结构和颜色信息，还包含物体的大小形状等目标信息。
27、步骤5具体按照以下步骤实施：
28、步骤5.1、将步骤4得到的融合图像进行主观和客观评价，具体的，选择8个常用的图像客观评估指标，包括信息熵en、互信息mi、空间频率sf、平均梯度ag、标准差sd、保真度vif、边缘信息qabf和结构相似性ssim，指标的值本文档来自技高网...
【技术保护点】
1.双分支的红外与可见光图像融合方法，其特征在于，具体按照以下步骤实施：
2.根据权利要求1所述的双分支的红外与可见光图像融合方法，其特征在于，所述步骤1具体按照以下步骤实施：
3.根据权利要求2所述的双分支的红外与可见光图像融合方法，其特征在于，所述步骤2具体按照以下步骤实施：
4.根据权利要求2所述的双分支的红外与可见光图像融合方法，其特征在于，所述步骤3具体按照以下步骤实施：
5.根据权利要求3所述的双分支的红外与可见光图像融合方法，其特征在于，所述步骤4具体按照以下步骤实施：
6.根据权利要求4所述的双分支的红外与可见光图像融合方法，其特征在于，所述步骤5具体按照以下步骤实施：
【技术特征摘要】
1.双分支的红外与可见光图像融合方法，其特征在于，具体按照以下步骤实施：
2.根据权利要求1所述的双分支的红外与可见光图像融合方法，其特征在于，所述步骤1具体按照以下步骤实施：
3.根据权利要求2所述的双分支的红外与可见光图像融合方法，其特征在于，所述步骤2具体按照以下步骤实施：
4.根据...
【专利技术属性】
技术研发人员：王文卿，李凌舟，刘涵，何霁，梁莉莉，郭润元，穆琨鹏，杨毅飞，贾飞，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。