【技术实现步骤摘要】
本专利技术属于图像处理，尤其涉及一种基于全向混合注意力的双光图像融合方法及系统。
技术介绍
1、语义分割作为计算机视觉中至关重要的任务之一，其核心目标在于对图像中的每个像素进行准确分类，将其归属到对应的语义类别中，从而实现对图像的高级理解与分析。这项任务的重要性在于其广泛的应用领域，包括但不限于对象识别与理解、特征提取与分析、医学影像处理、图像编辑和计算机视觉应用等多方面。通过语义分割，能够为图像处理、分析和应用领域提供基础支持和关键工具。在进行面向分割任务的图像处理时，提取有效的图像特征显得尤为关键。源图像的颜色特征、纹理特征、形状特征、超像素特征以及多尺度特征等，都直接影响着最终分割结果的准确性和质量。因此，精准地选择和提取这些图像特征对于实现优秀的分割效果至关重要。有效的特征提取不仅能够增强分割的准确性，还能够提升图像理解的深度和广度，为各种应用场景下的精细化分析提供有力支持。
2、双光图像融合是一种复合图像处理技术，旨在将可见光图像和红外图像融合，以获取全面和多维信息。在这个过程中，可见光图像捕获了可见光谱范围内的光线信息，而红外图像则捕捉了红外谱段内的热辐射信号。将这两种图像进行融合可以在同一图像中完整地展现可见光和红外信息，从而提供更加丰富、更具深度的场景信息，有助于对复杂场景进行更全面的理解和分析。目前，双光图像融合技术已经在军事、安防监控、医疗影像诊断、工业检测等领域得到了广泛应用。在实践中，常见的双光图像融合技术方案包括加权平均法、主成分分析法(pca)、小波变换法、多分辨率分解与融合法，以及利用深
3、介于双光融合图像有两个不同的信息视角，包含了场景信息、温度分布和热辐射等不同信息，面向双光图像的分割有着重要的意义和优势。首先相较于单光图像分割，双光图像分割可以融合不同的图像特征信息，提供更全面、更丰富的场景理解；其次，双光图像融合了多个传感器的信息，因此对环境变化和光照条件的鲁棒性更强。在恶劣的光照条件下，例如夜间或恶劣天气下，可见光图像可能受到限制，而红外线图像则可能提供更好的可用信息。结合这两种图像进行语义分割可以提高系统的稳健性和鲁棒性；然后，红外线图像可以帮助识别热源、人体或动物等在可见光下难以察觉的目标。通过结合可见光和红外线图像进行语义分割，可以提高对特定物体或目标的检测和识别能力；最后，双光图像的语义分割可应用于多个领域，如军事、安防监控、医学成像、自动驾驶等。例如，在自动驾驶中，结合可见光和红外线图像进行语义分割可以提供更准确的障碍物检测和道路理解。
4、目前在双光图像融合的深度学习方法中，通常采用的是浅层的单向注意力机制，以便更好地提取关键图像区域或通道的信息。这种方法在处理简单图像背景下表现出良好的特征提取能力，能够有效捕捉到图像中的重要信息。然而，当面对分割任务所需的更加复杂、更大量的特征时，仅仅依赖单向注意力机制提取特征会显得有限，存在着融合图像分割感知能力不足、泛化能力差等问题。这种局限性表现在对于复杂场景、多样化背景或大尺寸数据的处理时，单向注意力机制所提取的特征可能无法全面、准确地捕捉到所有相关信息，从而影响到最终分割结果的质量和准确性。因此，在应对更具挑战性的分割任务时，需要探索更为强大和全面的深度学习方法，以克服当前单向注意力机制存在的局限性，并进一步提高对复杂场景的分割感知和泛化能力。
技术实现思路
1、针对现有技术中的上述不足，本专利技术提供的一种基于全向混合注意力的双光图像融合方法及系统，解决了传统方法的融合图像特征不足，不利于后续分割任务的问题。
2、为了达到以上目的，本专利技术采用的技术方案为：一种基于全向混合注意力的双光图像融合方法，包括以下步骤：
3、s1、获取可见光和红外光的原始图像，并进行卷积操作，分别得到可见光图像与红外光图像的输入特征图；
4、s2、利用全向通道注意力机制对可见光图像的输入特征图进行处理，得到全向通道注意力特征图，以及利用全向注意力机制对红外光图像的输入特征图进行处理，得到全向注意力特征图；
5、s3、根据可见光图像的输入特征图与全向通道注意力特征图，生成可见光混合注意力特征图，以及根据红外光图像的输入特征图与全向注意力特征图，生成红外光混合注意力特征图；
6、s4、将可见光混合注意力特征图与红外光混合注意力特征图进行融合操作，得到双光融合图像。
7、本专利技术的有益效果是：本专利技术对双光图像的特性与优势进行了深入剖析，突出了信息融合、鲁棒性和场景感知的多样性。并提出了一种基于深度学习的双通道神经网络架构，采用全向注意力机制，能够同时处理可见光和红外线图像，并专注于针对分割任务特点进行双光图像的精确融合。该网络不仅融合了针对不同波段的特征提取层，同时还集成了跨模态融合模块，有效捕获双光图像所具有的互补信息。具体流程是首先对两幅图进行多尺度变换，再通过全向注意力机制尽量保持并提取不同层次、维度的特征信息，最后计算融合，以得到一幅面向分割特征的包含更多信息的融合图像。本专利技术通过上述设计，克服当前单向注意力机制存在的局限性，并进一步提高对复杂场景的分割感知和泛化能力。
8、进一步地，所述利用全向通道注意力机制对可见光图像的输入特征图进行处理，得到全向通道注意力特征图，其具体为：
9、将可见光图像的输入特征图分别在x、y和z三个方向做全局最大池化和全局平均池化处理，得到三组第一特征图，其中，每组第一特征图分别是1×1×c、1×w×1和h×1×1的特征图，c表示通道数，w表示特征图的高度，h表示特征图的高度；
10、利用三组两层的共享神经网络对三组第一特征图进行加和操作；
11、将经加和操作的三组第一特征图进行sigmoid激活操作；
12、将在x、y和z三个方向经sigmoid激活操作的三组第一特征图按预设的权值相加，得到全向通道注意力特征图。
13、上述进一步方案的技术效果是：本专利技术采用了一种创新的全向混合注意力机制，该机制在特征图的高度(h)、宽度(w)、通道数(c)三个方向上均实现了特征提取。此外，针对可见光图像和红外线图像分别具有更多通道信息和更多空间信息的特点，本专利技术设计了全向通道注意力机制和全向空间注意力机制，以便最大程度地保留原图像中蕴含的丰富特征信息。通过这种混合注意力机制，能够更全面、更准确地捕获双光图像中的关键特征，有效应对分割任务对特征提取的高要求，从而提升图像分割的感知和泛化能力。这种全向混合注意力机制的创新性在于其对多个方向的特征提取，以及针对不同类型图像特征的有针对性处理，为双光图像融合提供了更为高效和全面的解决方案。
14、再进一步地，所述全向通道注意力特征图的表达式如下：
15、
16、
17、
18、其中，f1(c)、f1(w)和f1(h)表示通过本文档来自技高网...
【技术保护点】
1.一种基于全向混合注意力的双光图像融合方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于全向混合注意力的双光图像融合方法，其特征在于，所述利用全向通道注意力机制对可见光图像的输入特征图进行处理，得到全向通道注意力特征图，其具体为：
3.根据权利要求2所述的基于全向混合注意力的双光图像融合方法，其特征在于，所述全向通道注意力特征图的表达式如下：
4.根据权利要求1所述的基于全向混合注意力的双光图像融合方法，其特征在于，所述利用全向注意力机制对红外光图像的输入特征图进行处理，得到全向注意力特征图，其具体为：
5.根据权利要求4所述的基于全向混合注意力的双光图像融合方法，其特征在于，所述全向注意力特征图的表达式如下：
6.根据权利要求1所述的基于全向混合注意力的双光图像融合方法，其特征在于，所述步骤S3包括以下步骤：
7.一种执行权利要求1-6任一所述的基于全向混合注意力的双光图像融合方法的双光图像融合系统，其特征在于，包括：
【技术特征摘要】
1.一种基于全向混合注意力的双光图像融合方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于全向混合注意力的双光图像融合方法，其特征在于，所述利用全向通道注意力机制对可见光图像的输入特征图进行处理，得到全向通道注意力特征图，其具体为：
3.根据权利要求2所述的基于全向混合注意力的双光图像融合方法，其特征在于，所述全向通道注意力特征图的表达式如下：
4.根据权利要求1所述的基于全向混合注意力的双光图像融合方法，其...
【专利技术属性】
技术研发人员：彭志远，赵松璞，赵昕，龚健，罗洪伟，
申请(专利权)人：广东朗翼智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。