【技术实现步骤摘要】
本申请涉及图像处理领域，尤其涉及一种多帧图像融合的方法及装置。
技术介绍
1、图像处理
是一个高度发展的领域，涵盖了通过算法和计算机技术来分析、处理、和解释图像数据的各种方法。该领域结合了计算机科学、数学和工程学，以改善和优化图像的质量和信息内容。多帧图像融合作为图像处理的一个分支，可以将来自不同源的多个图像合成为单一图像，以在最终的融合图像中提供比单独图像更丰富、更准确的信息。
2、当用户在低光照或者具有高动态范围的光照条件下拍照时，由于进光量与感光器件限制，通常将会导致单次拍摄会得到信噪比与动态范围均比较低的图像，此时可以利用多帧图像融合增强方法来将多张多帧图像融合得到一张高质量广动态范围的图像。然而，目前大部分多帧图像融合方法得出的图像质量均与参考帧的质量相关，若参考帧的质量较差，例如参考帧中出现了抖动模糊等问题，可能会出现稳定性较差的情况，导致最终的多帧图像融合的质量明显降低。因此，需要提供一种可以提升图像融合的效果，且解决融合图像质量不稳定问题的多帧图像融合方案。
技术实现思路
1、本申请实施例所要解决的技术问题在于，提供一种多帧图像融合的方法及装置，可以提升多帧图像融合方案的效果，且提升融合图像质量的稳定性。
2、第一方面，本申请实施例提供了一种多帧图像融合的方法，可包括：获取n帧第一图像，所述n帧第一图像中的每帧第一图像均为m通道图像，所述m通道图像包括m种不同类型的特征；基于所述n帧第一图像确定所述m种不同类型的特征对应的m个伪图像，并
3、现有的多帧图像融合方法均基于参考帧进行设计，也即是针对多帧输入图像中，选取其中一帧作为多帧图像中的参考帧，且将该参考帧作为多帧图像融合过程中的主要信息来源，导致融合效果非常依赖参考帧的质量，例如当参考帧中出现了抖动模糊等质量问题时，会导致融合效果较差，因此基于参考帧实现的多帧图像融合方案生成的融合图像质量不稳定。针对该技术问题，本申请实施例中可以基于不同的通道类型确定对应的伪图像，并基于该伪图像实现图像融合处理以消除了多帧图像融合方案对于参考帧的依赖，实现了无参考帧的图像融合技术，并确保了融合后的图像质量的稳定性。具体地，本申请实施例中，首先获取n帧第一图像，该n帧第一图像可以为拍摄对象相同或拍摄场景相同的一系列图像(例如，同一场景下连续拍摄得出的图像)，并针对该n帧第一图像中每帧图像通道的类型确定对应的伪图像(例如，从每帧第一图像中分别提取出rgb三种不同类型的通道中的值，将同一类型的通道的值组合成一个n通道的伪图像，共组成3个伪图像)，并基于上述伪图像进行图像融合处理(例如可以通过对伪图像进行操作，进而将有利于最后融合质量提升的通道赋予较大权重，并基于该权重信息对图像的特征进行进一步的操作)，最终确定图像融合后的输出图像，提升了多帧图像融合方案的效果。综上，本申请实施例中可以在无参考帧的情况下实现多帧图像融合(例如，基于多帧样本图像中通道的类型确定伪图像，并对伪图像进行操作，进而将n帧样本图像中质量较高的特征进行融合)，以生成高质量的融合图像，从而避免了融合图像的质量随着参考帧图像质量变差而变差，提升了融合后的输出图像质量的稳定性。
4、在一种可能的实现方式中，所述基于所述m个伪图像确定第二图像，包括；确定所述m个伪图像对应的m个第一特征图，所述m个伪图像中的每个所述伪图像对应一个第一特征图；基于注意力机制确定所述m个第一特征图对应的m个第二特征图，所述m个第一特征图中的每个所述第一特征图对应一个第二特征图；对所述m个第二特征图进行图像融合处理得到所述第二图像。本申请实施例中，可以在基于伪图像确定对应的特征图后，基于通道注意力机制确定特征图中每个特征通道的权重，并对特征图进行图像融合处理得到输出图像。具体地，本申请实施例中可以首先确定每个伪图像对应的m个第一特征图(例如通过卷积提取伪图像的特征确定特征图)，再通过注意力机制将有利于最后融合质量提升的特征通道赋予较大权重，并生成加权处理后的m个第二特征图，以及对m个第二特征图进行图像融合处理确定输出图像(例如，可以通过对m个第二特征图进行通道上的拼接后确定一个融合的特征图，并将该融合后的特征图输入由一系列卷积组成的输出通道逐渐减少的神经网络，最后确定融合增强过的输出图像)。综上，相较于目前的多帧图像融合方案会因为参考帧的质量影响输出图像的质量，本申请实施例中可以基于m个伪图像确定n帧图像中质量较好的特征(例如，对基于m个伪图像生成的特征图进行加权处理，并基于通道的权重进行后续的多帧图像融合)，以生成高质量的输出图像，极大的提升了多帧图像融合方案的效果。
5、在一种可能的实现方式中，所述确定所述m个伪图像对应的m个第一特征图，包括；通过第一卷积操作对所述m个伪图像进行第一特征提取，确定对应的所述m个第一特征图，所述m个第一特征图中的每个第一特征图包括q个第一特征通道，q为大于0的整数。本申请实施例中，可以通过从m个伪图像中提取特征以确定m个第一特征图，以实现后续的多帧图像的高效融合，例如，可以通过卷积操作从伪图像中提取特征，以更准确地捕捉图像的信息和特征，从而为后续的多帧图像融合处理和分析提供了更为丰富和详细的数据基础。
6、在一种可能的实现方式中，所述基于注意力机制确定所述m个第一特征图对应的m个第二特征图，包括；针对所述m个第一特征图中每个第一特征图，确定每个所述第一特征图的所述q个第一特征通道中的每个第一特征通道的权重；基于每个所述第一特征图的所述q个第一特征通道的权重对所述q个第一特征通道进行加权处理，确定每个所述第一特征图的所述q个第一特征通道对应的q个第二特征通道，所述q个第一特征通道中的每个第一特征通道对应一个第二特征通道；确定所述m个第一特征图对应的所述m个第二特征图，每个所述第二特征图包括对应的第一特征图的所述q个第一特征通道对应的q个第二特征通道。本申请实施例中，可以通过通道注意力机制对伪图像中的不同帧贡献的通道进行挑选，将有利于最后融合质量提升的通道赋予较大权重。具体地，本申请实施例中可以通过通道注意力机制确定每个第一特征图中q个第一特征通道的权重，并对这些特征通道进行加权处理，以生成q个第一特征通道对应的q个第二特征通道，进而形成m个第二特征图，后续的多帧图像融合方法可以基于本申请实施例中获取的特征通道的权重信息，生成高质量的融合图像。综上，本申请实施例中通过将有利于最后融合质量提升的通道赋予较大权重，不仅提高了特征提取的准确性，而且优化了多帧图像融合的效果，可以更有效地处理和分析多帧图像中的信息，从而在各种应用场景中(如低光照或者具有高动态范围的光照条件下拍摄的照片等)实现更高质量的图像融合。
7、在一种可能的实现方式中，所述对所述m个第二特征图进行图像融合处理得到所述第二图像，本文档来自技高网...
【技术保护点】
1.一种多帧图像融合的方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述M个伪图像确定第二图像，包括：
3.根据权利要求2所述的方法，其特征在于，所述确定所述M个伪图像对应的M个第一特征图，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于注意力机制确定所述M个第一特征图对应的M个第二特征图，包括：
5.根据权利要求2-4中任一项所述的方法，其特征在于，所述对所述M个第二特征图进行图像融合处理得到所述第二图像，包括：
6.根据权利要求1-5中任一项所述的方法，其特征在于，应用于电子设备，所述电子设备包括多帧图像融合模型；所述基于所述N帧第一图像确定所述M种不同类型的特征对应的M个伪图像，并基于所述M个伪图像确定第二图像，包括：
7.根据权利要求6所述的方法，其特征在于，所述多帧图像融合模型包括通道重组子模型、注意力子模型和多层卷积子模型；所述将所述N帧第一图像输入所述多帧图像融合模型中，输出所述第二图像，包括：
8.根据权利要求7所述的方法，其特征在于
9.根据权利要求7或8所述的方法，其特征在于，所述多帧图像融合模型为通过输入N帧第三图像作为样本数据，并将融合后的第四图像作为标签训练得到，或者基于历史样本单据训练得到。
10.根据权利要求9所述的方法，其特征在于，所述N帧第三图像为对预设的样本图像进行数据退化，和/或进行顺序调整后确定的。
11.根据权利要求1-10中任一项所述的方法，其特征在于，所述M通道图像为RGB通道类型图像。
12.一种多帧图像融合的装置，其特征在于，所述装置包括：
13.根据权利要求12所述的装置，其特征在于，所述第二图像确定单元，具体用于：
14.根据权利要求13所述的装置，其特征在于，所述第二图像确定单元，具体用于：
15.根据权利要求14所述的装置，其特征在于，所述第二图像确定单元，具体用于：
16.根据权利要求13-15中任一项所述的装置，其特征在于，所述第二图像确定单元，具体用于：
17.根据权利要求12-16中任一项所述的装置，其特征在于，应用于电子设备，所述电子设备包括多帧图像融合模型；所述第二图像确定单元，具体用于：
18.根据权利要求17所述的装置，其特征在于，所述多帧图像融合模型包括通道重组子模型、注意力子模型和多层卷积子模型；所述第二图像确定单元，具体用于：
19.根据权利要求18所述的装置，其特征在于，所述第二图像确定单元，具体用于：
20.根据权利要求18或19所述的装置，其特征在于，所述多帧图像融合模型为通过输入N帧第三图像作为样本数据，并将融合后的第四图像作为标签训练得到，或者基于历史样本单据训练得到。
21.根据权利要求20所述的装置，其特征在于，所述N帧第三图像为对预设的样本图像进行数据退化，和/或进行顺序调整后确定的。
22.根据权利要求12-21中任一项所述的装置，其特征在于，所述M通道图像为RGB通道类型图像。
23.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述权利要求1-11中任一项所述的方法。
24.一种计算机程序，其特征在于，所述计算机程序包括指令，当所述计算机程序被计算机执行时，使得所述计算机执行如权利要求1-11中任一项所述的方法。
...【技术特征摘要】
1.一种多帧图像融合的方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述m个伪图像确定第二图像，包括：
3.根据权利要求2所述的方法，其特征在于，所述确定所述m个伪图像对应的m个第一特征图，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于注意力机制确定所述m个第一特征图对应的m个第二特征图，包括：
5.根据权利要求2-4中任一项所述的方法，其特征在于，所述对所述m个第二特征图进行图像融合处理得到所述第二图像，包括：
6.根据权利要求1-5中任一项所述的方法，其特征在于，应用于电子设备，所述电子设备包括多帧图像融合模型；所述基于所述n帧第一图像确定所述m种不同类型的特征对应的m个伪图像，并基于所述m个伪图像确定第二图像，包括：
7.根据权利要求6所述的方法，其特征在于，所述多帧图像融合模型包括通道重组子模型、注意力子模型和多层卷积子模型；所述将所述n帧第一图像输入所述多帧图像融合模型中，输出所述第二图像，包括：
8.根据权利要求7所述的方法，其特征在于，所述对所述m个第二特征图进行图像融合处理得到所述第二图像，并输出所述第二图像，包括：
9.根据权利要求7或8所述的方法，其特征在于，所述多帧图像融合模型为通过输入n帧第三图像作为样本数据，并将融合后的第四图像作为标签训练得到，或者基于历史样本单据训练得到。
10.根据权利要求9所述的方法，其特征在于，所述n帧第三图像为对预设的样本图像进行数据退化，和/或进行顺序调整后确定的。
11.根据权利要求1-10中任一项所述的方法，其特征在于，所述m通道图像为rgb通道类型图像。
12.一种多帧图像融合的装置，其特征在于，...
【专利技术属性】
技术研发人员：郝智翔，谢其星，丁凡，王宇，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。