融合图像优化系统和方法技术方案

根据一个或多个实施例，本文公开的系统和方法提供针对目标分辨率进行优化的融合图像的生成，诸如通过接收由IR成像传感器采集的红外IR图像、接收由VL成像传感器采集的可见光VL图像、基于目标分辨率与基线分辨率之间的差值来确定缩放系数以及至少通过根据缩放系数修改与基线分辨率相关联的基线融合参数组来确定目标融合参数组。至少通过根据目标融合参数组融合IR图像和VL图像，来生成具有目标分辨率的融合图像。

【技术实现步骤摘要】
【国外来华专利技术】融合图像优化系统和方法相关申请的交叉引用本申请为2017年7月20日提交的题为“融合图像优化系统和方法(FUSEDIMAGEOPTIMIZATIONSYSTEMSANDMETHODS)”的国际专利申请PCT/US2017/043181的继续，其通过引用整体并入本文。国际专利申请PCT/US2017/043181要求于2016年7月21日提交的题为“融合图像优化系统和方法(FUSEDIMAGEOPTIMIZATIONSYSTEMSANDMETHODS)”的美国临时专利申请62/365,318的优先权和权益，其通过引用整体并入本文。
本公开的一个或多个实施例总体涉及图像融合系统和方法，并且更具体地例如涉及用于优化和再缩放融合图像的系统和方法。
技术介绍
场景的热或红外(IR)图像常常例如在建筑或电气工作的
内用于监测、检查和/或维护的目的，但也可以用于许多其他应用。为了使用户更容易解译和分析由热成像设备或IR成像设备采集的场景，成像设备可以包括适于分别采集可见图像和IR图像的两个或更多个成像系统，并且成像设备可以适于能够组合或融合所采集的可见图像数据和IR图像数据。有时期望在显示器上观看具有与原始融合图像不同的分辨率的融合图像。于是必须再缩放融合图像。再缩放融合图像可能具有比原始融合图像更低的视觉质量。
技术实现思路
本公开包括可以解决或至少减少上述问题的实施例。例如，本公开的一个或多个实施例通过接收原始IR图像数据和原始可见图像数据并获得第一融合参数组，来实现具有不同于第一分辨率(本文中也称为基线或默认分辨率)的第二分辨率(本文中也称为目标分辨率)的第二融合图像的生成。第一融合参数组适于通过融合原始IR图像数据和原始可见图像数据来生成具有第一分辨率的第一融合图像。应当理解，实际上不需要生成第一融合图像，即第一融合参数组可以例如对应于系统的默认或基线参数，其适于生成具有第一分辨率的融合图像，诸如一些预定的默认或基线分辨率。基于第一分辨率与第二分辨率之间的差值来确定缩放系数，并且基于该缩放系数和第一融合参数组来生成第二融合参数组。例如，可以将第二融合参数组(在本文中也称为目标融合参数组)确定为第一融合参数组(在本文中也称为基线融合参数组)根据缩放系数的修改结果。然后，通过使用第二融合参数组融合原始IR图像数据和原始可见图像数据来生成第二融合图像。通过使用原始IR图像数据和原始可见图像数据并根据已适于期望的目标分辨率的融合参数组来融合二者，在目标分辨率下再缩放融合图像的视觉质量可以与在基线/默认分辨率下的融合图像的视觉质量一样好。在实施例中，第一融合参数组包括第一滤波参数组，其控制可见图像的滤波以提取适于生成第一融合图像的轮廓/边缘信息，并且第二融合参数组包括第二滤波参数组，其控制可见图像的滤波以提取在第二融合图像中使用的轮廓/边缘信息。通过调节滤波参数，可以以更适合目标分辨率的方式来提取轮廓/边缘信息。在一个或多个实施例中，第二滤波参数组基于第一滤波参数组和缩放系数来生成。第一滤波参数组可以包括第一滤波核心尺寸和第一滤波核心形状，而第二滤波参数组可以包括第二滤波核心尺寸和第二滤波核心形状。在一个或多个实施例中，基于第一滤波核心尺寸和缩放系数来生成第二滤波核心尺寸，但是第二滤波核心形状与第一滤波核心形状相同。在实施例中，第一融合参数组包括第一阿尔法参数组α1，第一阿尔法参数组α1确定来自IR图像数据和可见图像数据的颜色信息和亮度信息如何适配来进行组合以生成第一融合图像，并且第二融合参数组包括第二阿尔法参数组α2，第二阿尔法参数组α2确定来自IR图像数据和可见图像数据的颜色信息和亮度信息如何组合以生成第二融合图像。在实施例中，第一融合参数组包括基于原始IR图像分辨率与第一分辨率之间的差值计算的第一IR图像再采样参数rI1，以及基于原始可见图像分辨率与第一分辨率之间的差值计算的第一可见图像再采样参数rV1。本文中使用的术语“原始”图像分辨率被理解为与由采集图像的成像传感器和系统提供的原始分辨率相关联(例如，其可以与成像传感器的像素分辨率相同或不相同)。在实施例中，第二融合参数组包括基于原始IR图像分辨率和第二分辨率之间的差计算的第二IR图像再采样参数Ri2，以及基于原始可见图像分辨率和第二分辨率之间的差计算的第二可见图像再采样参数rV2。在实施例中，第一融合参数组包括控制可见图像的滤波来提取适于生成第一融合图像的轮廓/边缘信息的第一亮度参数组，和确定来自IR图像数据和可见图像数据的颜色信息和亮度信息如何适配来进行组合以生成第一融合图像的第一阿尔法参数组α1，并且第二融合参数组包括控制可见图像的滤波来提取用于第二融合图像的轮廓/边缘信息的第二滤波参数组，以及确定来自IR图像数据和可见图像数据的颜色信息和亮度信息如何组合以生成第二融合图像的第二阿尔法参数组α2。在实施例中，基于第一滤波参数组和缩放系数生成第二滤波器参数组，但是第二阿尔法参数组α2与第一阿尔法参数组α1相同。在其他实施例中，基于第一滤波参数组和缩放系数生成第二滤波器参数组，并且基于第一阿尔法参数组α1和缩放系数生成第二阿尔法参数组α2。在一个或多个实施例中，第二融合图像显示在具有第二分辨率的显示器上。在一个或多个实施例中，第二融合图像打印在具有第二分辨率的打印机上。本公开的实施例实现一种计算机可读介质，其包括存储在其上的非暂时性信息，该非暂时性信息配置为控制处理器/处理单元来执行本文描述的任意实施例的任意步骤或功能。本公开的实施例实现一种计算机程序产品，其包括适于控制处理器来执行本文中述的任意实施例的任意步骤或功能的代码部分。本专利技术的范围由权利要求来限定，这些权利要求通过引用并入该部分。通过考虑以下对一个或多个实施例的详细描述，将向本领域技术人员提供对本专利技术实施例的更完整的理解以及对其附加优点的实现。将对首先将被简要描述的附图进行参照。附图说明图1a、图2a和图3a示出根据本公开的实施例的具有第一分辨率的融合图像的示例。图1b示出在没有本公开的实施例的优化技术的情况下获得的具有第二分辨率的融合图像的示例，该融合图像显示出混叠效应。图2b示出在没有本公开的实施例的优化技术的情况下获得的具有第二分辨率的融合图像的示例，该融合图像显示出过厚的轮廓/边缘。图3b示出根据本公开的一个或多个实施例获得的具有第二分辨率的融合图像的示例。图4示出根据本公开的一个或多个实施例的系统的示意图。图5是根据本公开的一个或多个实施例的方法的流程图表。图6是根据本公开的一个或多个实施例的方法的流程图。本公开的实施例及其优点通过参照以下的详细描述来最佳地理解。应当理解，相同的附图标记用于标识在一个或多个附图中示出的相同元件。具体实施方式简介本公开涉及融合图像在再缩放之后的外观优化。在本公开中，融合图像是已被融合的IR图像和可见图像。IR图像可以是任意种类的红外或热图像，其中不同的颜色或灰度值表示不同的相对温度间隔。可见图像可以是使用光学或可见成像设备获得的任意类型的图像，而不管该图像是使用可见光还是任意其他类型的光(例如近红外光)来获得。为了获得融合图像，使用融合参数组来融合IR图像数据和可见图像数据。融合参数组可以例如包括再采样参数、滤波参数和阿尔法参数。基于原始本文档来自技高网...

【技术保护点】
1.一种生成针对目标分辨率进行优化的融合图像的方法，所述方法包括：接收由IR成像传感器采集的红外IR图像；接收由VL成像传感器采集的可见光VL图像；基于所述目标分辨率与基线分辨率之间的差值来确定缩放系数；至少通过根据所述缩放系数修改与所述基线分辨率相关联的基线融合参数组，来确定目标融合参数组；和至少通过根据所述目标融合参数组融合所述IR图像和所述VL图像，来生成具有所述目标分辨率的融合图像。

【技术特征摘要】
【国外来华专利技术】2016.07.21 US 62/365,3181.一种生成针对目标分辨率进行优化的融合图像的方法，所述方法包括：接收由IR成像传感器采集的红外IR图像；接收由VL成像传感器采集的可见光VL图像；基于所述目标分辨率与基线分辨率之间的差值来确定缩放系数；至少通过根据所述缩放系数修改与所述基线分辨率相关联的基线融合参数组，来确定目标融合参数组；和至少通过根据所述目标融合参数组融合所述IR图像和所述VL图像，来生成具有所述目标分辨率的融合图像。2.根据权利要求1所述的方法，其中，所述基线融合参数组包括一个或多个基线滤波参数，所述一个或多个基线滤波参数配置为控制所述VL图像的滤波以提取轮廓/边缘信息来生成具有所述基线分辨率的融合图像；并且所述目标融合参数组包括一个或多个目标滤波参数，所述一个或多个目标滤波参数配置为控制所述VL图像的滤波以提取轮廓/边缘信息来生成具有所述目标分辨率的融合图像。3.根据权利要求2所述的方法，其中，生成具有所述目标分辨率的融合图像的步骤包括：根据所述一个或多个目标滤波参数对所述VL图像进行滤波，以从所述VL图像中提取所述轮廓/边缘信息；和将所提取的轮廓/边缘信息添加到所述IR图像以生成所述融合图像。4.根据权利要求2所述的方法，其中，所述一个或多个基线滤波参数包括基线滤波核心尺寸；所述一个或多个目标滤波参数包括目标滤波核心尺寸；并且确定所述目标融合参数组的步骤包括根据所述缩放系数来缩放所述基线滤波核心尺寸以确定所述目标滤波核心尺寸。5.根据权利要求4所述的方法，其中，所述基线滤波核心尺寸的缩放与所述缩放系数成比例。6.根据权利要求4所述的方法，其中，所述一个或多个基线滤波参数还包括基线滤波核心形状；所述一个或多个目标滤波参数还包括目标滤波核心形状；并且确定所述目标融合参数组的步骤包括通过响应于所确定的目标滤波核心尺寸大于或小于预定滤波核心尺寸来修改所述基线滤波核心形状，以确定所述目标滤波核心形状。7.根据权利要求4所述的方法，其中，所述基线融合参数组包括基线阿尔法参数α1，所述基线阿尔法参数α1确定所述IR图像和所述VL图像在所述IR图像和所述VL图像的融合中的相对贡献度；所述目标融合参数组包括目标阿尔法参数α2，所述目标阿尔法参数α2确定所述IR图像和所述VL图像在所述IR图像和所述VL图像的融合中的相对贡献度；并且确定所述目标融合参数组的步骤包括通过响应于所确定的目标滤波核心尺寸大于预定滤波核心尺寸来修改所述基线阿尔法参数α1，以确定所述目标阿尔法参数α2。8.根据权利要求1所述的方法，其中，所述基线融合参数组包括基线阿尔法参数α1，所述基线阿尔法参数α1确定所述IR图像和所述VL图像在所述IR图像和所述VL图像的融合中的相对贡献度；并且所述目标融合参数组包括目标阿尔法参数α2，所述目标阿尔法参数α2确定所述IR图像和所述VL图像在所述IR图像和所述VL图像的融合中的相对贡献度。9.根据权利要求1所述的方法，其中，所述目标融合参数组包括：IR图像再采样参数rI2，其基于所述目标分辨率和所述IR图像的原始分辨率之间的差值来确定；和VL图像再采样参数rV2，其基于所述目标分辨率和所述VL图像的原始分辨率之间的差值来确定；和生成所述融合图像的步骤包括分别根据所述IR图像再采样参数rI2和所述VL图像再采样参数rV2来缩放所述IR图像和所述VL图像。10.根据权利要求1所述的方法，还包括在具有所述目标分辨率的显示器上显示所生成的融合图像，或者在具有所述目标分辨率的打印机上打印所生成的融合图像。11.一种用于生成针对目标分辨率进行优化的融合图像的系统，所述系统包括：存储机器可读指令和本地数据的非暂时性存储器；和一个或多个处理器，其配置为从所述非暂时性存储器读...

【专利技术属性】
技术研发人员：卡特林·斯特拉德马尔，
申请(专利权)人：前视红外系统股份公司，菲力尔系统公司，
类型：发明
国别省市：瑞典,SE