图像融合方法、电子设备及存储装置制造方法及图纸

本申请提供了一种图像融合方法、电子设备及存储装置，所述图像融合方法，包括：获得对当前场景采集获得的可见光图像和非可见光图像；针对所述可见光图像中的至少部分第一像素点，从所述非可见光图像中获得与所述第一像素点对应的第二像素点；其中，所述第一像素点与对应的所述第二像素点代表同一目标；基于所述第一像素点的第一亮度和对应的所述第二像素点的第二亮度获得融合亮度；基于所述融合亮度、所述第一亮度和所述第二亮度确定所述第一像素点的颜色调整比例；基于所述颜色调整比例调整所述第一像素点的初始颜色以获得融合颜色；基于所述融合亮度和所述融合颜色获得调整后的第一像素点。通过上述设计方式，本申请能够提高融合效果。提高融合效果。提高融合效果。

【技术实现步骤摘要】
图像融合方法、电子设备及存储装置


[0001]本申请属于图像处理
，具体涉及一种图像融合方法、电子 设备及存储装置。

技术介绍

[0002]随着人们对监控要求的不断提高，图像融合技术已经成为视频监控 的热门技术之一。通过多传感器设备，采集不同光波段的图像，进行多 图像融合处理，得到细节丰富且具有色彩的融合图像。具体的，多图像 融合方法的步骤一般包括：通过多传感器设备，同时获取可见光图像和 非可见光图像，对两种不同图像的信息进行配准和融合处理，生成具有 两种图像特征和细节信息的融合图像。但是现有的图像融合方法存在融 合效果差的问题。

技术实现思路

[0003]本申请提供一种图像融合方法、电子设备及存储装置，以提高融合 效果。
[0004]为解决上述技术问题，本申请采用的一个技术方案是：提供一种图 像融合方法，包括：获得对当前场景采集获得的可见光图像和红外图像 非可见光图像；针对所述可见光图像中的至少部分第一像素点，从所述 红外图像非可见光图像中获得与所述第一像素点对应的第二像素点；其 中，所述第一像素点与对应的所述第二像素点代表同一目标；基于所述 第一像素点的第一亮度和对应的所述第二像素点的第二亮度获得融合 亮度；基于所述融合亮度、所述第一亮度和所述第二亮度确定所述第一 像素点的颜色调整比例；基于所述颜色调整比例调整所述第一像素点的 初始颜色以获得融合颜色；基于所述融合亮度和所述融合颜色获得调整 后的第一像素点。
[0005]为解决上述技术问题，本申请采用的另一个技术方案是：提供一种 电子设备，包括相互耦接的存储器和处理器，所述存储器中存储有程序 指令，所述处理器用于执行所述程序指令以实现上述任一实施例中所述 的图像融合方法。
[0006]为解决上述技术问题，本申请采用的另一个技术方案是：提供一种 存储装置，存储有能够被处理器运行的程序指令，所述程序指令用于实 现上述任一实施例中所述的图像融合方法。
[0007]区别于现有技术情况，本申请的有益效果是：本申请所提供的图像 融合方法中，从可见光图像的像素点的角度对可见光图像和非可见光图 像的亮度和颜色进行融合，以提高融合后的图像效果。此外，本申请中 通过融合亮度、可见光图像中第一像素点的第一亮度以及非可见光图像 中对应的第二像素点的第二亮度确定颜色调整比例，并基于该颜色调整 比例调整第一像素点的初始颜色，以实现第一像素点的融合颜色的自适 应调整，以提高色彩饱和度，使其与融合亮度更匹配。
[0008]另外，本申请中通过人眼对颜色的敏感度进行色噪抑制比例计算， 实现低照图像中色噪和色偏的去除；且该融合方法在处理过程中没有窗 口滤波，计算量较少，易于设备移植，能够明显消除色噪和偏色。
附图说明
[0009]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描 述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图 仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出 创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：
[0010]图1为本申请图像融合方法一实施方式的流程示意图；
[0011]图2为自定义第一亮度与上限值一实施方式的曲线示意图；
[0012]图3为人眼对RGB敏感度一实施方式的示意图；
[0013]图4为图1中步骤S105对应的一实施方式的流程示意图；
[0014]图5为图4中步骤S201对应的一实施方式的流程示意图；
[0015]图6为采用本申请图像融合方法处理前后可见光图像一实施方式的 对比示意图；
[0016]图7为本申请图像融合装置一实施方式的框架示意图；
[0017]图8为本申请电子设备一实施方式的结构示意图；
[0018]图9为本申请存储装置一实施方式的结构示意图。
具体实施方式
[0019]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案 进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实 施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术 人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本 申请保护的范围。
[0020]请参阅图1，图1为本申请图像融合方法一实施方式的流程示意图， 该图像融合方法包括：
[0021]S101：获得对当前场景采集获得的可见光图像和非可见光图像。
[0022]具体地，可见光图像和非可见光图像可以是由多个传感器对当前场 景同时采集获得，或者，可见光图像和非可见光图像也可由同一传感器 对当前场景分时采集获得。可选地，该非可见光图像可以为近红外图像、 红外图像、或透雾图像等。
[0023]例如，在安防领域，夜晚低照场景和雾霾场景，需要采集更多的图 像信息来提高监控效果。多传感器设备中的近红外波段传感器，既可以 在夜间低照环境下获取噪声较小、细节清楚的近红外图像，又可以在雾 霾天气中获取细节更多的透雾图像。通过与可见光波段传感器获取的可 见光图像进行融合处理，得到包括色彩和细节的融合图像。尤其适用于 道路监控中，路灯和车灯的色温不一致，导致同一场景出现多种色温的 场景中。
[0024]S102：针对可见光图像中的至少部分第一像素点，从非可见光图像 中获得与第一像素点对应的第二像素点；其中，第一像素点与对应的第 二像素点代表同一目标。
[0025]具体地，当可见光图像和非可见光图像由同一传感器采集获得时， 同一目标(例如，车灯、车标等)在可见光图像和非可见光图像中的坐 标相同，此时可以通过查询坐标的方式从非可见光图像中获得与第一像 素点对应的第二像素点。当可见光图像和非可见光图像由不同传感器采 集获得时，可见光图像和非可见光图像中对应同一目标的像素点的坐标 可能不一致，此时可以对非可见光图像或可见光图像进行处理，以使得 可见光图像和非可见光图像中对应同一目标的像素点坐标相同，以便于 后续处理。
[0026]此外，在本申请中，可以针对可见光图像中的所有第一像素点进行 后续处理过程。或者，也可仅针对可见光图像中预定区域(例如，非背 景区域)内的所有第一像素点进行后续处理过程。
[0027]S103：基于第一像素点的第一亮度和对应的第二像素点的第二亮度 获得融合亮度。
[0028]具体地，上述第一像素点和第二像素点的数据以YUV形式存储， 其中，Y代表亮度值，UV代表颜色信息，U代表色度值，V代表浓度 值。上述步骤S103的实现过程可以为：提取第一像素点的Y信息以获 得第一亮度visy、以及提取第二像素点的Y信息以获得第二亮度niry； 将第一像素点的第一亮度visy、与第一像素点对应的第二像素点的第二 亮度niry采用加权、基于能量信息选择、或频域选择等融合方式进行处 理以获得融合亮度fy。
[0029]以加权融合方式为例，以公式表示如下：fy＝a*visy+b*niry；其中， fy为融合亮度；a和b是范围为[0,1]的加权系数，且a与b的和为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像融合方法，其特征在于，包括：获得对当前场景采集获得的可见光图像和非可见光图像；针对所述可见光图像中的至少部分第一像素点，从所述非可见光图像中获得与所述第一像素点对应的第二像素点；其中，所述第一像素点与对应的所述第二像素点代表同一目标；基于所述第一像素点的第一亮度和对应的所述第二像素点的第二亮度获得融合亮度；基于所述融合亮度、所述第一亮度和所述第二亮度确定所述第一像素点的颜色调整比例；基于所述颜色调整比例调整所述第一像素点的初始颜色以获得融合颜色；基于所述融合亮度和所述融合颜色获得调整后的第一像素点。2.根据权利要求1所述的图像融合方法，其特征在于，所述基于所述融合亮度、所述第一亮度和所述第二亮度确定所述第一像素点的颜色调整比例的步骤之前，包括：基于所述可见光图像确定所述当前场景的场景特征；其中，所述场景特征包括大面积单色场景、微光场景或无光场景；所述基于所述融合亮度、所述第一亮度和所述第二亮度确定所述第一像素点的颜色调整比例的步骤，包括：基于所述场景特征、所述融合亮度、所述第一亮度和所述第二亮度确定所述第一像素点的颜色调整比例。3.根据权利要求2所述的图像融合方法，其特征在于，所述基于所述场景特征、所述融合亮度、所述第一亮度和所述第二亮度确定所述第一像素点的颜色调整比例的步骤，包括：响应于所述当前场景为大面积单色场景或微光场景，基于所述融合亮度、所述第一亮度和所述第二亮度确定非局部系数；获得所述融合亮度与所述非局部系数的第一乘积，并将所述第一乘积与所述第一亮度的第一比值作为所述颜色调整比例；响应于所述当前场景为无光场景，基于所述融合亮度、所述第一亮度和所述第二亮度确定非局部系数，以及将所述融合亮度与所述第一亮度的第二比值作为初始比例系数；基于所述初始比例系数以及所述非局部系数确定压缩比例系数；将所述初始比例系数和所述压缩比例系数进行加权求和以获得所述颜色调整比例。4.根据权利要求3所述的图像融合方法，其特征在于，所述基于所述融合亮度、所述第一亮度和所述第二亮度确定非局部系数的步骤，包括：获得所述第一亮度与所述第二亮度的第一差值，并获得所述融合亮度与所述第一差值的绝对值的第三比值；获得所述融合亮度与所述第一亮度的第一和值，并获得所述第一和值与255的第四比值；将所述第三比值与所述第四比值之和作为所述非局部系数。5.根据权利要求3所述的图像融合方法，其特征在于，所述基于所述初始比例系数以及所述非局部系数确定压缩比例系数的步骤，包括：响应于所述初始比例系数小于或等于第一数值，将所述初始比例系数作为所述压缩比例系数；响应于所述初始比例系数大于第一数值且小于或等于第二数值，将所述非局部系数和所述初始比例系数的第二乘积作为所述压缩比例系数；其中，所述第二数值大于所述第一
数值；响应于所述初始比例系数大于所述第二数值，获得第一常数与所述初始比例系数的第三乘积，获得以2为底所述第三乘积的第一对数，并将所述第一对数与第二常数的第二差值作为所述压缩比例系数。6.根据权利要求1
‑
5任一项所述的图像融合方法，其特征在于，所述基于所述颜色调整比例调整所述第一像素点的颜色以获得融合颜色的步骤之前，包括：基于所述第一亮度确定上限值；响应于所述颜色调整比例大于所述上限值，将所述上限值作为所述颜色调整比例；响应于所述颜色调整比例小于或等于所述上限值，所述颜色调整比例保持原值。7.根据权利要求6所述的图像融合方法，其特征在于，所述基于所述第一亮度确定上限值的步骤，包括：响应于所述颜色调整比例小于或等于1，将所述上限值设置为一；响应于所述颜色调整比例大于1，获得以2为...

【专利技术属性】
技术研发人员：张东，詹建华，肖亮，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：