一种可见光图像与红外图像的融合方法、装置制造方法及图纸

本申请公开了可见光图像与红外图像的融合方法，基于可见光图像获取可见光亮度图像，基于红外图像获取红外亮度图像；利用可见光亮度图像和红外亮度图像，确定可见光亮度图像目标区域中第一像素点的坐标信息、非目标区域中第二像素点的坐标信息；将可见光亮度图像和红外亮度图像进行融合，得到亮度融合的第一图像；调整第一图像中像素点的亮度分量，使得第一图像中目标区域与非目标区域的第二亮度对比度与第一亮度对比度相同，得到第二图像；对于第二图像中每个像素点，将该像素点的亮度分量与可见光图像中具有与该像素相同坐标的像素点的色度分量融合，得到融合后的图像。本申请解决了视觉效果上的偏色问题，使得融合后的图像具有较强的保色能力。图像具有较强的保色能力。图像具有较强的保色能力。

【技术实现步骤摘要】
一种可见光图像与红外图像的融合方法、装置


[0001]本专利技术涉及图像融合领域，特别地，涉及一种可见光图像与红外图像的融合方法。

技术介绍

[0002]目前，在图像处理领域中有许多图像融合的方案，多数是利用单摄像头分光结构或者双摄像头结构来获取不同谱段的信息，以可见光图像和非可见光图像为主，然后结合两者的优势进行图像融合，从而得到更好的图像效果。尽管各个方案的融合算法迥异，但最终目的是提升低照度下的图像效果，具体可以体现在信噪比、颜色、细节轮廓等多个方面。
[0003]鉴于物体对于不同光谱的反射和吸收特性不同，同一物体在可见光图像和红外图像中的亮度及纹理表现可能差异很大，尤其是在低照度环境下。对于监控领域而言，在合理的补光条件下，往往红外图像的信噪比和景物的纹理较优，但红外图像不具备真实颜色信息，过多红外信息容易导致颜色失真、纹理表现不自然等现象。

技术实现思路

[0004]本专利技术提供了一种可见光图像与红外图像的融合方法，以提高融合图像中色彩的真实性。
[0005]本专利技术提供的一种可见光图像与红外图像的融合方法是这样实现的：
[0006]基于可见光图像获取可见光亮度图像，基于红外图像获取红外亮度图像；
[0007]利用可见光亮度图像和红外亮度图像，确定可见光亮度图像目标区域中第一像素点的坐标信息，以及非目标区域中第二像素点的坐标信息；
[0008]将可见光亮度图像和红外亮度图像进行融合，得到亮度融合的第一图像；
[0009]根据第一像素点的坐标信息确定第一图像中的目标区域，根据第二像素点的坐标信息确定第一图像中非目标区域；
[0010]调整第一图像中像素点的亮度分量，使得第一图像中目标区域与非目标区域的第二亮度对比度与第一亮度对比度相同，得到第二图像；其中，第一亮度对比度根据可见光亮度图像的目标区域中第一像素点和非目标区域中第二像素点的亮度分量计算得到；第二亮度对比度根据第一图像的目标区域中第三像素点和非目标区域中第四像素点的亮度分量计算得到；
[0011]对于第二图像中每个像素点，将该像素点的亮度分量与可见光图像中具有与该像素相同坐标的像素点的色度分量融合，得到融合后的图像。
[0012]较佳地，所述利用可见光亮度图像和红外亮度图像，确定可见光亮度图像目标区域中第一像素点的坐标信息，以及非目标区域中第二像素点的坐标信息，包括：
[0013]计算红外亮度图像中每个像素点的亮度分量与可见光亮度图像中对应像素点的亮度分量之间亮度残差，得到每个像素点的亮度残差；
[0014]采用基于可见光图像中每个像素点的亮度分量所计算的第一权值、以及基于红外图像中该像素点的亮度分量所计算的第二权值，对每个像素点的亮度残差进行加权，使得
每个像素点的亮度残差被修正，
[0015]基于每个像素点修正后的亮度残差，将亮度残差大于或等于预设亮度阈值的像素点的坐标信息作为可见光亮度图像目标区域中第一像素点的坐标信息，将亮度残差小于所述亮度阈值的像素点的坐标信息作为可见光亮度图像非目标区域中第二像素点的坐标信息。
[0016]较佳地，所述计算红外亮度图像中每个像素点的亮度分量与可见光亮度图像中对应像素点的亮度分量之间亮度残差，包括，
[0017]对于可见光亮度图像和/或红外亮度图像中每个像素点：
[0018]如果红外亮度图像中该像素点的第一亮度分量大于等于可见光亮度图像中该像素点的第二亮度分量，则计算第一亮度分量与第二亮度分量之间的差值，得到该像素点的亮度残差；
[0019]如果红外亮度图像中该像素点的第一亮度分量小于可见光亮度图像中该像素点的第二亮度分量，则将该像素点的亮度残差设置为0。
[0020]较佳地，所述采用基于可见光图像中每个像素点的亮度分量所计算的第一权值、以及基于红外图像中该像素点的亮度分量所计算的第二权值，对每个像素点的亮度残差加权，包括，
[0021]对于每个像素点的亮度残差：
[0022]将该像素点的亮度残差采用滤波函数进行过滤，并用该像素点的第一权值、以及第二权值对过滤后的亮度残差进行相乘，得到该像素点修正后的亮度残差；
[0023]或者，
[0024]用该像素点的第一权值、以及第二权值对该像素点的亮度残差进行相乘，得到该像素点修正后的亮度残差；其中，
[0025]所述第一权值按照如下方式确定：
[0026]当可见光亮度图像中该像素点的亮度分量小于或等于设定的第一阈值时，第一权值取值为预设的权值上限；
[0027]当可见光亮度图像中该像素点的亮度分量大于设定的第一阈值时，第一权值取值在预设的权值下限到预设的权值上限之间，
[0028]所述第二权值按照如下方式确定：
[0029]当红外亮度图像中该像素点的亮度分量小于或等于设定的第二阈值时，第二权值取值小于预设的权值上限；
[0030]当红外亮度图像中该像素点的亮度分量大于或等于第二阈值、且小于第三阈值时，第二权值取值为预设的权值上限；
[0031]当红外亮度图像中该像素点的亮度大于或等于第三阈值时，第二权值取值在预设的权值下限到预设权值上限之间；
[0032]所述第一阈值根据可见光亮度图像的亮度分量取值上限确定；
[0033]所述第二阈值、第三阈值根据红外亮度图像的亮度分量取值上限确定。
[0034]较佳地，当可见光亮度图像中该像素点的亮度分量大于设定的第一阈值时，所述第一权值取值的取值为：可见光亮度图像亮度分量取值上限与所述像素点的亮度分量之差，与，可见光亮度图像亮度分量取值上限与第一阈值之差的比值；
[0035]当红外亮度图像中该像素点的亮度分量小于或等于设定的第二阈值时，所述第二权值的取值为：所述像素点的亮度分量与第二阈值的比值，
[0036]当红外亮度图像中该像素点的亮度大于或等于第三阈值时，所述第二权值的取值为：红外亮度图像亮度分量取值上限与所述像素点的亮度分量之差，与，红外亮度图像亮度分量取值上限与第三阈值之差的比值。
[0037]较佳地，所述调整第一图像像素点的亮度分量，使得第一图像中目标区域与非目标区域的第二亮度对比度与第一亮度对比度相同，得到第二图像，包括，
[0038]计算第一亮度对比度，
[0039]计算第一图像目标区域中第三像素点的第三亮度均值，以及第一图像非目标区域中第四像素点的第四亮度均值；
[0040]计算第一亮度对比度与第四亮度均值的乘积，得到使得第一亮度对比度与第二亮度对比度相等的第一图像目标区域中第三像素点的期望亮度均值，
[0041]对于第一图像中的每个像素点，以该像素点的第三权值，加权第一图像中该像素点的亮度分量，得到第二图像；
[0042]其中，
[0043]第三权值与亮度调整比例相关，所述亮度调整比例根据期望亮度均值与第三亮度均值确定。
[0044]较佳地，所述计算第一亮度对比度包括，
[0045]根据可见光亮度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可见光图像与红外图像的融合方法，其特征在于，该方法包括，基于可见光图像获取可见光亮度图像，基于红外图像获取红外亮度图像；利用可见光亮度图像和红外亮度图像，确定可见光亮度图像目标区域中第一像素点的坐标信息，以及非目标区域中第二像素点的坐标信息；将可见光亮度图像和红外亮度图像进行融合，得到亮度融合的第一图像；根据第一像素点的坐标信息确定第一图像中的目标区域，根据第二像素点的坐标信息确定第一图像中非目标区域；调整第一图像中像素点的亮度分量，使得第一图像中目标区域与非目标区域的第二亮度对比度与第一亮度对比度相同，得到第二图像；其中，第一亮度对比度根据可见光亮度图像的目标区域中第一像素点和非目标区域中第二像素点的亮度分量计算得到；第二亮度对比度根据第一图像的目标区域中第三像素点和非目标区域中第四像素点的亮度分量计算得到；对于第二图像中每个像素点，将该像素点的亮度分量与可见光图像中具有与该像素相同坐标的像素点的色度分量融合，得到融合后的图像。2.如权利要求1所述的融合方法，其特征在于，所述利用可见光亮度图像和红外亮度图像，确定可见光亮度图像目标区域中第一像素点的坐标信息，以及非目标区域中第二像素点的坐标信息，包括：计算红外亮度图像中每个像素点的亮度分量与可见光亮度图像中对应像素点的亮度分量之间亮度残差，得到每个像素点的亮度残差；采用基于可见光图像中每个像素点的亮度分量所计算的第一权值、以及基于红外图像中该像素点的亮度分量所计算的第二权值，对每个像素点的亮度残差进行加权，使得每个像素点的亮度残差被修正，基于每个像素点修正后的亮度残差，将亮度残差大于或等于预设亮度阈值的像素点的坐标信息作为可见光亮度图像目标区域中第一像素点的坐标信息，将亮度残差小于所述亮度阈值的像素点的坐标信息作为可见光亮度图像非目标区域中第二像素点的坐标信息。3.如权利要求2所述的融合方法，其特征在于，所述计算红外亮度图像中每个像素点的亮度分量与可见光亮度图像中对应像素点的亮度分量之间亮度残差，包括，对于可见光亮度图像和/或红外亮度图像中每个像素点：如果红外亮度图像中该像素点的第一亮度分量大于等于可见光亮度图像中该像素点的第二亮度分量，则计算第一亮度分量与第二亮度分量之间的差值，得到该像素点的亮度残差；如果红外亮度图像中该像素点的第一亮度分量小于可见光亮度图像中该像素点的第二亮度分量，则将该像素点的亮度残差设置为0。4.如权利要求2或3所述的融合方法，其特征在于，所述采用基于可见光图像中每个像素点的亮度分量所计算的第一权值、以及基于红外图像中该像素点的亮度分量所计算的第二权值，对每个像素点的亮度残差加权，包括，对于每个像素点的亮度残差：将该像素点的亮度残差采用滤波函数进行过滤，并用该像素点的第一权值、以及第二权值对过滤后的亮度残差进行相乘，得到该像素点修正后的亮度残差；
或者，用该像素点的第一权值、以及第二权值对该像素点的亮度残差进行相乘，得到该像素点修正后的亮度残差；其中，所述第一权值按照如下方式确定：当可见光亮度图像中该像素点的亮度分量小于或等于设定的第一阈值时，第一权值取值为预设的权值上限；当可见光亮度图像中该像素点的亮度分量大于设定的第一阈值时，第一权值取值在预设的权值下限到预设的权值上限之间，所述第二权值按照如下方式确定：当红外亮度图像中该像素点的亮度分量小于或等于设定的第二阈值时，第二权值取值小于预设的权值上限；当红外亮度图像中该像素点的亮度分量大于或等于第二阈值、且小于第三阈值时，第二权值取值为预设的权值上限；当红外亮度图像中该像素点的亮度大于或等于第三阈值时，第二权值取值在预设的权值下限到预设权值上限之间；所述第一阈值根据可见光亮度图像的亮度分量...

【专利技术属性】
技术研发人员：傅斌，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：