红外与可见光图像信号处理方法及其实现装置制造方法及图纸

本发明专利技术公开了一种红外与可见光图像信号处理方法及其实现装置，所述方法包括以下步骤：提供一红外图像以及一红外校正后的可见光图像；计算所述可见光图像中每个像素点对应的颜色特征值；利用所述颜色特征值计算所述可见光图像中每个像素点对应的锐度信息；计算所述红外图像中每个像素点对应的锐度信息；计算所述可见光图像和所述红外图像的锐度校正参数和亮度校正参数；根据计算得到的所述锐度校正参数和亮度校正参数，在某一个色彩空间上进行逐像素点加权合成。通过对红外图像以及经过红外校正后的可见光图像在锐度、色彩和亮度上进行分析，动态地将红外图像和可见光图像融合成一幅图像，且输出图像的亮度、颜色和锐度没有损失。

【技术实现步骤摘要】
红外与可见光图像信号处理方法及其实现装置
本专利技术涉及近红外光图像和可见光图像信号处理方法以及实现装置。
技术介绍
目前常见图像传感器在感应可见光的同时也能感应到近红外光。如图1所示，是一个典型的图像传感器的量化响应曲线。其中，曲线B是B通道相应曲线，曲线G是G通道相应曲线，曲线R是R通道相应曲线。由于图像传感器每个颜色通道在近红外光部分都存在较高的响应，因此当图像传感器感应到的光线中存在近红外光时就会导致物体偏色。以下为了行文的方便，如无特殊说明，红外光指近红外光。 目前业内能够较好解决红外偏色的常见方法有两种:一种是业内广泛采用的给摄像机配置双滤光片切换装置(IR-⑶T)，在环境照度充分的情况下开启红外截止滤光片，通过光学滤镜消除红外光对RGB通道的影响；在环境照度低的情况弹开红外截止滤光片，利用RGB通道对红外光的响应提升图像传感器的低光效果。这种方法能够从入射光中滤除红夕卜，消除红外光对RGB通道的影响，但是缺点是需要购置额外的IR-CUT，增加硬件成本。 另一种是使用改进型图像传感器，配合特定图像处理方法与装置能够计算得到图像中每个像素对应的红外通道值。将受到红外影响的RGB通道值与上述红外通道值输入色彩校正单元得到校正后的RGB通道值。具体参见专利CN103686111A所述。这种方法能够以较低的成本完成红外校正，但是其缺点是校正后的图像亮度有损失。 当入射光中同时存在可见光和近红外光等波长相差较大成分光线时，常用普通镜头只能够将两种波长之中的某一个波长的入射光线折射到焦平面上，具体描述参见专利CN102768412A所述。即搭配普通镜头时，且被摄物体对红外和可见光的反射率一致，红外图像和可见光图像不能同时聚焦。当成像系统聚焦至红外光时，红外图像的锐度高于可见光图像，此时融合可见光和红外的未校正图像经过现有的红外图像颜色校正方法后相当于减去了图像中锐度较高的部分，此时不仅校正后图像的亮度上有损失，而且锐度也会降低，图像会变得暗而模糊。使用特殊的能够同时聚焦红外光和可见光的光学设备可以一定程度上缓解红外校正后潜在的锐度降低的问题，但是成本较大。 专利CN100442816C中提到了一种红外光和可见光的图像信号处理方法，将红外光图像经过高通滤波器抽取其高频信号，将可见光图像经过低通滤波器抽取其低频信号，然后将二者融合得到校正后的图像。但是，需要注意的是，可见光图像和红外光图像的锐度信息除了上文所述的和成像系统中的镜头相关之外，还与被摄物体对可见光和红外光的反射率有关。当被摄物体对红外光反射率较低而对可见光反射率较高时，即使镜头此时将波长为红外光部分的入射光聚焦，其所成图像锐度很可能不如可见光图像锐度高。可见，在上述情况下，采用专利CN100442816C中提到的方法处理后的图像锐度和处理前相比不仅不会提升反而会下降。 综上，红外和可见光图像在经过后续图像校正后亮度和锐度的降低是目前图像信号处理中存在的两个重要问题。 目前已公布的关于红外光和可见光的图像信号处理的专利中并没有给出在较低成本下能够同时较好的解决上述两个问题的方案。
技术实现思路
本专利技术所要解决的技术问题是提供一种红外与可见光图像信号处理方法及其实现装置，在保证经过红外校正后的可见光图像颜色特征值不变的前提下，能够提升校正后可见光图像的亮度和锐度，同时整个技术方案不需要特殊的光学设备，成本较低。 专利CN10368611IA和专利CN100442816C中提到的红外图像和可见光图像颜色校正以及融合方法可能会导致图像亮度或锐度的损失。 当图像传感器采集到的RAW图像同时包含红外和可见光信息时，常见的针对红外和可见光的图像处理方法的基本思想是先设法分别计算得到全幅面的红外图像和受到红外影响的RGB图像，然后分别在RGB通道中减去红外图像，得到处理后的可见光图像和红外图像。这种方法处理后的可见光图像颜色得到了恢复，但是亮度和锐度均可能会降低。即使在后续处理中分别利用可见光图像的颜色信息和低频信息、红外光图像的高频信息将二者融合成一幅图像，由于物体材质反射率的影响，其输出图像的锐度相对于原始未校正图像依然可能降低。 本专利技术通过对红外图像以及经过红外校正后的可见光图像在锐度、色彩和亮度上进行分析，动态地将红外图像和可见光图像融合成一幅图像，且输出图像的亮度、颜色和锐度没有损失。 为实现上述技术效果，本专利技术公开了一种红外与可见光图像信号处理方法，所述方法包括以下步骤: 提供一红外图像以及一红外校正后的可见光图像； 计算所述可见光图像中每个像素点对应的颜色特征值； 利用所述颜色特征值计算所述可见光图像中每个像素点对应的锐度信息； 计算所述红外图像中每个像素点对应的锐度信息； 计算所述可见光图像和所述红外图像的锐度校正参数和亮度校正参数； 根据计算得到的所述锐度校正参数和亮度校正参数，在某一个色彩空间上进行逐像素点加权合成。 所述红外与可见光图像信号处理方法进一步的改进在于，所述颜色特征值包括像素点的RGB三个色彩通道之间的比例关系、像素点的色度值和饱和度值；或者像素点在其他色彩空间上的色彩信息表示。 所述红外与可见光图像信号处理方法进一步的改进在于，所述锐度信息的计算是利用当前像素点周围的ηXη个像素，通过索贝尔或拉普拉斯算子得到的。 所述红外与可见光图像信号处理方法进一步的改进在于，通过以下方法计算所述锐度校正参数: 比较当前像素点在红外通道和可见光通道上的锐度值； 根据锐度值的大小对应分配权值大小。 所述红外与可见光图像信号处理方法进一步的改进在于，通过以下方法计算所述亮度校正参数: 按照计算得到的可见光图像中每个像素点对应的颜色特征值，计算得到红外通道和可见光通道的亮度校正参数，确保亮度增强之后的图像和输入的可见光图像具有相同的颜色特征值。 所述红外与可见光图像信号处理方法进一步的改进在于，所述亮度校正参数的计算中还包括利用可见光图像和红外图像的亮度信息对亮度校正参数进行校准。 本专利技术还公开了一种红外与可见光图像信号处理装置，包括: 一图像输入单元，用于获取校正前包含红外信息的下采样的可见光图像； 一内插单元，连接所述图像输入单元，用于将所述可见光图像各分量的下采样图像内插至全幅面图像； 一红外校正单元，连接所述内插单元，用于对所述全幅面图像进行分离，分离出一红外图像和一红外校正后的可见光图像； 一亮度、锐度补偿单元，连接所述红外校正单元，用于对所述红外图像和所述红外校正后的可见光图像的亮度和锐度进行补偿及增强，并融合成一个图像； 一校正图像输出单元，连接所述亮度、锐度补偿单元，用于输出融合后的图像。 所述红外与可见光图像信号处理装置进一步的改进在于，所述亮度、锐度补偿单元进一步包括: 一红外图像输入单元，连接所述红外校正单元，用于获取分离出的所述红外图像； 一可见光图像输入单元，连接所述红外校正单元，用于获取分离出的所述红外校正后的可见光图像； 一亮度计算单元，连接所述可见光图像输入单元，用于计算所述红外校正后的可见光图像的亮度； 一第一锐度计算单元，连接所述红外图像输入单元，用于计算所述红外图像的锐度； 一第二锐度计算单元本文档来自技高网...

【技术保护点】
一种红外与可见光图像信号处理方法，其特征在于所述方法包括以下步骤：提供一红外图像以及一红外校正后的可见光图像；计算所述可见光图像中每个像素点对应的颜色特征值；利用所述颜色特征值计算所述可见光图像中每个像素点对应的锐度信息；计算所述红外图像中每个像素点对应的锐度信息；计算所述可见光图像和所述红外图像的锐度校正参数和亮度校正参数；根据计算得到的所述锐度校正参数和亮度校正参数，在某一个色彩空间上进行逐像素点加权合成。

【技术特征摘要】
1.一种红外与可见光图像信号处理方法，其特征在于所述方法包括以下步骤: 提供一红外图像以及一红外校正后的可见光图像； 计算所述可见光图像中每个像素点对应的颜色特征值； 利用所述颜色特征值计算所述可见光图像中每个像素点对应的锐度信息； 计算所述红外图像中每个像素点对应的锐度信息； 计算所述可见光图像和所述红外图像的锐度校正参数和亮度校正参数； 根据计算得到的所述锐度校正参数和亮度校正参数，在某一个色彩空间上进行逐像素点加权合成。2.如权利要求1所述的红外与可见光图像信号处理方法，其特征在于:所述颜色特征值包括像素点的RGB三个色彩通道之间的比例关系、像素点的色度值和饱和度值；或者像素点在其他色彩空间上的色彩信息表示。3.如权利要求1所述的红外与可见光图像信号处理方法，其特征在于:所述锐度信息的计算是利用当前像素点周围的nXn个像素，通过索贝尔或拉普拉斯算子得到的。4.如权利要求1所述的红外与可见光图像信号处理方法，其特征在于通过以下方法计算所述锐度校正参数: 比较当前像素点在红外通道和可见光通道上的锐度值； 根据锐度值的大小对应分配权值大小。5.如权利要求1所述的红外与可见光图像信号处理方法，其特征在于通过以下方法计算所述亮度校正参数: 按照计算得到的可见光图像中每个像素点对应的颜色特征值，计算得到红外通道和可见光通道的亮度校正参数，确保亮度增强之后的图像和输入的可见光图像具有相同的颜色特征值。6.如权利要求5所述的红外与可见光图像信号处理方法，其特征在于:所述亮度校正参数的计算中还包括利用可见光图像和红外图像的亮度信息对亮度校正参数进行校准。7.—种红外与可见光图像信号处理装置，其特征在于所...

【专利技术属性】
技术研发人员：董鹏宇，陈芳芳，潘泽民，王秀锋，刘行，
申请(专利权)人：上海富瀚微电子股份有限公司，
类型：发明
国别省市：上海;31