双光谱摄像机图像融合方法及装置制造方法及图纸

本发明专利技术提供了一种双光谱摄像机图像融合方法及装置，通过对获取的可见光、红外光图像进行直方图统计从而了解当前场景红外光图像和可见光图像的亮区差异，以判断场景中是否存在灯光或反红外光物体。然后结合可见光图像的曝光增益情况，对当前画面的场景进行分类，从而在后续融合权重计算时针对灯光场景和反红外光物体场景，在亮区融合时再进行权重调整，使融合后的图像信息得以最大程度保留。在不过多消耗硬件处理时效的基础上大大改善最终的融合效果，实现夜间红外光下高品质彩色成像。

【技术实现步骤摘要】
双光谱摄像机图像融合方法及装置
本专利技术涉及一种图像处理方法，尤其是指一种双光谱摄像机图像融合方法及装置。
技术介绍
传统摄像机在夜间灯光不足的情况下，摄像机获取的视频图像存在大量噪声，且拖影严重，无法实现清晰成像，严重影响了监控效果和后端智能分析。为了提升成像效果，都是通过增加补光灯的方式，通过红外灯补光，可以获取清晰的场景图像，但是会丢失颜色信息和部分细节信息；通过白光灯补光，不会丢失场景信息，但是会造成光污染，影响环境。为此，现出现了一种双光谱摄像机，其前端采用单镜头，通过分光棱镜分离可见光和红外光入射两个传感器进行可见光和红外光分别成像。从而同时采集可见光图像和红外光图像。设备配备红外补光灯，这样红外光图像可以获取清晰的场景灰度图像，而可见光图像可以获取场景的颜色信息。通过将红外光图像的细节信息和可见光图像的颜色信息融合获得新的清晰彩色图像。实现夜间红外光下高品质彩色成像。然而，在实际应用中，可见光和红外光成像特性存在差异，两者对同一物体的灰度和纹理表现可能不同，因此，需要在进行融合的时候针对两者的特性进行特殊处理，来提高融合后图像的效果。
技术实现思路
本专利技术所要解决的技术问题是：提供一种可适应不同场景的双光谱摄像机图像融合方法及装置。为了解决上述技术问题，本专利技术采用的技术方案为：一种双光谱摄像机图像融合方法，包括步骤，S1)获取摄像机的可见光通路的可见光视频流与红外光通路的红外光视频流；依次对可见光视频流与红外光视频流中的每帧图像执行步骤S2-S9；S2)对可见光视频流当前图像帧进行直方图统计，得到可见光图像直方图统计Hist3_chn0[3]；对红外光视频流当前图像帧进行直方图统计，得到红外光图像直方图统计Hist3_chn1[3]；S3)根据预设亮度范围将可见光图像中像素分类为暗像素、正常像素和高亮像素，并统计暗像素数量存为暗区像素Hist3_chn0[0]，正常像素数量存为正常区像素Hist3_chn0[1]，高亮像素数量存为高亮区像素Hist3_chn0[2]；根据预设亮度范围将红外光图像中像素分类为暗像素、正常像素和高亮像素，并统计暗像素数量存为暗区像素Hist3_chn1[0]，正常像素数量存为正常区像素Hist3_chn1[1]，高亮像素数量存为高亮区像素Hist3_chn1[2]；S4)计算可见光图像直方图统计与红外光图像直方图统计的直方图差异Diff_hist；Diff_hist＝abs(Hist3_chn0[2]-Hist3_chn1[2])S5)获取可见光通路的曝光增益gain_chn0，而后根据以下逻辑原则进行场景scene分类，S6)以可见光通路的曝光增益一半为条件，自融合权重查照表中查询得到可见光路融合权重wt_init_chn0，根据最大融合权重Max_wt减去可见光路融合权重wt_init_chn0得到红外光路融合权重wt_init_chn1；S7)判别场景scene类型，对应计算每个可见光图像像素wt_chn0(i,j)和红外光图像像素wt_chn1(i,j)的融合权重；式中，i代表视频流单帧图片的列数，j代表视频流单帧图片的行数，(i,j)代表视频流单帧图片中第j行第i列的像素；当场景scene为NormScene时：当场景scene为BlendScene_highlight时：wt_chn1(i,j)＝Max_wt-wt_chn0(i,j)当场景scene为BlendScene_reflictlight时：判断若wt_init_chn0≥96时：wt_chn0(i,j)＝wt_init_chn0wt_chn1(i,j)＝Max_wt-wt_chn0(i,j)若wt_init_chn0<96时：wt_chn1(i,j)＝Max_wt-wt_chn0(i,j)；当场景scene为BlendScene_norm时：上述中，Yin_chn0(i,j)、Uin_chn0(i,j)、Vin_chn0(i,j)为可见光图像的YUV图像数据，Yin_chn1(i,j)、Uin_chn1(i,j)、Vin_chn1(i,j)为红外光图像的YUV图像数据；S8)对YUV空间下的可见光图像与红外光图像中的像素进行延时处理及帧同步处理，得到可见光图像Y通路像素数据Yin_chn0_delay(i,j)、可见光图像U通路像素数据Uin_chn0_delay(i,j)、可见光图像V通路像素数据Vin_chn0_delay(i,j)，红外光图像Y通路像素数据Yin_chn1_delay(i,j)、红外光图像U通路像素数据Uin_chn1_delay(i,j)、红外光图像V通路像素数据Vin_chn1_delay(i,j)；S9)根据下式进行图像融合计算输出的Y通路的融合像素数据Yout(i,j)、U通路的融合像素数据Uout(i,j)、V通路的融合像素数据Vout(i,j),Uout(i,j)＝Uin_chn0_delay(i,j)Vout(i,j)＝Vin_chn0_delay(i,j)。上述中，所述最大融合权重Max_wt为128。上述中，所述步骤S8中的延时处理为，将当前可见光图像与红外光图像中的像素数据延时，以使像素数据与权重对齐。上述中，所述步骤S8中的帧同步处理为，判断当前的可见光图像帧和红外光图像帧的时间戳是否一致，否则将时间较早的图像帧抛弃。本专利技术还涉及一种双光谱摄像机图像融合装置，包括，视频流获取模块，用于获取摄像机的可见光通路的可见光视频流与红外光通路的红外光视频流；依次对可见光视频流与红外光视频流中的每帧图像输入下述模块，直方图统计模块，用于对可见光视频流当前图像帧进行直方图统计，得到可见光图像直方图统计Hist3_chn0[3]；对红外光视频流当前图像帧进行直方图统计，得到红外光图像直方图统计Hist3_chn1[3]；像素分类模块，用于根据预设亮度范围将可见光图像中像素分类为暗像素、正常像素和高亮像素，并统计暗像素数量存为暗区像素Hist3_chn0[0]，正常像素数量存为正常区像素Hist3_chn0[1]，高亮像素数量存为高亮区像素Hist3_chn0[2]；根据预设亮度范围将红外光图像中像素分类为暗像素、正常像素和高亮像素，并统计暗像素数量存为暗区像素Hist3_chn1[0]，正常像素数量存为正常区像素Hist3_chn1[1]，高亮像素数量存为高亮区像素Hist3_chn1[2]；直方图差异计算模块，用于计算可见光图像直方图统计与红外光图像直方图统计的直方图差异Diff_hist；Diff_hist＝abs(Hist3_chn0[2]-Hist3_chn1[2])场景分类模块，用于获取可见光通路的曝光增益gain_chn0，而后根据以下逻辑原则进行场景scene分类，权重初始化模块，用于以可见光通路的曝光增益一半为条件，自融合权重查照表中查询得到可见光路融合权重wt_init_chn0，根据最大融合权重Max_wt减去可见光路融合权重wt_init_chn0得到红外光路融合权重wt_init_chn1；场景判断模块，用于判别场景scene类型，对应计算每个可见光图像像素wt_chn0(i,j)和红外光图像像素wt_chn1(i,j)本文档来自技高网...

【技术保护点】
1.一种双光谱摄像机图像融合方法，其特征在于：包括步骤，S1)获取摄像机的可见光通路的可见光视频流与红外光通路的红外光视频流；依次对可见光视频流与红外光视频流中的每帧图像执行步骤S2‑S9；S2)对可见光视频流当前图像帧进行直方图统计，得到可见光图像直方图统计Hist3_chn0[3]；对红外光视频流当前图像帧进行直方图统计，得到红外光图像直方图统计Hist3_chn1[3]；S3)根据预设亮度范围将可见光图像中像素分类为暗像素、正常像素和高亮像素，并统计暗像素数量存为暗区像素Hist3_chn0[0]，正常像素数量存为正常区像素Hist3_chn0[1]，高亮像素数量存为高亮区像素Hist3_chn0[2]；根据预设亮度范围将红外光图像中像素分类为暗像素、正常像素和高亮像素，并统计暗像素数量存为暗区像素Hist3_chn1[0]，正常像素数量存为正常区像素Hist3_chn1[1]，高亮像素数量存为高亮区像素Hist3_chn1[2]；S4)计算可见光图像直方图统计与红外光图像直方图统计的直方图差异Diff_hist；Diff_hist＝abs(Hist3_chn0[2]‑Hist3_chn1[2])S5)获取可见光通路的曝光增益gain_chn0，而后根据以下逻辑原则进行场景scene分类，...

【技术特征摘要】
1.一种双光谱摄像机图像融合方法，其特征在于：包括步骤，S1)获取摄像机的可见光通路的可见光视频流与红外光通路的红外光视频流；依次对可见光视频流与红外光视频流中的每帧图像执行步骤S2-S9；S2)对可见光视频流当前图像帧进行直方图统计，得到可见光图像直方图统计Hist3_chn0[3]；对红外光视频流当前图像帧进行直方图统计，得到红外光图像直方图统计Hist3_chn1[3]；S3)根据预设亮度范围将可见光图像中像素分类为暗像素、正常像素和高亮像素，并统计暗像素数量存为暗区像素Hist3_chn0[0]，正常像素数量存为正常区像素Hist3_chn0[1]，高亮像素数量存为高亮区像素Hist3_chn0[2]；根据预设亮度范围将红外光图像中像素分类为暗像素、正常像素和高亮像素，并统计暗像素数量存为暗区像素Hist3_chn1[0]，正常像素数量存为正常区像素Hist3_chn1[1]，高亮像素数量存为高亮区像素Hist3_chn1[2]；S4)计算可见光图像直方图统计与红外光图像直方图统计的直方图差异Diff_hist；Diff_hist＝abs(Hist3_chn0[2]-Hist3_chn1[2])S5)获取可见光通路的曝光增益gain_chn0，而后根据以下逻辑原则进行场景scene分类，S6)以可见光通路的曝光增益一半为条件，自融合权重查照表中查询得到可见光路融合权重wt_init_chn0，根据最大融合权重Max_wt减去可见光路融合权重wt_init_chn0得到红外光路融合权重wt_init_chn1；S7)判别场景scene类型，对应计算每个可见光图像像素wt_chn0(i,j)和红外光图像像素wt_chn1(i,j)的融合权重；式中，i代表视频流单帧图片的列数，j代表视频流单帧图片的行数，(i,j)代表视频流单帧图片中第j行第i列的像素；当场景scene为NormScene时：当场景scene为BlendScene_highlight时：wt_chn1(i,j)＝Max_wt-wt_chn0(i,j)当场景scene为BlendScene_reflictlight时：判断若wt_init_chn0≥96时：wt_chn0(i,j)＝wt_init_chn0wt_chn1(i,j)＝Max_wt-wt_chn0(i,j)若wt_init_chn0<96时：wt_chn1(i,j)＝Max_wt-wt_chn0(i,j)；当场景scene为BlendScene_norm时：上述中，Yin_chn0(i,j)、Uin_chn0(i,j)、Vin_chn0(i,j)为可见光图像的YUV图像数据，Yin_chn1(i,j)、Uin_chn1(i,j)、Vin_chn1(i,j)为红外光图像的YUV图像数据；S8)对YUV空间下的可见光图像与红外光图像中的像素进行延时处理及帧同步处理，得到可见光图像Y通路像素数据Yin_chn0_delay(i,j)、可见光图像U通路像素数据Uin_chn0_delay(i,j)、可见光图像V通路像素数据Vin_chn0_delay(i,j)，红外光图像Y通路像素数据Yin_chn1_delay(i,j)、红外光图像U通路像素数据Uin_chn1_delay(i,j)、红外光图像V通路像素数据Vin_chn1_delay(i,j)；S9)根据下式进行图像融合计算输出的Y通路的融合像素数据Yout(i,j)、U通路的融合像素数据Uout(i,j)、V通路的融合像素数据Vout(i,j),Uout(i,j)＝Uin_chn0_delay(i,j)Vout(i,j)＝Vin_chn0_delay(i,j)。2.如权利要求1所述的双光谱摄像机图像融合方法，其特征在于：所述最大融合权重Max_wt为128。3.如权利要求1所述的双光谱摄像机图像融合方法，其特征在于：所述步骤S8中的延时处理为，将当前可见光图像与红外光图像中的像素数据延时，以使像素数据与权重对齐。4.如权利要求1所述的双光谱摄像机图像融合方法，其特征在于：所述步骤S8中的帧同步处理为，判断当前的可见光图像帧和红外光图像帧的时间戳是否一致，否则将时间较早的图像帧抛弃。5.一种双光谱摄像机图像融合装置，其特征在于：包括，视频...

【专利技术属性】
技术研发人员：李修新，范铁道，张飞军，
申请(专利权)人：深圳英飞拓科技股份有限公司，
类型：发明
国别省市：广东,44