【技术实现步骤摘要】
本专利技术涉及图像处理，尤其涉及一种极低照度下的超高清远距离全彩成像方法及其模组。
技术介绍
1、在现有技术中，传统的可见光摄像设备在光线不足的情况下，由于信噪比下降，导致图像质量严重受损，出现大量噪声、细节丢失和颜色失真等问题。为了克服这一问题，一些现有的解决方案包括使用高感光度传感器、增加人工照明或采用长曝光时间来提高图像亮度。然而，这些方法都有各自的局限性：高感光度传感器虽然可以提高灵敏度，但通常会引入更多的噪声；增加人工照明可能会改变场景的自然状态，并且在某些应用场景(如野生动物观察、军事侦察等)中是不可行的；长曝光时间则容易造成运动物体模糊，不适合动态场景的拍摄。
2、因此，有必要提供一种极低照度下的超高清远距离全彩成像方法及其模组解决上述技术问题。
技术实现思路
1、为解决上述技术问题，本专利技术提供一种极低照度下的超高清远距离全彩成像方法及其模组，解决在夜间或极低光照条件下，传统摄像头难以捕捉到清晰、色彩准确的图像的问题，通过结合可见光和红外成像技术，实现高质量的彩色图像重建。
2、本专利技术提供了一种极低照度下的超高清远距离全彩成像方法，所述方法包括以下步骤：
3、针对同一场景进行短曝光拍摄，同步获取多个可见光帧与多个红外帧并进行图像配准，其中所述多个可见光帧通过配置的可见光摄像头捕捉，所述多个红外帧通过配置的红外传感器捕捉；
4、基于所述多个红外帧对相应的所述多个可见光帧进行亮度增强，并利用自适应加权融合算法对亮度增
5、对所述长曝光等效单帧图像和所述多个红外帧进行降噪处理；
6、将降噪处理后的所述长曝光等效单帧图像和所述多个红外帧输入预训练的颜色推导模型中进行颜色重建，生成用于构建全彩图像的色彩信息矩阵，其中所述颜色推导模型为经过极低照度场景下包含可见光图像和红外图像对的样本数据训练得来的深度学习模型；
7、基于所述色彩信息矩阵，对所述长曝光等效单帧图像进行色彩映射与着色，生成最终的全彩图像。
8、优选的，所述图像配准，包括：
9、提取所述多个可见光帧和所述多个红外帧中的特征点；
10、利用特征点匹配算法将所述可见光帧中的特征点与所述红外帧中的特征点进行匹配；
11、根据匹配的特征点，计算图像之间的变换参数；
12、应用所述变换参数将所述可见光帧与所述红外帧进行空间对齐，完成图像配准。
13、优选的，所述基于所述多个红外帧对相应的所述多个可见光帧进行亮度增强，并利用自适应加权融合算法对亮度增强后的所述多个可见光帧进行合成，生成长曝光等效单帧图像，包括：
14、基于所述多个红外帧中的亮度分布，识别出场景中的高亮度区域和低亮度区域，并依据所述多个红外帧提供的热辐射强度对相应的可见光帧中的低亮度区域进行亮度提升；
15、对于每一组配准后且经过亮度提升的可见光帧，计算每个像素点周围的局部对比度和亮度值；
16、根据每个像素点的局部对比度和亮度值，动态调整不同帧之间的权重；
17、使用计算出的权重，对所有可见光帧进行加权平均，生成长曝光等效单帧图像。
18、优选的，所述权重的调整是依据预设的动态权重函数完成的，其中所述动态权重函数用于根据每个像素点的局部对比度和亮度值来决定其在所述长曝光等效单帧图像中所贡献的权重，具体的，所述动态权重函数的数学表达式为：
19、
20、其中，f表示帧的索引，n表示可见光帧的数量，gf(c，l)表示结合局部对比度c和亮度值l的综合函数；
21、其中，综合函数的数学表达式为：
22、
23、其中，∈表示小正数，α表示控制对比度影响程度的参数，β表示控制亮度值影响程度的参数，μ表示期望的平均亮度值。
24、优选的，所述对所述长曝光等效单帧图像和所述多个红外帧进行降噪处理，包括：
25、应用多尺度变换算法对所述长曝光等效单帧图像和所述多个红外帧分别进行分解，以获取不同频率的图像分量；
26、基于统计模型对各频率分量进行噪声估计，并根据估计结果调整各分量的阈值，以去除噪声，所述统计模型是预先通过包含噪声和无噪声图像对的数据训练得到的；
27、通过逆多尺度变换将经过降噪处理的各频率分量重新组合，恢复出降噪后的长曝光等效单帧图像和红外帧。
28、优选的，所述将降噪处理后的所述长曝光等效单帧图像和所述多个红外帧输入预训练的颜色推导模型中进行颜色重建，生成用于构建全彩图像的色彩信息矩阵，包括：
29、在颜色重建过程中，所述颜色推导模型接收降噪处理后的长曝光等效单帧图像和红外帧作为输入，并通过多层卷积、激活、池化和全连接层的操作来提取图像的特征；
30、利用所述颜色推导模型内部的编码解码结构，将提取到的特征映射到色彩空间，以重建出与原始场景相匹配的色彩信息矩阵。
31、优选的，所述基于所述色彩信息矩阵，对所述长曝光等效单帧图像进行色彩映射与着色，生成最终的全彩图像，包括：
32、利用所述色彩信息矩阵中的色彩分布信息，通过查找表将长曝光等效单帧图像的灰度值转换为对应的rgb颜色值；
33、对于每个像素点，结合其原始亮度信息和从所述色彩信息矩阵中获得的颜色信息，应用lab颜色空间模型调整对应像素的颜色属性；
34、对调整后的颜色属性进行色彩校正，获得最终的全彩图像。
35、本专利技术还提供了一种极低照度下的超高清远距离全彩成像模组，包括可见光摄像头、红外传感器和图像处理单元，其中所述图像处理单元用于执行以下步骤：
36、针对同一场景进行短曝光拍摄，同步获取多个可见光帧与多个红外帧并进行图像配准；
37、基于所述多个红外帧对相应的所述多个可见光帧进行亮度增强，并利用自适应加权融合算法对亮度增强后的所述多个可见光帧进行合成，生成长曝光等效单帧图像；
38、对所述长曝光等效单帧图像和所述多个红外帧进行降噪处理；
39、将降噪处理后的所述长曝光等效单帧图像和所述多个红外帧输入预训练的颜色推导模型中进行颜色重建，生成用于构建全彩图像的色彩信息矩阵，其中所述颜色推导模型为经过极低照度场景下包含可见光图像和红外图像对的样本数据训练得来的深度学习模型；
40、基于所述色彩信息矩阵，对所述长曝光等效单帧图像进行色彩映射与着色，生成最终的全彩图像。
41、与相关技术相比较，本专利技术提供的一种极低照度下的超高清远距离全彩成像方法及其模组具有如下有益效果：
42、本专利技术通过同步获取同一场景的多个可见光帧和红外帧，并进行精确的图像配准以确保两种模态图像之间的空间对齐，从而为后续处理奠定基础。接着，利用红外帧中的亮度分布信息对可见光帧进行亮度增强，特别是针对低亮度区域进行提升，然后采用本文档来自技高网...
【技术保护点】
1.一种极低照度下的超高清远距离全彩成像方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的一种极低照度下的超高清远距离全彩成像方法，其特征在于，所述图像配准，包括：
3.根据权利要求2所述的一种极低照度下的超高清远距离全彩成像方法，其特征在于，所述基于所述多个红外帧对相应的所述多个可见光帧进行亮度增强，并利用自适应加权融合算法对亮度增强后的所述多个可见光帧进行合成，生成长曝光等效单帧图像，包括：
4.根据权利要求3所述的一种极低照度下的超高清远距离全彩成像方法，其特征在于，所述权重的调整是依据预设的动态权重函数完成的，其中所述动态权重函数用于根据每个像素点的局部对比度和亮度值来决定其在所述长曝光等效单帧图像中所贡献的权重，具体的，所述动态权重函数的数学表达式为：
5.根据权利要求4所述的一种极低照度下的超高清远距离全彩成像方法，其特征在于，所述对所述长曝光等效单帧图像和所述多个红外帧进行降噪处理，包括：
6.根据权利要求5所述的一种极低照度下的超高清远距离全彩成像方法，其特征在于，所述将降噪处理后的所述长
7.根据权利要求6所述的一种极低照度下的超高清远距离全彩成像方法，其特征在于，所述基于所述色彩信息矩阵，对所述长曝光等效单帧图像进行色彩映射与着色，生成最终的全彩图像，包括：
8.一种极低照度下的超高清远距离全彩成像模组，其特征在于，包括可见光摄像头、红外传感器和图像处理单元，其中所述图像处理单元用于执行以下步骤：
...【技术特征摘要】
1.一种极低照度下的超高清远距离全彩成像方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的一种极低照度下的超高清远距离全彩成像方法，其特征在于，所述图像配准，包括：
3.根据权利要求2所述的一种极低照度下的超高清远距离全彩成像方法，其特征在于，所述基于所述多个红外帧对相应的所述多个可见光帧进行亮度增强，并利用自适应加权融合算法对亮度增强后的所述多个可见光帧进行合成，生成长曝光等效单帧图像，包括：
4.根据权利要求3所述的一种极低照度下的超高清远距离全彩成像方法，其特征在于，所述权重的调整是依据预设的动态权重函数完成的，其中所述动态权重函数用于根据每个像素点的局部对比度和亮度值来决定其在所述长曝光等效单帧图像中所贡献的权重，具体的，所述动态权重函数的数学表达式为：
【专利技术属性】
技术研发人员：吴成志，刘征，李子清，王玮，郑慧明，赵周丽，
申请(专利权)人：四川国创新视超高清视频科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。