【技术实现步骤摘要】
本申请涉及图像数据处理领域，特别涉及一种微光夜视镜的增强信息生成方法及系统。
技术介绍
1、随着夜视成像技术的不断发展，微光夜视镜在军事侦察、安防监控等领域得到了广泛应用。微光夜视镜通过增强弱可见光和近红外光，可在低照度条件下进行成像，扩展了人眼的观察能力。然而，由于微光成像信号微弱、信噪比低，直接成像质量较差，亟须对微光图像进行增强处理以提高视觉感知效果。
2、传统的微光夜视增强方法主要针对图像的对比度、亮度、清晰度等特性进行优化。其中，直方图均衡化通过拉伸像素值分布改善图像对比度；retinex理论通过估计光照分量和反射分量，实现图像动态范围压缩和颜色恒常性校正；多尺度融合方法通过融合图像的多尺度梯度等特征，增强图像纹理细节。上述方法在一定程度上改善了微光图像的视觉质量，但未充分利用成像场景的先验信息，难以恢复场景几何结构，增强后的图像真实感不足。
3、近年来，深度学习技术的兴起为微光夜视图像增强带来了新的契机。卷积神经网络可通过端到端训练直接对图像质量增强进行建模，生成对抗网络可学习真实图像的概率分布，生成逼真的增强图像。但现有基于深度学习的方法大多将微光图像增强视为二维图像到图像的映射，忽略了场景的三维结构信息。微光成像过程容易引入光学畸变和噪声，导致估计的深度信息不准确，增强图像出现几何失真。此外，现有方法的网络结构和损失函数设计不够精细，难以很好地约束增强图像的局部细节和全局一致性。
技术实现思路
1、针对现有技术中存在的微光夜视增强图像中场景几
2、本申请的目的通过以下技术方案实现。
3、本申请的一个方面提供一种微光夜视镜的增强信息生成方法，包括：利用微光夜视镜采集微光夜视场景的可见光图像，并利用红外深度传感器采集微光夜视场景的深度图像；对采集的可见光图像和深度图像进行预处理；根据预处理后的深度图像，通过三维重建算法构建微光夜视场景的三维模型；利用生成对抗网络gan，将三维模型与采集的可见光图像进行融合，生成增强后的夜视图像。
4、其中，微光夜视镜是一种用于微光条件下成像的光电器件，可将微弱可见光和近红外光放大，实现夜间观察。其核心部件为微光图像增强器，主要包括光电阴极、微通道板、荧光屏等。在本申请中，微光夜视镜可在夜间和低照度环境获取场景图像，但成像质量通常不高。本申请方案利用微光夜视镜采集可见光图像，作为夜视增强的输入，同时引入红外深度传感器采集场景的深度图像，为后续三维重建提供深度信息。通过算法对微光夜视镜成像进行后处理增强，可进一步提升其成像性能和使用体验。
5、其中，微光夜视场景是指在夜间或低照度环境下，利用微光夜视镜观察到的场景。这种场景通常光照极其微弱，肉眼难以观察，但存在少量可见光和近红外光。具体的，场景中可见光照度通常低于0.1lux，属于微光环境。
6、对采集的可见光图像进行预处理，包括：对微光夜视镜采集的可见光图像进行分块，得到多个局部子图像；根据每个局部子图像，通过滑动窗口的方式在子图像上逐像素提取局部区域；对提取的每个局部区域，统计局部区域内像素值的方差，作为局部噪声方差；根据局部噪声方差，设置中值滤波器的参数；利用设置参数后的中值滤波器对相应局部区域进行中值滤波处理；对所有局部区域进行中值滤波处理，得到降噪后的可见光图像；对降噪后的可见光图像进行retinex分解，得到反映图像亮度分布的光照图和反映图像内的反射率图；利用拉伸算法对光照图进行范围扩展，以增强图像亮度对比度，得到增强后的光照图；利用引导滤波算法对反射率图进行平滑处理，得到平滑处理后的反射率图；将增强后的光照图和平滑处理后的反射率图进行像素级相乘，得到预处理后的可见光图像。
7、进一步的，对采集的深度图像进行预处理，包括：利用事先标定的红外深度传感器的内外参数对深度图像畸变校正，通过径向和切向畸变系数对深度图像中每个像素的三维坐标进行校正，以消除成像过程引入的非线性畸变，得到畸变校正后的深度图像；以校正后的深度图像为输入图像，以预处理后的可见光图像为引导图像，利用引导滤波算法对深度图像进行平滑处理，得到平滑后的深度图像；以平滑后的深度图像和预处理后的可见光图像为输入，采用联合双边滤波算法对深度图像进行空洞填充，利用深度图像之间的几何距离和可见光图像之间的颜色相似度约束，对深度图像中的空洞区域进行填充，得到预处理后的深度图像。
8、进一步的，利用引导滤波算法对深度图像进行平滑处理，得到平滑后的深度图像，包括：利用引导滤波算法，通过最小二乘法拟合输入的深度图像与引导图像之间的线性变换系数；对线性变换系数大于阈值的区域，利用滤波窗口大于阈值的均值滤波器进行滤波，反之利用滤波窗口小于阈值的均值滤波器进行滤波，得到滤波后的深度图像；计算引导图像的梯度幅值，根据梯度幅值设置深度图像不同区域的权重；根据设置的权重和滤波后的深度图像，进行加权融合，得到平滑后的深度图像。
9、进一步的，通过三维重建算法构建微光夜视场景的三维模型，包括：以预处理后的深度图像为输入，将深度图像划分为均匀的网格，每个网格对应三维模型中的一个体素；根据每个体素对应的深度图像像素点的深度值，计算每个体素的三维空间坐标，得到初始三维模型；利用三角网格算法对初始三维模型进行网格简化；利用泊松重建算法对网格简化后的三维模型进行表面重建，通过深度图像的梯度信息约束三维模型的表面形状，得到重建后的三维模型；将预处理后的可见光图像映射到重建后的三维模型表面，通过可见光图像添加三维模型的纹理信息，得到微光夜视场景的三维模型。
10、进一步的，利用生成对抗网络gan，将三维模型与采集的可见光图像进行融合，生成增强后的夜视图像，包括：将微光夜视场景的三维模型作为条件输入到生成对抗网络gan的生成器中，生成器通过解码三维模型的几何结构和纹理映射，生成初始夜视图像；将采集的可见光图像作为真实样本输入到生成对抗网络gan的判别器中，判别器通过编码可见光图像的纹理和噪声分布，得到可见光图像的特征；在生成器和判别器的对抗学习中，生成器以三维模型为条件约束，并以判别器对生成图像的判别结果为优化目标，通过反向传播更新生成器参数，生成增强后的夜视图像；在生成器的损失函数中设置重建损失项，通过约束当前迭代步生成器生成的夜视图像与初始夜视图像在像素空间的差异，使生成器学习三维模型的几何结构和光照先验信息；在生成器的损失函数中设置感知损失项，通过预训练的卷积神经网络提取当前迭代步生成器生成的夜视图像和采集的可见光图像的多尺度卷积特征，并计算卷积特征组成的特征空间内两幅图像特征的l1距离，使生成器学习可见光图像的纹理和噪声分布；在生成器的损失函数中设置对抗损失项，将当前迭代步生成器生成的夜视图像输入判别器进行真假判别，并以判别器的判别结果作为生成器的损失；通过生成器和判别器的交替训练，最小化生成器的重建损失、感知损失本文档来自技高网...
【技术保护点】
1.一种微光夜视镜的增强信息生成方法，其特征在于，包括：
2.根据权利要求1所述的微光夜视镜的增强信息生成方法，其特征在于：
3.根据权利要求2所述的微光夜视镜的增强信息生成方法，其特征在于：
4.根据权利要求1至3任一所述的微光夜视镜的增强信息生成方法，其特征在于：
5.根据权利要求4所述的微光夜视镜的增强信息生成方法，其特征在于：
6.根据权利要求5所述的微光夜视镜的增强信息生成方法，其特征在于：
7.根据权利要求6所述的微光夜视镜的增强信息生成方法，其特征在于：
8.根据权利要求7所述的微光夜视镜的增强信息生成方法，其特征在于：
9.根据权利要求8所述的微光夜视镜的增强信息生成方法，其特征在于：
10.一种微光夜视镜的增强信息生成系统，其特征在于，
【技术特征摘要】
1.一种微光夜视镜的增强信息生成方法，其特征在于，包括：
2.根据权利要求1所述的微光夜视镜的增强信息生成方法，其特征在于：
3.根据权利要求2所述的微光夜视镜的增强信息生成方法，其特征在于：
4.根据权利要求1至3任一所述的微光夜视镜的增强信息生成方法，其特征在于：
5.根据权利要求4所述的微光夜视镜的增强信息生成方法，其特征在于：<...
【专利技术属性】
技术研发人员：王磊，
申请(专利权)人：深圳翌信信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。