高动态范围成像方法和装置制造方法及图纸

本公开提供了高动态范围成像方法，对包含神经形态相机与普通相机的混合相机系统进行搭建；通过搭建完成的所述混合相机系统中的普通相机拍摄的低动态范围图像与神经形态相机拍摄并重建的高动态范围灰度图输入至训练好的神经网络中完成融合成像操作。该方法通过单张LDR图像融合神经形态相机的输出使高动态范围成像的质量大大超越单张LDR图像的重建效果；使用深度学习的方法，针对LDR图像和HDR灰度图在每一个方面的差异单独设计网络模块，相比于非深度学习的融合方法，有效提高了融合图像的质量；减少输入LDR图像数目，减小了数据获取的难度，不会造成模糊和虚影等问题，扩大了算法的应用范围。本公开还提出高动态范围成像装置。

【技术实现步骤摘要】
高动态范围成像方法和装置
本公开涉及计算机
，具体而言，涉及高动态范围成像方法和装置。
技术介绍
随着计算机技术发展，计算机算力逐渐加强，机器学习、深度学习技术快速进步，计算机视觉相关技术逐渐应用到各个场景，例如手机相机的人脸检测、修图美图、夜间拍照等功能，无人驾驶中的行人检测、道路识别，移动支付与车站身份检测的人脸识别，或是机器人的同步定位与建图任务等。随着大数据、智能化时代的来临，越来越多的应用场景需要计算视觉技术的支持，海量的视频、图像数据亟待处理，更凸显底层视觉任务的重要意义。由此，底层图像处理技术的不可替代性及其对于更高语义层次任务的重要意义，受到社会广泛关注。高动态范围成像，作为计算摄像学的基础任务，其发展对于其他计算机视觉技术来说极其重要。人类的眼睛能够看到的动态范围大概在10000：1的范围，但是普通相机的动态范围只能达到1000：1。因此拍摄单张照片所能覆盖的动态范围是极其有限的，为了使亮度高的信息得到正确曝光，采用过短的曝光时间会使得场景中亮度低的部分变得黑暗且产生噪声，反之，为了使亮度低的信息得到正确曝光，采用过长的曝光时间则会导致场景中亮度高的部分过曝而丢失细节。对于无论是手机用户还是数码相机用户，拍摄出过曝或欠曝的照片都会令拍照体验大打折扣，对于高层计算机视觉任务来说，LDR的图像会使得特征识别准确率下降，使得系统无法正常工作。因此，高动态范围成像的有效性以及稳定性将直接影响高层计算机视觉任务的效率。经典的高动态范围成像主要通过拍摄一组不同曝光时长的图像，来估计出CRF(CameraResponseFunction，相机响应函数)曲线，将像素值转换到线性空间，再通过赋予不同照片以不同的权重，加权计算得到每个像素点的辐照度值，从而得到一张HDR的图像，通过色调映射可以将高动态范围图像映射为8bitRGB图像用于显示。随着深度学习方法的发展，利用神经网络对隐式数据分布全面的建模能力来解决底层视觉问题逐渐成为近几年的主流方法，一系列设计网络结构的逆色调映射高动态范围成像方法应运而生。这些方法大多利用单张LDR图像经过训练过的神经网络来预测过曝或欠曝区域的信息，以得到HDR图像。相对于合成不同曝光时长的一组图像的传统方法，逆色调映射深度学习方法只需单张LDR的输入，从而避免了拍摄多张LDR图像过程中复杂的拍摄技巧和虚影的产生，且在性能上较传统的优化类逆色调映射方法表现出明显的优势，但由于没有额外的信息，会造成对过曝或欠曝区域的预测不准确，且深度学习方法对训练数据的依赖性使其在未被训练数据集包含的场景中测试时性能不够稳定。不同于普通相机，神经形态相机具有捕捉HDR场景信息的能力，能够得到一张包含HDR信息的低分辨率灰度图。利用神经形态相机的这个特性，将神经形态相机输出的灰度图与普通相机拍摄的高分辨率彩色照片进行融合，可以得到包含HDR信息的高分辨率彩色图像。现有技术中，通常采用首先控制相机电子快门拍摄一组不同曝光时长的照片，利用这一组LDR图像计算出拍摄相机的响应函数曲线，再将每张LDR图像的像素值根据CRF曲线转换到线性空间，赋予每张LDR图像以不同的权重，加权计算得到每个像素点的辐照度值，即可得到一张HDR图像。此外，如图1所示，现有技术中，还会应用深度学习的方法，将单张LDR图像输入卷积神经网络，学习过曝区域的细节重建，最后合成输出的重建图像与输入LDR图像来实现HDR成像。不同于前述现有技术中需要拍摄多张不同曝光时长的LDR图像来合成HDR图像，该技术只需单张LDR图像，输入到神经网络中预测过曝区域的细节信息。但上述提到的两种现有技术都有各自的缺点：第一种现有技术需要拍摄多张不同曝光的LDR图像，对拍摄技巧要求较高，需要稳定相机，不能有晃动，场景中也不能有移动的物体，否则会导致最终的合成结果没有对齐或产生虚影，使重建结果质量大大降低；第二种现有技术虽然不需要拍摄多张照片来进行合成，只需要1张LDR图像，但是该方法只能预测过曝区域的信息，欠曝区域的信息无法预测。而且过曝区域信息的预测很大程度上依赖于网络的训练效果，根据网络的学习经验来预测，导致预测的结果与真实情况不符，能够重建的动态范围极其有限。
技术实现思路
为了解决现有技术中的技术问题，本公开实施例提供了高动态范围成像方法和装置，能够避免由于在时间维度上跨度过大而导致的模糊或虚影问题。第一方面，本公开实施例提供了高动态范围成像方法，所述方法包括：对包含神经形态相机与普通相机的混合相机系统进行搭建；通过搭建完成的所述混合相机系统中的普通相机拍摄的低动态范围图像与神经形态相机拍摄并重建的高动态范围灰度图输入至训练好的神经网络中完成融合成像操作。第二方面，本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的方法的步骤。第三方面，本公开实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的方法的步骤。第四方面，本公开实施例提供了高动态范围成像装置，所述装置包括：搭建模块，用于对包含神经形态相机与普通相机的混合相机系统进行搭建；融合成像模块，用于通过搭建完成的所述混合相机系统中的普通相机拍摄的低动态范围图像与神经形态相机拍摄并重建的高动态范围灰度图输入至训练好的神经网络中完成融合成像操作。本专利技术提供的高动态范围成像方法和装置，对包含神经形态相机与普通相机的混合相机系统进行搭建；通过搭建完成的所述混合相机系统中的普通相机拍摄的低动态范围图像与神经形态相机拍摄并重建的高动态范围灰度图输入至训练好的神经网络中完成融合成像操作。该方法只需对场景拍摄一次，能够避免由于在时间维度上跨度过大而导致的模糊或虚影问题。引入神经形态相机，神经形态相机所能感受到的动态范围能够达到120dB，可以提供比单张LDR图像高得多的动态范围信息。本专利搭建的混合相机系统能够同步捕捉LDR图像和HDR灰度图，通过融合两张图像来重构HDR图像；该方法成功融合神经形态相机和普通相机输出的图像，提出的神经网络架构拥有专门设计的网络模块，将二者在分辨率、动态范围以及色彩空间领域的差异进行弥补，融合为一张高动态范围、高分辨率的彩色图像。附图说明为了更清楚地说明本公开实施例的技术方案，下面对实施例描述中所需要使用的附图作简单地介绍：图1为现有技术系统框图；图2为本专利技术一个实施例中的高动态范围成像方法的步骤流程示意图；图3为本专利技术一个实施例中的高动态范围成像方法中的软硬件系统结构示意图；图4为本专利技术一个实施例中的高动态范围成像方法中的混合相机系统结构示例图；图5为本专利技术一个实施例中的高动态范围成像方法中的流程示例图；图6为本专利技术一个实施例中的高动态范围成像方法中的网络结构示意图；图7为本专利技术一个实施例中的高动态范围成像装置的结构示意图；图8为本专利技术一个实施例中的高动态范围成像装置的硬件框图；图9为本专利技术一个实施例中的计算机可本文档来自技高网...

【技术保护点】
1.高动态范围成像方法，其特征在于，所述方法包括：/n对包含神经形态相机与普通相机的混合相机系统进行搭建；/n通过搭建完成的所述混合相机系统中的普通相机拍摄的低动态范围图像与神经形态相机拍摄并重建的高动态范围灰度图输入至训练好的神经网络中完成融合成像操作。/n

【技术特征摘要】
1.高动态范围成像方法，其特征在于，所述方法包括：
对包含神经形态相机与普通相机的混合相机系统进行搭建；
通过搭建完成的所述混合相机系统中的普通相机拍摄的低动态范围图像与神经形态相机拍摄并重建的高动态范围灰度图输入至训练好的神经网络中完成融合成像操作。


2.根据权利要求1所述的高动态范围成像方法，其特征在于，所述对包含神经形态相机与普通相机的混合相机系统进行搭建包括：采用一部型号为PointGreyChameleon3的普通RGB工业相机以及一部神经形态相机完成混合相机系统的搭建。


3.根据权利要求1所述的高动态范围成像方法，其特征在于，所述神经形态相机拍摄并重建的高动态范围灰度图包括：
对于动态视觉传感器，使用E2VID网络从事件数据中重建出包含高动态范围信息的灰度图，其中，灰度图的分辨率为240×180；
对于仿视网膜采样模型，使用滑动窗口的方法对脉冲数据进行积分得到包含高动态信息的灰度图，其中，灰度图的分辨率为400×250。


4.根据权利要求1所述的高动态范围成像方法，其特征在于，所述通过搭建完成的所述混合相机系统中的普通相机拍摄的低动态范围图像与神经形态相机拍摄并重建的高动态范围灰度图输入至训练好的神经网络中完成融合成像操作包括：
经过上采样亮度融合网络将低动态范围图像和高动态范围图像的灰度图在灰度空间进行融合；
将低动态范围图像的色度通道U、色度通道V拼接到融合的高动态范围图像灰度通道；
经过色彩补偿网络进行颜色补偿，输出高分辨率彩色的高动态范围图像。


5.根据权利要求1所述的高动态范围成像方法，其...

【专利技术属性】
技术研发人员：施柏鑫，黄铁军，许超，韩金，段沛奇，周矗，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京;11