【技术实现步骤摘要】
本专利技术涉及计算机视觉，具体涉及图像增强模型的构建方法、图像增强方法、设备及介质。
技术介绍
1、由于不可避免的环境和/或技术限制，如照明不足和曝光时间有限，图像往往是在次优的照明条件下拍摄的，受到背光、非均匀光照和弱光的干扰。这类图像的美学质量会受到影响，而且对于高层的任务，如物体跟踪、识别和检测，信息的传输也不尽人意。低照度(图像亮度低于或等于指定值)增强在不同领域享有广泛的应用，包括视觉监控、自动驾驶和计算摄影。
2、在这种应用中，增强低照度图像和视频是一个值得探索的研究领域。传统的低照度图像增强方法包括基于直方图均衡化和基于retinex模型的方法，但是这些方法传统模型不能很好地适应多变的环境，运行时间普遍较长，并且很难获得最优的参数。此外，还有通过提高相机增益的方式来提高图像亮度，这会导致拍摄的图像含有很多噪声，从而影响成像效果。近年来，结合深度学习技术的进步，基于深度学习的低照度图像增强取得了令人瞩目的成功。
3、然后，基于深度学习的方法大多通过采集长短曝光的数据进行有监督学习，虽然该方法可以取得不错的效果，但是需要分别采集长曝光数据以及短曝光数据，采集任务繁琐比较耗时。
技术实现思路
1、有鉴于此，本专利技术提供了图像增强模型的构建方法、图像增强方法、设备及介质，以解决当前采用深度学习进行图像增强的方式存在采集任务繁琐比较耗时的问题。
2、第一方面，一种图像增强模型的构建方法，方法包括：基于亮度因子和raw域的噪声标定构建噪声分布
3、本专利技术实施例提供的图像增强模型的构建方法，采用正常曝光的raw图像作为原始数据，噪声少，从而能够提到后续处理的效果。同时基于亮度因子和raw域的噪声标定构建噪声分布模型，采用该噪声分布模型对正常曝光的raw图像添加由亮度因子带来的噪声，由此可以实现对训练数据raw域上的噪声仿真处理，从而实现通过对一帧raw图像仿真得到具有不同曝光的多帧raw图像即多帧仿真raw图像的效果。并且，采用多帧仿真raw图像与目标rgb图像构建训练样本对以对图像增强模型进行训练，避免了采用长短曝光数据进行有监督学习时带来的采集任务繁琐的问题。
4、在一种可选的实施方式中，基于亮度因子和raw域的噪声标定构建噪声分布模型，包括：使用泊松-高斯分布对raw域噪声进行建模确定初始噪声模型，采用平场帧和偏置帧标定初始噪声模型在指定增益下的参数得到标定噪声模型；基于亮度因子和标定噪声模型，构建真实场景下多曝光输入的噪声分布模型。
5、本实施例中，通过使用泊松-高斯分布对raw域噪声进行建模确定初始噪声模型，采用平场帧和偏置帧标定初始噪声模型在指定增益下的参数得到标定噪声模型；基于亮度因子和标定噪声模型，构建真实场景下多曝光输入的噪声分布模型，实现了对真实场景下多曝光输入的模拟，从而采用该噪声分布模型对训练数据的raw图像进行处理，避免了当前采集任务繁琐的问题。
6、在一种可选的实施方式中，图像增强模型包括语义分割分支、语义引导模块以及图像增强分支，语义分割分支用于提取感兴趣区域的语义特征信息，图像增强分支用于提取图像特征信息，语义引导模块用于采用语义特征信息调节图像特征信息；采用仿真raw图像和目标rgb图像构建训练样本对以对图像增强模型进行训练，得到目标图像增强模型，包括：将仿真raw图像输入图像增强模型得到语义分割分支输出的语义分割掩码图及图像增强分支输出的增强图像；计算语义分割掩码图与预设目标分割掩码图的分割损失；计算增强图像与目标rgb图像的像素损失和感知损失；将语义分割掩码图分别与增强图像及目标rgb图像点乘，得到局部增强图像及目标局部增强图像，计算局部增强图像和目标局部增强图像的局部损失；基于分割损失、像素损失和感知损失、局部损失联合训练图像增强模型，直至各个损失收敛得到目标图像增强模型。
7、本实施例中，在图像增强模型中设置语义分割分支、语义引导模块以及图像增强分支实现了全局+局部增强；图像增强分支用于提取全局特征，语义分割分支用于提取感兴趣区域，通过语义引导使得整个模型在全局增强的基础上对局部进行有效增强。通过设置局部损失，是为了使模型更加关注感兴趣区域的细节恢复，如人脸。其中，语义分割分支主要是从图像中分割出感兴趣区域，比如人脸，图像增强分支是对图像进行增强，此时两者单独计算损失(分割损失、像素损失和感知损失)，此时图像增强分支是对全局图像进行增强，在此情况下，为了在保证全局增强的同时对局部人脸图像做进一步的增强，增加了局部损失，使得图像增强模型能够在全局增强的同时增强感兴趣局域的局部增强效果。
8、在一种可选的实施方式中，采用仿真raw图像和目标rgb图像构建训练样本对以对图像增强模型进行训练，得到目标图像增强模型，包括：将仿真raw图像进行白平衡、色温矫正和/或人脸对齐处理，得到仿真rgb图像；采用仿真rgb图像和目标rgb图像构建训练样本对以对图像增强模型进行训练，得到目标图像增强模型，目标图像增强模型用于对局部人脸进行增强。
9、本实施例中，目标图像增强模型能够直接对局部图像如人脸等直接进行图像增强，无需语义引导。并且，为了使得该模型得到更好的训练效果，将仿真raw图像进行白平衡、色温矫正处理和/或人脸对齐，得到仿真rgb图像，然后采用仿真rgb图像和对应的图像处理后的rgb图像构建训练样本对深度学习模型进行训练，由此，使得训练得到的图像增强处理模型可以对于人脸姿态和色温有较好的兼容性，对于侧面人脸等具有较好的增强效果。
10、在一种可选的实施方式中，将仿真raw图像进行白平衡、色温矫正和/或人脸对齐处理，得到仿真rgb图像的步骤之前，还包括：获取正常曝光的raw图像中的车窗位置信息及车窗尺寸信息；基于车窗尺寸信息随机生成彩色模板，得到与车窗尺寸信息相同的仿真车窗膜；将仿真车窗膜与正常曝光的raw图像中车窗位置信息对应的区域按照预设比例进行融合，得到融合raw图像；相应地，根据噪声分布模型对正常曝光的raw图像添加由亮度因子带来的噪声，得到仿真raw图像，包括：根据噪声分布模型对融合raw图像添加由亮度因子带来的噪声，得到仿真raw图像。
11、本实施例中，当对局部图像如人脸进行图像增强时，若采集图像为位于车内的人脸时，则车窗彩色车膜的存在可能会影响人脸的色彩及对比度，因此，对车窗膜进行仿真，并将仿真结果按照预设比例融合到raw图像中，并对融合结果进行噪声仿真。由此后续采用该噪声仿真结果进行模型训练，能够使得模型更准确的对局部图像进行增强。
12、第二方面，本专利技术提供了一种图像增强方法，方法包括：获取待增强raw图像，将待增强raw图像乘以不同亮度因子得到不同亮度等级的待增强本文档来自技高网...
【技术保护点】
1.一种图像增强模型的构建方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，基于亮度因子和RAW域的噪声标定构建噪声分布模型，包括：
3.根据权利要求1所述的方法，其特征在于，所述图像增强模型包括语义分割分支、语义引导模块以及图像增强分支，所述语义分割分支用于提取感兴趣区域的语义特征信息，所述图像增强分支用于提取图像特征信息，所述语义引导模块用于采用语义特征信息调节图像特征信息；
4.根据权利要求1所述的方法，其特征在于，所述采用所述仿真RAW图像和目标RGB图像构建训练样本对以对图像增强模型进行训练，得到目标图像增强模型，包括：
5.根据权利要求4所述的方法，其特征在于，所述将所述仿真RAW图像进行白平衡、色温矫正和/或人脸对齐处理，得到仿真RGB图像的步骤之前，还包括：
6.一种图像增强方法，其特征在于，所述方法包括：
7.一种图像增强方法，其特征在于，所述方法包括：
8.一种图像增强模型的构建装置，其特征在于，所述装置包括：
9.一种计算机设备，其特征在
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至5中任一项所述的图像增强模型的构建方法或权利要求6所述的图像增强方法或权利要求7所述的图像增强方法。
...【技术特征摘要】
1.一种图像增强模型的构建方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，基于亮度因子和raw域的噪声标定构建噪声分布模型，包括：
3.根据权利要求1所述的方法，其特征在于，所述图像增强模型包括语义分割分支、语义引导模块以及图像增强分支，所述语义分割分支用于提取感兴趣区域的语义特征信息，所述图像增强分支用于提取图像特征信息，所述语义引导模块用于采用语义特征信息调节图像特征信息；
4.根据权利要求1所述的方法，其特征在于，所述采用所述仿真raw图像和目标rgb图像构建训练样本对以对图像增强模型进行训练，得到目标图像增强模型，包括：
5.根据权...
【专利技术属性】
技术研发人员：张艳丽，汪磊，毛晓蛟，
申请(专利权)人：苏州科达科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。