【技术实现步骤摘要】
本专利技术涉及局部图像处理，尤其涉及一种基于深度学习的图像去反光方法。
技术介绍
1、在现代摄影和图像处理中，眼镜镜片上的反光是一个常见且令人困扰的问题。无论是在日常生活中的人像摄影，还是在专业的摄影棚拍摄中，眼镜镜片反光都会对图像质量产生负面影响。这种反光不仅会遮挡人脸特征，影响美观，还会对后续的图像处理任务，如人脸识别、表情识别和图像美化等造成困扰。
技术实现思路
1、有鉴于此，本专利技术的目的在于提出一种基于深度学习的图像去反光方法，能够有效解决眼镜镜片反光问题，提高图像质量，适用于人像摄影、图像美化和人脸识别等多个应用场景。
2、根据本专利技术的一个方面，提供一种基于深度学习的图像去反光方法，所述方法包括：获取若干不佩戴眼镜的人脸图像，通过三维贴图，给不同的人脸贴上眼镜，构建第一数据集；
3、模拟镜面反射，在第一数据集中的眼镜区域叠加反光构建第二数据集，并通过有反光与无反光配对数据训练神经网络模型；
4、基于训练后的该神经网络模型，对含眼镜反光的人脸三通道rgb图像进行处理，输出去除反光的结果图。
5、在上述技术方案中，在案中不仅实现了对图像中反光成分的有效去除，还通过一系列后处理步骤进一步优化了图像质量。这些后处理步骤包括颜色保真度的增强和图像锐化的实施，旨在提升图像的视觉感知质量。通过这些综合措施，确保了处理后的图像不仅消除了不期望的反光，而且在颜色准确性和细节清晰度方面均达到了高标准。因此，最终的图像输出既去除了反光的干
6、在一些实施例中，获取若干不佩戴眼镜的人脸图像，并将该若干人脸图像重建为若干对应的三维面部模型，且对每个三维面部模型适配预设眼镜模型；基于适配后的三维面部模型构建第一数据集，具体地：
7、获取若干不佩戴眼镜的人脸图像以及眼镜模板图，对每张人脸图像进行三维重建，得到面部的三维模型及与该三维模型对应的人脸3d稠密关键点；
8、基于该人脸3d稠密关键点计算所选眼镜模板图与原始人脸图像的mvp矩阵，通过该mvp矩阵将所选眼镜模板图叠加至三维模型。
9、在上述技术方案中，眼镜模板能够实现眼镜模板与人脸图像的高保真度集成。通过精确对齐眼镜模板的视角和几何形状以匹配目标人脸的解剖特征，该方法确保了融合后的图像在视觉上的自然性和真实感。这种融合策略不仅考虑了人脸的三维形态，还考虑了视角变化对眼镜外观的影响，从而在人脸图像上实现了眼镜模板的逼真渲染。
10、在一些实施例中，在眼镜的镜片区域模拟镜面反射构建第二数据集，具体地：
11、采用图像图层融合方式将反光叠加至眼镜区域，公示如下：
12、
13、式中，为融合后的结果图；为眼镜区域图像；为反光材质贴图；为融合模式函数，模式函数包括正常、叠加、乘、屏幕、变暗、变亮、颜色加深、颜色减淡、线性加深、线性减淡、硬光、软光、差值、排除、颜色、亮度；为对反射层图像降质处理函数，包括模糊、噪声、jpeg压缩、sinc滤波、图像上下采样。
14、在上述技术方案中，通过采用多样化的图像融合技术与降质模拟策略，本案能够有效地模拟了现实世界中眼镜镜片的反光效应。这种模拟方法不仅提高了模型训练的真实性，而且通过对比含有反光的真实图像与模拟的无反光图像，进一步优化了卷积神经网络（cnn）模型在去除反光方面的性能。通过这种方式，cnn模型能够更加精确地学习到反光的特征，并在实际应用中有效地消除这些不期望的反光，从而确保了处理后的图像在视觉上既无反光干扰，又保持了高质量的视觉效果。
15、在一些实施例中，所述神经网络模型采用损失、感知损失和对抗损失的综合损失函数，可以表示为：
16、
17、式中，式中，、、、分别是各损失项的权重超参数，为损失函数值，为感知损失值，为对抗损失值，为二分类交叉熵损失函数。
18、在上述技术方案中，综合损失函数能够从多个维度引导模型进行优化，使得模型不仅能够学习到去除反光的策略，还能够在去除反光后的内容重建中，提高输出图像的准确性和真实性。确保模型在处理反光区域时，能够兼顾图像的细节保留和视觉自然性，从而在实际应用中生成高质量的去反光图像。
19、在一些实施例中，基于训练后的该神经网络模型，对含眼镜反光的人脸三通道rgb图像进行处理，输出去除反光的结果图，具体通过如下公式表征：
20、
21、式中，为模型输出结果图；为模型输出的三通道rgb图像；为模型输出的编码区域mask；为输入模型的含眼镜反光的人脸三通道rgb图像。
22、在上述技术方案中，通过编码区域仅编辑反光区域，保证原图细节不被破坏。使得后续处理能够在不干扰非反光区域的前提下，有效地对反光部分进行调整和优化。不仅提高了处理的针对性和效率，还最大限度地保留了原始图像的自然质感和视觉信息，从而在去除反光的同时，维护了图像的整体质量。
23、在一些实施例中，在cnn网络中引入残差连接或注意力机制。
24、在上述技术方案中，通过在cnn中引入残差连接或注意力机制，使得模型不仅增强了网络的学习能力，还提高了对眼镜镜片反光这类复杂特征的感知能力。这些技术的融合，为解决图像中的反光问题提供了一种有效的策略，使得网络能够更加精确地识别和处理反光区域，从而在实际应用中生成高质量的去反光图像。
25、在一些实施例中，输出去除反光的结果图之后还包括：对去除反光后的图像进行评估和比较，采用psnr指标以验证算法的效果和性能；
26、
27、其中，为像素值的最大可能取值，为均方误差。
28、在上述技术方案中，psnr指标可以加速模型收敛、避免陷入局部最优、提高训练稳定性，最终提升模型祛除反光的效果。
29、根据本专利技术的另一个方面，提供一种基于深度学习的图像去反光装置，包括依序连接的以下模块：
30、构建模块：用于获取若干不佩戴眼镜的人脸图像，通过三维贴图，给不同的人脸贴上眼镜，构建第一数据集；
31、训练模块：用于在眼镜的镜片区域模拟镜面反射构建第二数据集，并通过有反光与无反光配对数据训练神经网络模型；
32、处理模块： 用于基于训练后的该神经网络模型，对含眼镜反光的人脸三通道rgb图像进行处理，输出去除反光的结果图。
33、在上述技术方案中，为了更好的使用上述方法， 本申请提出一种基于深度学习的图像去反光装置，各个模块对应上述方法的各个步骤，其具体的原理已在上文中描述，此处不再赘述。
34、根据本专利技术的又一个方面，提供一种基于深度学习的图像去反光设备，包括：
35、至少一个处理器以及与所述至少一个处理器通信连接的存储器；
36、其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的本文档来自技高网...
【技术保护点】
1.一种基于深度学习的图像去反光方法，其特征在于，所述方法包括：
2.如权利要求1所述的一种基于深度学习的图像去反光方法，其特征在于，
3.如权利要求1所述的一种基于深度学习的图像去反光方法，其特征在于，所述神经网络模型采用损失、感知损失和对抗损失的综合损失函数，可以表示为：
4.如权利要求1所述的一种基于深度学习的图像去反光方法，其特征在于，
5.如权利要求1所述的一种基于深度学习的图像去反光方法，其特征在于，
6.如权利要求1所述的一种基于深度学习的图像去反光方法，其特征在于，
7.一种基于深度学习的图像去反光装置，其特征在于，包括依序连接的以下模块：
8.一种基于深度学习的图像去反光设备，其特征在于，包括：
9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法。
【技术特征摘要】
1.一种基于深度学习的图像去反光方法，其特征在于，所述方法包括：
2.如权利要求1所述的一种基于深度学习的图像去反光方法，其特征在于，
3.如权利要求1所述的一种基于深度学习的图像去反光方法，其特征在于，所述神经网络模型采用损失、感知损失和对抗损失的综合损失函数，可以表示为：
4.如权利要求1所述的一种基于深度学习的图像去反光方法，其特征在于，
5.如权利要求1所述的一种...
【专利技术属性】
技术研发人员：张奕坚，苏晋展，吴善思源，洪炜冬，张长定，
申请(专利权)人：厦门真景科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。