【技术实现步骤摘要】
本公开涉及视频图像处理、计算机视觉、深度学习以及人工智能等领域，尤其涉及一种暗光视频的处理方法、装置、电子设备、芯片及存储介质。
技术介绍
1、随着智能手机的普及，越来越多的用户使用手机进行拍摄工作，但在昏暗环境中用智能手机的相机拍摄照片或视频，可能存在视觉效果较差、无法拍摄到清晰信息的情况。因此就需要对其进行低光增强，优化拍摄效果。并且，低光增强在不同领域也享有广泛的应用，包括视觉监控、自动驾驶和计算摄影等。因此，如何对暗光视频处理来提高视频的视觉效果，对优化用户使用体验、提高产品竞争力等至关重要。
技术实现思路
1、本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
2、本公开第一方面实施例提出了一种暗光视频的处理方法，包括：
3、获取待处理的暗光第一视频及对应的第一事件；
4、将所述第一视频输入生成的照明度模型，得到所述第一视频对应的第一照明度；
5、将所述第一视频及所述第一事件分别输入生成的事件融合模型，得到所述第一视频对应的融合事件后的第一目标图像特征，其中，所述事件融合模型与所述照明度模型为联合训练生成的；
6、将所述第一目标图像特征及所述第一照明度进行合成，以得到目标视频。
7、本公开第二方面实施例提出了一种暗光视频的处理装置，包括：
8、第一获取模块，用于获取待处理的暗光第一视频及对应的第一事件；
9、第一处理模块，用于将所述第一视频输入生成的照明度模型，得到所述第
10、第二处理模块，用于将所述第一视频及所述第一事件分别输入生成的事件融合模型，得到所述第一视频对应的融合事件后的第一目标图像特征，其中，所述事件融合模型与所述照明度模型为联合训练生成的；
11、第一合成模块，用于将所述第一目标图像特征及所述第一照明度进行合成，以得到目标视频。
12、本公开第三方面实施例提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本公开第一方面实施例提出的暗光视频的处理方法。
13、本公开第四方面实施例提出了一种芯片，所述芯片包括处理电路，所述处理电路被配置为执行第一方面实施例提出的暗光视频的处理方法。
14、本公开第五方面实施例提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，实现如本公开第一方面实施例提出的暗光视频的处理方法。
15、本公开提供的暗光视频的处理方法、装置、电子设备、芯片及存储介质，存在如下有益效果：
16、本公开实施例中，通过利用照明度模型和事件融合模型，在暗光视频以及相应的事件信息中，提取图像特征以及估计照明度，然后对图像特征和照明度进行合成，以完成对视频的暗光区域进行增强处理，得到目标视频。从而提高了视频中特征提取的准确性，提高了视频处理的效率，增强了视频的视觉效果，优化用户的使用体验。
17、本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
本文档来自技高网...【技术保护点】
1.一种暗光视频的处理方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述将所述第一视频及所述第一事件分别输入生成的事件融合模型，得到所述第一视频对应的融合事件后的第一目标图像特征，包括：
3.如权利要求2所述的方法，其特征在于，所述事件融合模型中包括多级融合网络，其中，每级融合网络中包括图像处理分支及事件处理分支，其中，所述图像处理分支中包括图像处理模块及事件图像融合模块，所述事件处理分支中包括事件编码器。
4.如权利要求3所述的方法，其特征在于，所述将所述第一事件特征与所述第一图像特征分别输入所述事件融合模型中的融合网络，得到所述融合事件后的第一目标图像特征，包括：
5.如权利要求4所述的方法，其特征在于，所述将所述亮度图Gi和信噪比图Si分别输入蒙版图生成模块，得到第i次的蒙版图maski，包括：
6.如权利要求5所述的方法，其特征在于，所述根据各所述亮度图块对应的亮度均值及亮度阈值、及对应的信噪比图块对应的信噪比均值及信噪比阈值，确定所述蒙版图maski，包括：
7.如权利要求4所述
8.如权利要求1-7任一所述的方法，其特征在于，所述方法还包括：
9.如权利要求8所述的方法，其特征在于，所述基于所述预测视频、所述第三视频及所述第三事件，确定损失值，包括：
10.如权利要求9所述的方法，其特征在于，所述确定所述预测视频与所述第三视频间的第二差异，包括：
11.一种暗光视频的处理装置，其特征在于，包括：
12.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-10中任一所述的暗光视频的处理方法。
13.一种芯片，其特征在于，所述芯片包括处理电路，所述处理电路被配置为执行如权利要求1-10中任一所述的暗光视频的处理方法。
14.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-10中任一所述的暗光视频的处理方法。
...【技术特征摘要】
1.一种暗光视频的处理方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述将所述第一视频及所述第一事件分别输入生成的事件融合模型，得到所述第一视频对应的融合事件后的第一目标图像特征，包括：
3.如权利要求2所述的方法，其特征在于，所述事件融合模型中包括多级融合网络，其中，每级融合网络中包括图像处理分支及事件处理分支，其中，所述图像处理分支中包括图像处理模块及事件图像融合模块，所述事件处理分支中包括事件编码器。
4.如权利要求3所述的方法，其特征在于，所述将所述第一事件特征与所述第一图像特征分别输入所述事件融合模型中的融合网络，得到所述融合事件后的第一目标图像特征，包括：
5.如权利要求4所述的方法，其特征在于，所述将所述亮度图gi和信噪比图si分别输入蒙版图生成模块，得到第i次的蒙版图maski，包括：
6.如权利要求5所述的方法，其特征在于，所述根据各所述亮度图块对应的亮度均值及亮度阈值、及对应的信噪比图块对应的信噪比均值及信噪比阈值，确定所述蒙版图maski，包括：
7.如权利要求4所述...
【专利技术属性】
技术研发人员：张恒，
申请(专利权)人：北京玄戒技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。