一种视频语义降噪方法、装置及电子设备制造方法及图纸

本申请提供一种视频语义降噪方法、装置及电子设备，该方法包括：获取视频流中的当前视频帧，以及上一视频帧的语义降噪图像；使用语义解析网络模型对当前视频帧进行语义分割，获得语义掩模图像；使用神经网络模型对当前视频帧和语义掩模图像进行降噪，获得空域降噪图像，并对当前视频帧、语义掩模图像、空域降噪图像和上一视频帧的语义降噪图像进行时域融合，获得当前视频帧的语义降噪图像。在上述方案的实现过程中，通过将语义分割的语义掩模图像与空域降噪图像和上一视频帧的语义降噪图像进行时域融合，从语义掩模信息、时间域和空间域三个维度来共同降噪，从而有效地利用了语义掩模信息来提高视频流的降噪效果。模信息来提高视频流的降噪效果。模信息来提高视频流的降噪效果。

【技术实现步骤摘要】
一种视频语义降噪方法、装置及电子设备


[0001]本申请涉及视频处理和深度学习的
，具体而言，涉及一种视频语义降噪方法、装置及电子设备。

技术介绍

[0002]目前的图像降噪主要是通过训练深度卷积神经网络，对原始(Raw)域图像进行去噪，具体例如：对于图像降噪来说，使用训练好的神经网络提取原始域图像的色彩信息、亮度信息和纹理信息，从而在空间域两个维度上来估计和抑制噪声方差来实现降噪的效果。然而，对于视频流降噪来说，主要是在时间域和空间域两个维度上来实现视频流的降噪，在具体的实践过程中发现，使用目前的图像降噪方法对视频流的降噪效果不好。

技术实现思路

[0003]本申请实施例的目的在于提供一种视频语义降噪方法、装置及电子设备，用于改善视频流的降噪效果不好的问题。
[0004]本申请实施例提供了一种视频语义降噪方法，包括：获取视频流中的当前视频帧，以及上一视频帧的语义降噪图像；使用语义解析网络模型对当前视频帧进行语义分割，获得语义掩模图像；使用神经网络模型对当前视频帧和语义掩模图像进行降噪，获得空域降噪图像，并对当前视频帧、语义掩模图像、空域降噪图像和上一视频帧的语义降噪图像进行时域融合，获得当前视频帧的语义降噪图像。在上述方案的实现过程中，通过将语义分割的语义掩模图像与空域降噪图像和上一视频帧的语义降噪图像进行时域融合，从而不仅考虑了时间域和空间域两个维度上的信息，还考虑当前视频帧的语义掩模信息，从语义掩模信息、时间域和空间域三个维度来共同降噪，从而有效地利用了语义掩模信息来提高视频流的降噪效果。
[0005]可选地，在本申请实施例中，使用语义解析网络模型对当前视频帧进行语义分割，包括：使用语义解析网络模型从当前视频帧中分割出感兴趣区域；以感兴趣区域为前景图像，以当前视频帧为背景图像，生成语义掩模图像。在上述方案的实现过程中，通过使用语义解析网络模型从当前视频帧中分割出的感兴趣区域来生成语义掩模图像，从而考虑了当前视频帧的语义掩模信息，从语义掩模信息、时间域和空间域三个维度来共同降噪，从而有效地利用了语义掩模信息来提高视频流的降噪效果。
[0006]可选地，在本申请实施例中，在使用语义解析网络模型从当前视频帧中分割出感兴趣区域之前，还包括：获取多个样本噪声图像和多个样本掩模图像，样本噪声图像是对样本原始图像进行加噪声获得的，样本掩模图像是样本原始图像对应的掩模图像；以多个样本噪声图像为训练数据，以多个样本掩模图像为训练标签，对语义解析神经网络进行训练，获得语义解析网络模型。在上述方案的实现过程中，通过对语义解析神经网络进行训练，获得语义解析网络模型，有效地结合了视频流降噪任务和语义分割任务的掩模图像，从语义掩模信息、时间域和空间域三个维度来共同降噪，从而有效地利用了语义掩模信息来提高
视频流的降噪效果。
[0007]可选地，在本申请实施例中，获取多个样本噪声图像和多个样本掩模图像，包括：获取前景图像、背景图像和前景图像的掩模图像，并对前景图像的掩模图像进行图像增广，获得样本掩模图像；对前景图像和背景图像进行图层合并，获得合并贴图；对合并贴图进行图像增广，获得增广贴图，并对增广贴图进行逆图像信号处理，获得样本原始图像；向样本原始图像中加入随机噪声，获得样本噪声图像。在上述方案的实现过程中，通过对合并贴图进行图像增广，并对增广贴图进行逆图像信号处理获得样本原始图像，向样本原始图像中加入随机噪声，从而改善了人工方式来获取模型训练数据的效率低且成本较高的情况，有效地提高了获取模型训练数据的效率。
[0008]可选地，在本申请实施例中，在使用神经网络模型对当前视频帧和语义掩模图像进行降噪之前，还包括：获取多个样本原始图像，以及多个样本原始图像的样本掩模图像；以多个样本噪声图像和多个样本原始图像的样本掩模图像为训练数据，以多个样本原始图像为训练标签，对神经网络模型进行训练。在上述方案的实现过程中，通过对语义解析网络模型和神经网络模型进行分开训练，从而让各个模型相互解耦，可以根据具体项目实际需求来单独对各个模型进行切换或微调，从而有效地提高了训练语义解析网络模型和神经网络模型的灵活性。
[0009]可选地，在本申请实施例中，神经网络模型包括：空域降噪网络模块和时域融合网络模块；对神经网络模型进行训练，包括：使用空域降噪网络模块对当前样本原始图像和样本掩模图像进行降噪，获得当前样本原始图像的样本降噪图像；获取上一个样本降噪图像的预测语义降噪图像，并使用时域融合网络模块对样本原始图像、样本掩模图像、当前样本原始图像的样本降噪图像和上一个样本降噪图像的预测语义降噪图像进行时域融合，获得当前样本原始图像对应的预测语义降噪图像；计算出当前样本原始图像与当前样本原始图像对应的预测语义降噪图像之间的图像损失值；根据图像损失值更新空域降噪网络模块的权重参数和时域融合网络模块的权重参数。在上述方案的实现过程中，通过根据图像损失值更新空域降噪网络模块的权重参数和时域融合网络模块的权重参数，对空域降噪网络模块和时域融合网络模块分别训练，从而让各个模块相互解耦，可以根据具体项目实际需求来单独对各个模块进行切换或微调，从而有效地提高了训练空域降噪网络模块和时域融合网络模块的灵活性。
[0010]可选地，在本申请实施例中，语义解析网络模型，包括：UNet模型、PSPNet模型或者DenseNet模型。
[0011]本申请实施例还提供了一种视频语义降噪装置，包括：视频图像获取模块，用于获取视频流中的当前视频帧，以及上一视频帧的语义降噪图像；语义掩模获得模块，用于使用语义解析网络模型对当前视频帧进行语义分割，获得语义掩模图像；空域时域融合模块，用于使用神经网络模型对当前视频帧和语义掩模图像进行降噪，获得空域降噪图像，并对当前视频帧、语义掩模图像、空域降噪图像和上一视频帧的语义降噪图像进行时域融合，获得当前视频帧的语义降噪图像。
[0012]可选地，在本申请实施例中，语义掩模获得模块，包括：兴趣区域分割子模块，用于使用语义解析网络模型从当前视频帧中分割出感兴趣区域；语义掩模生成子模块，用于以感兴趣区域为前景图像，以当前视频帧为背景图像，生成语义掩模图像。
[0013]可选地，在本申请实施例中，视频语义降噪装置，还包括：样本图像获取模块，用于获取多个样本噪声图像和多个样本掩模图像，样本噪声图像是对样本原始图像进行加噪声获得的，样本掩模图像是样本原始图像对应的掩模图像；语义网络训练模块，用于以多个样本噪声图像为训练数据，以多个样本掩模图像为训练标签，对语义解析神经网络进行训练，获得语义解析网络模型。
[0014]可选地，在本申请实施例中，样本图像获取模块，包括：掩模图像获得子模块，用于获取前景图像、背景图像和前景图像的掩模图像，并对前景图像的掩模图像进行图像增广，获得样本掩模图像；合并贴图获得子模块，用于对前景图像和背景图像进行图层合并，获得合并贴图；原始图像获得子模块，用于对合并贴图进行图像增广，获得增广贴图，并对增广贴图进行逆图像信号处理，获得样本原始图像；噪声图像获得子模块，用于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频语义降噪方法，其特征在于，包括：获取视频流中的当前视频帧，以及上一视频帧的语义降噪图像；使用语义解析网络模型对所述当前视频帧进行语义分割，获得语义掩模图像；使用神经网络模型对所述当前视频帧和所述语义掩模图像进行降噪，获得空域降噪图像，并对所述当前视频帧、所述语义掩模图像、所述空域降噪图像和所述上一视频帧的语义降噪图像进行时域融合，获得所述当前视频帧的语义降噪图像。2.根据权利要求1所述的方法，其特征在于，所述使用语义解析网络模型对所述当前视频帧进行语义分割，包括：使用所述语义解析网络模型从所述当前视频帧中分割出感兴趣区域；以所述感兴趣区域为前景图像，以所述当前视频帧为背景图像，生成所述语义掩模图像。3.根据权利要求2所述的方法，其特征在于，在所述使用所述语义解析网络模型从所述当前视频帧中分割出感兴趣区域之前，还包括：获取多个样本噪声图像和多个样本掩模图像，所述样本噪声图像是对样本原始图像进行加噪声获得的，所述样本掩模图像是所述样本原始图像对应的掩模图像；以所述多个样本噪声图像为训练数据，以所述多个样本掩模图像为训练标签，对语义解析神经网络进行训练，获得所述语义解析网络模型。4.根据权利要求3所述的方法，其特征在于，所述获取多个样本噪声图像和多个样本掩模图像，包括：获取前景图像、背景图像和所述前景图像的掩模图像，并对所述前景图像的掩模图像进行图像增广，获得所述样本掩模图像；对所述前景图像和所述背景图像进行图层合并，获得合并贴图；对所述合并贴图进行图像增广，获得增广贴图，并对所述增广贴图进行逆图像信号处理，获得所述样本原始图像；向所述样本原始图像中加入随机噪声，获得所述样本噪声图像。5.根据权利要求3所述的方法，其特征在于，在所述使用神经网络模型对所述当前视频帧和所述语义掩模图像进行降噪之前，还包括：获取多个样本原始图像，以及所述多个样本原始图像的样本掩模图像；以所述多个样本噪声图像和所述多个样本原始图像的样本掩模图像为训练数据，以...

【专利技术属性】
技术研发人员：刘建伟，
申请(专利权)人：上海砹芯科技有限公司，
类型：发明
国别省市：