一种图像降噪方法及设备技术

本申请提供一种图像降噪方法及设备，目标网络模型包括K个子网络，子网络包括M个网络通道，网络通道包括降噪主通道和特征提取通道，该方法包括：获取与网络通道对应的原始输入图像，将原始输入图像输入给网络通道对应的降噪主通道和特征提取通道；通过特征提取通道对原始输入图像进行残差处理和沙漏处理，得到原始输入图像对应的特征矩阵，将特征矩阵输入给降噪主通道；通过降噪主通道对原始输入图像进行编码处理，得到编码特征，基于编码特征和特征矩阵获取特征编码，对特征编码进行解码处理，得到网络通道对应的原始输出特征；基于每个网络通道对应的原始输出特征生成目标输出图像；通过本申请技术方案，能够提升图像质量，减少图像噪点。图像噪点。图像噪点。

【技术实现步骤摘要】
一种图像降噪方法及设备


[0001]本申请涉及人工智能
，尤其涉及一种图像降噪方法及设备。

技术介绍

[0002]在低照度高增益场景下，成像设备(如摄像机等)采集图像时，图像会出现大量噪点，导致图像质量较差，影响人脸直观感受，使得人脸五官不清晰。
[0003]为了去除图像中的噪点，即对图像进行降噪处理，可以采用图像降噪算法，如BM3D(Block
‑
Matching and 3D filtering，三维块匹配算法)等，BM3D的工作原理是：将图像分割成尺寸较小的小像素片，选定参考片后寻找与参考片相似的小片组成3D块，将所有相似块进行3D变换，将变换后的3D块进行阈值收缩，这也是去除噪声的过程。进行3D逆变换，将所有3D块通过加权平均后还原到图像。BM3D的核心在于，采用不同去噪策略，通过搜索相似块并在变换域进行滤波，得到评估值，最后对图像中每个点进行加权实现去噪效果。
[0004]但是，图像降噪算法很难兼顾不同照度场景下的人脸噪点，对于人脸五官的边缘保真效果较差。例如，在不同成像设备和不同照度场景下，人脸图像的噪点差异性较大、噪点形态分布也各不相同，在采用图像降噪算法进行图像降噪时，容易将人脸五官边界的细节当成噪点去除，对人脸细节的保护较差。

技术实现思路

[0005]本申请提供一种图像降噪方法，已训练的目标网络模型包括K个子网络，针对每个子网络，所述子网络包括M个网络通道，每个网络通道均包括降噪主通道和特征提取通道，K和M均为正整数，所述方法包括：
[0006]针对每个网络通道，获取与所述网络通道对应的原始输入图像，并将所述原始输入图像输入给所述网络通道对应的降噪主通道和特征提取通道；
[0007]通过所述特征提取通道对所述原始输入图像进行残差处理和沙漏处理，得到所述原始输入图像对应的特征矩阵，将所述特征矩阵输入给所述降噪主通道；
[0008]通过所述降噪主通道对所述原始输入图像进行编码处理，得到所述原始输入图像对应的编码特征，基于所述编码特征和所述特征矩阵获取特征编码，并对所述特征编码进行解码处理，得到所述网络通道对应的原始输出特征；
[0009]基于每个网络通道对应的原始输出特征生成所述子网络的目标输出图像；
[0010]其中，若所述子网络是所述目标网络模型的最后一个子网络，则所述目标输出图像是所述目标网络模型输出的已完成图像降噪的图像；
[0011]若所述子网络不是所述目标网络模型的最后一个子网络，则所述目标输出图像用于确定所述子网络的下一个子网络的各网络通道对应的原始输入图像。
[0012]示例性的，若所述子网络是目标网络模型的第一个子网络，则目标网络模型的外界输入图像作为所述子网络的待降噪图像；若所述子网络不是目标网络模型的第一个子网络，则所述子网络的上一个子网络的目标输出图像作为所述子网络的待降噪图像；所述获
取与所述网络通道对应的原始输入图像，包括：
[0013]若所述网络通道是所述子网络的第一个网络通道，则将所述子网络的待降噪图像确定为所述网络通道对应的原始输入图像；
[0014]若所述网络通道不是所述子网络的第一个网络通道，则对所述子网络的待降噪图像进行下采样处理，得到所述网络通道对应的原始输入图像。
[0015]示例性的，所述特征提取通道包括残差模块和沙漏模块，通过所述特征提取通道对所述原始输入图像进行残差处理和沙漏处理，得到所述原始输入图像对应的特征矩阵，包括：通过残差模块对所述原始输入图像进行残差处理，得到残差矩阵；通过沙漏模块对所述残差矩阵进行沙漏处理，得到所述原始输入图像对应的特征矩阵；其中，所述沙漏模块包括N个卷积层，N为大于1的正整数，所述通过所述沙漏模块对所述残差矩阵进行沙漏处理，得到所述原始输入图像对应的特征矩阵，包括：所述沙漏处理基于所述N个卷积层对所述残差矩阵进行卷积处理以及反卷积处理，得到所述原始输入图像对应的特征矩阵。
[0016]示例性的，若所述N个卷积层为9个卷积层，所述沙漏处理基于所述N个卷积层对所述残差矩阵进行卷积处理以及反卷积处理，得到所述原始输入图像对应的特征矩阵，包括：通过第1个卷积层对所述残差矩阵进行卷积，得到1号矩阵；通过第2个卷积层对所述1号矩阵进行卷积，得到2号矩阵；通过第3个卷积层对所述2号矩阵进行卷积，得到3号矩阵；通过第4个卷积层对所述3号矩阵进行卷积，得到4号矩阵；通过第5个卷积层对所述4号矩阵进行卷积，得到5号矩阵；通过第6个卷积层对所述5号矩阵进行卷积，得到6号矩阵；对所述6号矩阵进行反卷积，将反卷积后的矩阵与所述3号矩阵叠加，并通过第7个卷积层对叠加后的矩阵进行卷积，得到7号矩阵；对所述7号矩阵进行反卷积，将反卷积后的矩阵与所述2号矩阵叠加，并通过第8个卷积层对叠加后的矩阵进行卷积，得到8号矩阵；对所述8号矩阵进行反卷积，将反卷积后的矩阵与所述1号矩阵叠加，并通过第9个卷积层对叠加后的矩阵进行卷积，得到9号矩阵；基于所述9号矩阵确定所述原始输入图像对应的特征矩阵。
[0017]示例性的，所述降噪主通道包括编码模块，所述通过所述降噪主通道对所述原始输入图像进行编码处理，得到所述原始输入图像对应的编码特征，包括：
[0018]通过所述编码模块对所述原始输入图像进行卷积处理得到初始特征，并对所述初始特征进行多重残差处理，得到所述原始输入图像对应的编码特征。
[0019]示例性的，若所述编码模块通过6个卷积层实现多重残差，则所述对所述初始特征进行多重残差处理，得到所述原始输入图像对应的编码特征，包括：
[0020]通过1号卷积层对所述初始特征进行卷积，得到第一特征；
[0021]通过2号卷积层对所述第一特征进行卷积，得到第二特征；
[0022]对所述初始特征和所述第二特征进行叠加，得到第三特征；
[0023]通过3号卷积层对所述第三特征进行卷积，得到第四特征；
[0024]通过4号卷积层对所述第四特征进行卷积，得到第五特征；
[0025]对所述第三特征和所述第五特征进行叠加，得到第六特征；
[0026]通过5号卷积层对所述第六特征进行卷积，得到第七特征；
[0027]通过6号卷积层对所述第七特征进行卷积，得到第八特征；
[0028]对所述第六特征和所述第八特征进行叠加，得到第九特征；
[0029]对所述第三特征和所述第九特征进行叠加，得到第十特征；
[0030]对所述初始特征和所述第十特征进行叠加，得到第十一特征；
[0031]基于所述第十一特征确定所述原始输入图像对应的编码特征。
[0032]示例性的，所述基于所述编码特征和所述特征矩阵获取特征编码，包括：
[0033]若所述网络通道是子网络的第一个网络通道，则对所述编码特征和所述特征矩阵进行叠加，得到所述网络通道对应的特征编码；
[0034]若所述网络通道不是子网络的第一个网络通道，则对所述网络通道的上一个网络通道对应的特征编码进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像降噪方法，其特征在于，已训练的目标网络模型包括K个子网络，针对每个子网络，所述子网络包括M个网络通道，每个网络通道均包括降噪主通道和特征提取通道，K和M均为正整数，所述方法包括：针对每个网络通道，获取与所述网络通道对应的原始输入图像，并将所述原始输入图像输入给所述网络通道对应的降噪主通道和特征提取通道；通过所述特征提取通道对所述原始输入图像进行残差处理和沙漏处理，得到所述原始输入图像对应的特征矩阵，将所述特征矩阵输入给所述降噪主通道；通过所述降噪主通道对所述原始输入图像进行编码处理，得到所述原始输入图像对应的编码特征，基于所述编码特征和所述特征矩阵获取特征编码，并对所述特征编码进行解码处理，得到所述网络通道对应的原始输出特征；基于每个网络通道对应的原始输出特征生成所述子网络的目标输出图像；其中，若所述子网络是所述目标网络模型的最后一个子网络，则所述目标输出图像是所述目标网络模型输出的已完成图像降噪的图像；若所述子网络不是所述目标网络模型的最后一个子网络，则所述目标输出图像用于确定所述子网络的下一个子网络的各网络通道对应的原始输入图像。2.根据权利要求1所述的方法，其特征在于，若所述子网络是所述目标网络模型的第一个子网络，则所述目标网络模型的外界输入图像作为所述子网络的待降噪图像；若所述子网络不是所述目标网络模型的第一个子网络，则所述子网络的上一个子网络的目标输出图像作为所述子网络的待降噪图像；所述获取与所述网络通道对应的原始输入图像，包括：若所述网络通道是所述子网络的第一个网络通道，则将所述子网络的待降噪图像确定为所述网络通道对应的原始输入图像；若所述网络通道不是所述子网络的第一个网络通道，则对所述子网络的待降噪图像进行下采样处理，得到所述网络通道对应的原始输入图像。3.根据权利要求1所述的方法，其特征在于，所述特征提取通道包括残差模块和沙漏模块，所述通过所述特征提取通道对所述原始输入图像进行残差处理和沙漏处理，得到所述原始输入图像对应的特征矩阵，包括：通过所述残差模块对所述原始输入图像进行残差处理，得到残差矩阵；通过所述沙漏模块对所述残差矩阵进行沙漏处理，得到所述原始输入图像对应的特征矩阵；其中，所述沙漏模块包括N个卷积层，N为大于1的正整数，所述通过所述沙漏模块对所述残差矩阵进行沙漏处理，得到所述原始输入图像对应的特征矩阵，包括：所述沙漏处理基于所述N个卷积层对所述残差矩阵进行卷积处理以及反卷积处理，得到所述原始输入图像对应的特征矩阵。4.根据权利要求3所述的方法，其特征在于，若所述N个卷积层为9个卷积层，所述沙漏处理基于所述N个卷积层对所述残差矩阵进行卷积处理以及反卷积处理，得到所述原始输入图像对应的特征矩阵，包括：通过第1个卷积层对所述残差矩阵进行卷积，得到1号矩阵；通过第2个卷积层对所述1号矩阵进行卷积，得到2号矩阵；通过第3个卷积层对所述2号矩阵进行卷积，得到3号矩阵；
通过第4个卷积层对所述3号矩阵进行卷积，得到4号矩阵；通过第5个卷积层对所述4号矩阵进行卷积，得到5号矩阵；通过第6个卷积层对所述5号矩阵进行卷积，得到6号矩阵；对所述6号矩阵进行反卷积，将反卷积后的矩阵...

【专利技术属性】
技术研发人员：沈晰强，傅斌，刘刚，曾峰，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：