一种图像去夜方法和装置制造方法及图纸

本发明专利技术公开了一种图像去夜方法和装置，所述方法包括：利用编码器网络输出夜间图像的编码特征图像；根据所述编码特征图像利用注意力模型输出所述夜间图像的注意力特征图像；根据所述编码特征图像以及注意力特征图像利用解码器网络输出所述夜间图像的去夜图像。应用本发明专利技术可以提高对多种不同监控场景下的去夜适应性，并改善去夜后图像模糊和对灯光去除效果差的问题，提高去夜图像质量。

A Method and Device for Image Night Removal

【技术实现步骤摘要】
一种图像去夜方法和装置
本专利技术涉及图像处理领域，特别是指一种图像去夜方法和装置。
技术介绍
图像夜色去除是视频监控领域的重要内容。在监控场景下，对夜间图像进行去夜处理可以得到信息更为丰富的白天图像，从而大大提高图像可视度，这对于视频监控具有重大意义。随着数字图像处理、模式识别和深度学习技术的日益发展和完善，图像去夜方法也在不断发展。基于传统图像处理技术的去夜方法直接对图像本身进行处理，没有对图像的高级特征加以利用，对新场景的适应性差。在现有技术中，基于深度学习的夜色去除技术应用较为广泛，但仍然存在去夜后图像模糊，无法去除灯光，去夜效果较差等诸多技术问题。
技术实现思路
本专利技术提出了一种图像去夜方法和装置，可以提高对多种不同监控场景下的去夜适应性，并改善去夜后图像模糊和对灯光去除效果差的问题，提高去夜图像质量。基于上述目的，本专利技术提供一种图像去夜方法，包括：利用编码器网络输出夜间图像的编码特征图像；根据所述编码特征图像利用注意力模型输出所述夜间图像的注意力特征图像；根据所述编码特征图像以及注意力特征图像利用解码器网络输出所述夜间图像的去夜图像。其中，所述编码器网络、注意力模型和解码器网络组成的图像去夜模型的训练方法如下：获取多对训练样本，其中一对训练样本为同一场景的夜晚图像和白天图像；将同一场景的夜晚图像和白天图像的V通道做差后得到的图像作为注意力掩码；根据所述训练样本以及得到的注意力掩码对所述图像去夜模型进行训练，多次调整所述编码器网络、注意力模型和解码器网络的参数。其中，在一次调整所述编码器网络、注意力模型和解码器网络的参数过程中，具体包括：将一对训练样本中的夜晚图像输入到所述图像去夜模型，并根据所述图像去夜模型输出的去夜图像与该对训练样本中的白天图像的差异，调整所述图像去夜模型中的编码器网络和解码器网络的参数；根据所述图像去夜模型中的注意力模型输出的最后一个注意力特征图像和根据该对训练样本得到的注意力掩码之间的距离，调整所述注意力模型的参数。较佳地，在一次调整所述编码器网络、注意力模型和解码器网络的参数后，还包括：将所述图像去夜模型输出的去夜图像和对应的白天图像输入到图像判别模型进行真实性判断；根据所述图像判别模型的判断结果，调整所述图像判别模型的参数，增强所述图像判别模型的判别能力；在所述图像判别模型的判别能力达到要求，并判断所述图像去夜模型输出的去夜图像为真实时，结束所述训练过程。其中，所述编码器网络包括多层卷积层；以及所述利用编码器网络输出夜间图像的编码特征图像，具体包括：将所述夜间图像输入到所述编码器网络的第一层卷积层进行卷积运算得到该卷积层输出的编码特征图像；当前的卷积层对前一层的卷积层输出的编码特征图像进行卷积运算，得到当前的卷积层输出的编码特征图像；最后一层卷积层的输出为所述夜间图像的编码特征图像。其中，所述注意力模型包括多层转置卷积层；以及所述利用注意力模型输出所述编码特征图像的注意力特征图像，具体包括：将所述夜间图像的编码特征图像输入到所述注意力模型的第一层转置卷积层进行转置卷积运算输出该层的注意力特征图像；所述注意力模型中当前的转置卷积层对前一层的转置卷积层输出的注意力特征图像进行转置卷积运算，得到当前的转置卷积层输出的注意力特征图像；所述注意力模型中最后一层转置卷积层的输出为所述夜间图像的注意力特征图像。其中，所述解码器网络包括多层转置卷积点乘层；以及所述根据所述编码特征图像以及注意力特征图像利用解码器网络输出所述夜间图像的去夜图像，具体包括：将所述夜间图像的编码特征图像以及所述注意力模型中第一层转置卷积层输出的注意力特征图像，输入到所述解码器网络的第一层转置卷积点乘层；第一层转置卷积点乘层对输入的编码特征图像进行转置卷积运算得到该层的中间过程特征图像，进而将得到的中间过程特征图像与输入的注意力特征图像进行点乘运算得到该层的注意力加权的特征图像；所述解码器网络中当前的转置卷积点乘层对前一层的转置卷积点乘层输出的注意力加权的特征图像进行转置卷积运算，将运算得到的中间过程特征图像与所述注意力模型中对应层的转置卷积层输出的注意力特征图像进行点乘运算后，得到当前的转置卷积点乘层输出的注意力加权的特征图像；所述解码器网络中最后一层转置卷积点乘层的输出为所述夜间图像的去夜图像。本专利技术还提供一种图像去夜装置，包括：编码器网络，用于输出夜间图像的编码特征图像；注意力模型，用于根据所述编码特征图像输出所述夜间图像的注意力特征图像；解码器网络，用于根据所述编码特征图像以及注意力特征图像输出所述夜间图像的去夜图像。进一步，所述装置还包括：训练模块，用于获取多对训练样本，其中一对训练样本为同一场景的夜晚图像和白天图像；将同一场景的夜晚图像和白天图像的V通道做差后，得到的图像作为注意力掩码；根据所述训练样本以及得到的注意力掩码对所述图像去夜模型进行训练，多次调整所述编码器网络、注意力模型和解码器网络的参数。进一步，所述训练模块还用于在一次调整所述编码器网络、注意力模型和解码器网络的参数后，将所述图像去夜模型输出的去夜图像和对应的白天图像输入到图像判别模型进行真实性判断；根据所述图像判别模型的判断结果，调整所述图像判别模型的参数，增强所述图像判别模型的判别能力；在所述图像判别模型的判别能力达到要求，并判断所述图像去夜模型输出的去夜图像为真实时，结束所述训练过程。本专利技术的技术方案中，将注意力模型嵌入到编码器网络与解码器网络之间，用于加强对夜晚图像和白天图像之间视觉差异大的区域的注意，所述视觉差异大的区域主要包括暗区域和灯光区域，并对所述视觉差异大的区域赋予较大的权重，从而加强了模型对所述区域的夜晚到白天的转换学习，从而提高了上述区域的转换效果，改善了去夜后图像模糊和对灯光去除效果差的问题；同时结合编码器网络和解码器网络的结构，加强了对图像特征的提取和学习，使模型泛化能力提高，从而提高了对不同监控场景下的去夜适应性，提高去夜图像质量。更优地，在训练图像去夜模型的同时还可训练图像判别模型，使得图像判别模型的判别能力达到要求；并且在图像判别模型的判别能力达到要求后，继续训练图像去夜模型，图像去夜模型输出的去夜图像被图像判别模型判断为真实时，说明图像去夜模型可以生成真实度很高的去夜图像，从而使得图像去夜模型能够输出更高质量的去夜图像。附图说明图1为本专利技术实施例提供的一种图像去夜方法的流程图；图2为本专利技术实施例提供的一种图像去夜模型的结构示意图；图3为本专利技术实施例提供的一种图像去夜模型的训练方法流程图；图4为本专利技术实施例提供的根据获取的训练样本以及得到的注意力掩码对所述图像去夜模型进行训练的一种具体方法流程图；图5为本专利技术实施例提供的一种图像去夜装置的内部结构框图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术进一步详细说明。下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应本文档来自技高网...

【技术保护点】
1.一种图像去夜方法，其特征在于，包括：利用编码器网络输出夜间图像的编码特征图像；根据所述编码特征图像利用注意力模型输出所述夜间图像的注意力特征图像；根据所述编码特征图像以及注意力特征图像利用解码器网络输出所述夜间图像的去夜图像。

【技术特征摘要】
1.一种图像去夜方法，其特征在于，包括：利用编码器网络输出夜间图像的编码特征图像；根据所述编码特征图像利用注意力模型输出所述夜间图像的注意力特征图像；根据所述编码特征图像以及注意力特征图像利用解码器网络输出所述夜间图像的去夜图像。2.根据权利要求1所述的方法，其特征在于，所述编码器网络、注意力模型和解码器网络组成的图像去夜模型的训练方法如下：获取多对训练样本，其中一对训练样本为同一场景的夜晚图像和白天图像；将同一场景的夜晚图像和白天图像的V通道做差后得到的图像作为注意力掩码；根据所述训练样本以及得到的注意力掩码对所述图像去夜模型进行训练，多次调整所述编码器网络、注意力模型和解码器网络的参数。3.根据权利要求2所述的方法，其特征在于，在一次调整所述编码器网络、注意力模型和解码器网络的参数过程中，具体包括：将一对训练样本中的夜晚图像输入到所述图像去夜模型，并根据所述图像去夜模型输出的去夜图像与该对训练样本中的白天图像的差异，调整所述图像去夜模型中的编码器网络和解码器网络的参数；根据所述图像去夜模型中的注意力模型输出的最后一个注意力特征图像和根据该对训练样本得到的注意力掩码之间的距离，调整所述注意力模型的参数。4.根据权利要求3所述的方法，其特征在于，在一次调整所述编码器网络、注意力模型和解码器网络的参数后，还包括：将所述图像去夜模型输出的去夜图像和对应的白天图像输入到图像判别模型进行真实性判断；根据所述图像判别模型的判断结果，调整所述图像判别模型的参数，增强所述图像判别模型的判别能力；在所述图像判别模型的判别能力达到要求，并判断所述图像去夜模型输出的去夜图像为真实时，结束所述训练过程。5.根据权利要求1-4任一所述的方法，其特征在于，所述编码器网络包括多层卷积层；以及所述利用编码器网络输出夜间图像的编码特征图像，具体包括：将所述夜间图像输入到所述编码器网络的第一层卷积层进行卷积运算得到该卷积层输出的编码特征图像；当前的卷积层对前一层的卷积层输出的编码特征图像进行卷积运算，得到当前的卷积层输出的编码特征图像；最后一层卷积层的输出为所述夜间图像的编码特征图像。6.根据权利要求5所述的方法，其特征在于，所述注意力模型包括多层转置卷积层；以及所述利用注意力模型输出所述编码特征图像的注意力特征图像，具体包括：将所述夜间图像的编码特征图像输入到所述注意力模型的第一层转置卷积层进行转置...

【专利技术属性】
技术研发人员：傅慧源，马华东，谭婧，张宇，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11