基于显著性先验信息的数据增广方法、装置及存储介质制造方法及图纸

本发明专利技术涉及一种基于显著性先验信息的数据增广方法、装置及存储介质，所述方法包括如下的步骤：输入多幅图片；提取每幅图片的显著图；计算每幅显著图的显著峰值；在显著峰值周围选择显著图峰值区域块；剪裁输入图片中与显著图峰值区域块相对应的源图像块；对源图像块进行拼接；输出增广图片。与现有技术相比，本发明专利技术能够防止模型学习不必要的特征表示，有效地扩大高质量样本，可以增强深度神经网络模型的鲁棒性，并缓解深度网络的过拟合问题。并缓解深度网络的过拟合问题。并缓解深度网络的过拟合问题。

【技术实现步骤摘要】
基于显著性先验信息的数据增广方法、装置及存储介质


[0001]本专利技术涉及计算机视觉图像分析和处理领域，尤其是涉及一种基于显著性先验信息的数据增广方法、装置及存储介质。

技术介绍

[0002]深度卷积神经网络(Convolutional Neural Network，CNN)近年来取得了巨大成功，特别是在计算机视觉任务中，如图像分类、目标检测、语义分割、自然场景理解和视频分析等。CNN通常有百万到千万个参数，这使得训练需要大量数据。否则，可能会出现严重的过度拟合问题。为了进一步提高CNN的性能，研究者们提出了一些优化技术，包括数据增广、优化器设计和超参数优化等。值得注意的是，数据增强是一项非常重要的技术，它可以从现有的数据中生成更多有用的数据，用于训练实际的CNN，并有助于训练CNN的泛化能力。
[0003]数据增强已被广泛用于增加训练样本的多样性，并防止深度神经网络对训练数据过度拟合。由于新的CNN架构包含更多的参数，传统的数据增强技术(如翻转、调整大小和随机裁剪)已不足以满足需求。因此，新的数据增强技术引起了越来越多的关注。最近，各种区域dropout策略以及mixing策略陆续被提出，然而，这些方法存在信号误导、效率低和信息丢失等问题。因此，为了解决上述问题，增加训练图像的种类并防止过拟合，需要一种简单有效的数据增广方法。

技术实现思路

[0004]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于显著性先验信息的数据增广方法。
[0005]本专利技术的目的可以通过以下技术方案来实现：
[0006]作为本专利技术的第一方面，提供一种基于显著性先验信息的数据增广方法，包括如下的步骤：
[0007]输入多幅图片；
[0008]提取每幅图片的显著图；
[0009]计算每幅显著图的显著峰值；在显著峰值周围选择显著图峰值区域块；
[0010]剪裁输入图片中与显著图峰值区域块相对应的源图像块；
[0011]对源图像块进行拼接；
[0012]输出增广图片。
[0013]进一步的，所述提取每幅图片的显著图，具体如下：
[0014]选择多幅源图X
n
，使用显著目标检测模型，求得给定源图X
n
的显著图Z
n
。
[0015]进一步的，所述计算每幅显著图的显著峰值，在显著峰值周围选择显著图峰值区域块，具体如下：
[0016]从显著图Z
n
中求取具有最大强度值的像素x、y表示最显著像素的横纵坐标；
[0017]由深度网络训练学习得到拼接图像块的边界位置；
[0018]由边界位置计算得出每个图像的剪裁尺寸，以剪裁尺寸为范围得到峰值区域块。
[0019]进一步的，所述由深度网络训练学习得到图像拼接的边界位置，具体如下：
[0020]在每个训练步骤中从贝塔分布中选择边界位置(c，d)，如下所示：
[0021]c＝round(c
′
k)，d＝round(d
′
g)，c
′
,d
′
～Beta(β,β)
[0022]其中，k和g分别表示原始训练图像的宽度和高度，(c，d)是通过深度网络训练学习得到图像拼接的边界位置；round(
·
)为舍入函数，β∈(0,∞)为超参数。
[0023]进一步的，所述深度网络学习过程中，以第像素为图像块中心。
[0024]进一步的，所述深度网络学习过程中，保持第像素在图像块内。
[0025]进一步的，所述对源图像块进行拼接，具体如下：
[0026]选定训练图像，将剪裁的图像在左上、右上、左下和右下区域进行拼接。
[0027]作为本专利技术的第二方面，提供一种图像数据增广装置，包括：
[0028]图片获取模块，用于获取多幅图片；
[0029]显著图提取模块，用于提取每幅图片的显著图；
[0030]峰值区域块选择模块，用于计算每幅显著图的显著峰值区域，在显著峰值周围选择一个峰值区域块；
[0031]剪裁模块，用于剪裁输入图片中与显著图峰值区域块相对应的源图像块；
[0032]拼接模块，用于对源图像块进行拼接，得到增广图片；
[0033]输出模块，用于输出增广图片。
[0034]作为本专利技术的第三方面，提供一种电子设备，包括：一个或多个处理器；
[0035]存储器，用于存储一个或多个程序；
[0036]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上任一项所述的图像数据增广方法。
[0037]作为本专利技术的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的图像数据增广方法的步骤。
[0038]与现有技术相比，本专利技术具有以下有益效果：
[0039]1)本专利技术提出了一种使用图像裁剪和拼接技术的数据增强方法，选择多个训练图像，基于显著性先验信息对图片进行裁剪，并通过类似于Mosaic增广法拼接它们，以此构造新的训练图像，从而有效地扩大高质量样本，提高了训练效率与质量。
[0040]2)本专利技术为了指导模型，通过先验信息来更加关注输入图像的全局信息，而不仅仅是局部信息。通过显著性映射学习包含对象的源补丁，以防止模型学习不必要的特征表示，有效增广了高价值目标数据。
[0041]3)本专利技术可以增强深度神经网络模型的鲁棒性，并缓解深度网络的过拟合问题。
[0042]4)本专利技术方案简单易行，成本低，适合推广使用。
附图说明
[0043]图1为本专利技术基于显著性先验信息的数据增广方法的流程示意图。
具体实施方式
[0044]下面结合附图和具体实施例对本专利技术进行详细说明。本实施例以本专利技术技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例。
[0045]实施例一：
[0046]在本实施例中，参见图1，提供一种基于显著性先验信息的数据增广方法，具体步骤如下：
[0047]步骤(1)输入高分辨率相机获取的多幅图片；
[0048]步骤(2)提取每幅图片的显著图；
[0049]步骤(3)计算每幅显著图的显著峰值，在显著峰值周围选择显著图峰值区域块；
[0050]步骤(4)剪裁输入图片中与显著图峰值区域块相对应的源图像块；
[0051]步骤(5)对剪裁后的源图像块进行拼接；
[0052]步骤(6)输出拼接后的增广图片。
[0053]通过显著性先验信息学习高价值目标的定位，有效增广了高价值目标数据，以防止模型学习不必要的特征表示，提高了深度学习模型的泛化性和鲁棒性。
[0054]步骤(2)中提取每幅图片的显著图，使用显著目标检测方法。从训练集中随机选择源图X本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于显著性先验信息的数据增广方法，其特征在于，包括如下的步骤：输入多幅图片；提取每幅图片的显著图；计算每幅显著图的显著峰值；在显著峰值周围选择显著图峰值区域块；剪裁输入图片中与显著图峰值区域块相对应的源图像块；对源图像块进行拼接；输出增广图片。2.根据权利要求1所述的一种基于显著性先验信息的数据增广方法，其特征在于，所述提取每幅图片的显著图，具体如下：选择多幅源图X
n
，使用显著目标检测模型，求得给定源图X
n
的显著图Z
n
。3.根据权利要求1所述的一种基于显著性先验信息的数据增广方法，其特征在于，所述计算每幅显著图的显著峰值，在显著峰值周围选择显著图峰值区域块，具体如下：从显著图Z
n
中求取具有最大强度值的像素x、y表示最显著像素的横纵坐标；由深度网络训练学习得到拼接图像块的边界位置；由边界位置计算得出每个图像的剪裁尺寸，以剪裁尺寸为范围得到峰值区域块。4.根据权利要求3所述的一种基于显著性先验信息的数据增广方法，其特征在于，所述由深度网络训练学习得到图像拼接的边界位置，具体如下：在每个训练步骤中从贝塔分布中选择边界位置(c，d)，如下所示：c＝round(c
′
k)，d＝round(d
′
g)，c
′
,d
′
～Beta(β,β)其中，k和g分别表示原始训练图像的宽度和高度，(c，d)是通...

【专利技术属性】
技术研发人员：谢少荣，骆祥峰，童英，陈雪，
申请(专利权)人：上海大学，
类型：发明
国别省市：