数据增强策略的生成方法、数据增强方法和装置制造方法及图纸

本发明专利技术提供了一种数据增强策略的生成方法、数据增强方法和装置，方法包括：获取到训练数据和验证数据后，通过策略生成器输出数据增强策略，通过该数据增强策略对训练数据进行数据增强处理，并采用增强处理后的训练数据对待训练网络进行训练，再通过验证数据对训练后的网络进行验证，并根据得到的验证结果调整策略生成器中的参数；循环执行上述步骤直至满足预设条件，进而得到最终的数据增强策略。该方法引入贝叶斯优化的方式来搜索数据增强策略，在搜索过程中，策略生成器基于历史验证结果预测出数据增强策略，进而在后续验证过程中不断调整策略生成器的参数，最终得到最优的数据增强策略，该方式降低了搜索最优策略的实施难度，节约了计算成本。

Data enhancement strategy generation method, data enhancement method and device

【技术实现步骤摘要】
数据增强策略的生成方法、数据增强方法和装置
本专利技术涉及图像处理
，尤其是涉及一种数据增强策略的生成方法、数据增强方法和装置。
技术介绍
深度学习任务通常需要大量的数据。为了获得这些大量的数据，可以利用一些计算机视觉的方法，在现有的图片数据上进行一些变换，来获得与原始数据高度相关的等价新数据，这种方法被称为数据增强。相关技术中，在选择图片数据的增强策略时，大多采用强化学习的方式搜索最优策略，但通常需要上万次迭代才能收敛，得到最优结果，导致该方式实施难度较大，计算成本较高。
技术实现思路
本专利技术的目的在于提供一种数据增强策略的生成方法、数据增强方法和装置，以降低搜索最优策略的实施难度，节约计算成本。第一方面，本专利技术提供的一种数据增强策略的生成方法，所述方法包括：基于预设的数据集合确定训练数据和验证数据；通过预设的策略生成器输出数据增强策略；通过所述数据增强策略对所述训练数据进行数据增强处理，得到增强处理后的训练数据；采用所述增强处理后的训练数据对预设的待训练网络进行训练，得到训练后的网络；通过所述验证数据对所述训练后的网络进行验证，得到验证结果；根据所述验证结果调整所述策略生成器中的参数；继续执行所述基于预设的数据集合确定训练数据和验证数据的步骤，直至满足预设条件，将满足所述预设条件时的策略生成器输出的数据增强策略作为最终的数据增强策略。进一步的，基于预设的数据集合确定训练数据和验证数据的步骤，包括：从预设的数据集合中随机选取预设数量的样本数据；按照预设的划分比例，将所述样本数据划分为训练数据和验证数据。进一步的，所述数据增强策略包括至少一种数据增强方式、以及所述数据增强方式对应的参数；所述数据增强方式包括空间几何变换方式和/或颜色变换方式。进一步的，所述策略生成器中包括基于贝叶斯建立的拟合函数；所述拟合函数用于表征数据增强策略与历史验证结果的关系；所述通过预设的策略生成器输出数据增强策略的步骤，包括：获取预设的目标验证结果；将所述目标验证结果输入至所述拟合函数中，输出所述目标验证结果对应的数据增强策略。进一步的，所述拟合函数包括第一子函数和第二子函数；所述第一子函数用于表征单一的数据增强方式中，不同参数与历史验证结果的关系；所述第二子函数用于表征多个数据增强方式以及每个数据增强方式对应的参数的组合，与历史验证结果的关系。进一步的，根据所述验证结果调整所述策略生成器中的参数的步骤，包括：将当前验证结果更新至所述历史验证结果中；根据更新后的历史验证结果调整所述拟合函数，以使所述拟合函数表征数据增强策略与更新后的历史验证结果的关系。第二方面，本专利技术提供的一种数据增强方法，所述方法包括：获取待处理数据；将所述待处理数据作为数据集合，按照上述第一方面所述的数据增强策略的生成方法生成数据增强策略；根据所述数据增强策略对所述待处理数据进行数据增强。第三方面，本专利技术提供的一种数据增强策略的生成装置，所述装置包括：确定模块，用于基于预设的数据集合确定训练数据和验证数据；输出模块，用于通过预设的策略生成器输出数据增强策略；处理模块，用于通过所述数据增强策略对所述训练数据进行数据增强处理，得到增强处理后的训练数据；训练模块，用于采用所述增强处理后的训练数据对预设的待训练网络进行训练，得到训练后的网络；验证模块，用于通过所述验证数据对所述训练后的网络进行验证，得到验证结果；调整模块，用于根据所述验证结果调整所述策略生成器中的参数；执行模块，用于继续执行所述基于预设的数据集合确定训练数据和验证数据的步骤，直至满足预设条件，将满足所述预设条件时的策略生成器输出的数据增强策略作为最终的数据增强策略。进一步的，所述确定模块还用于：从预设的数据集合中随机选取预设数量的样本数据；按照预设的划分比例，将所述样本数据划分为训练数据和验证数据。进一步的，所述数据增强策略包括至少一种数据增强方式、以及所述数据增强方式对应的参数；所述数据增强方式包括空间几何变换方式和/或颜色变换方式。进一步的，所述策略生成器中包括基于贝叶斯建立的拟合函数；所述拟合函数用于表征数据增强策略与历史验证结果的关系；所述输出模块还用于：获取预设的目标验证结果；将所述目标验证结果输入至所述拟合函数中，输出所述目标验证结果对应的数据增强策略。进一步的，所述拟合函数包括第一子函数和第二子函数；所述第一子函数用于表征单一的数据增强方式中，不同参数与历史验证结果的关系；所述第二子函数用于表征多个数据增强方式以及每个数据增强方式对应的参数的组合，与历史验证结果的关系。进一步的，所述调整模块还用于：将当前验证结果更新至所述历史验证结果中；根据更新后的历史验证结果调整所述拟合函数，以使所述拟合函数表征数据增强策略与更新后的历史验证结果的关系。第四方面，本专利技术提供的一种数据增强装置，所述装置包括：获取模块，用于获取待处理数据；生成模块，用于将所述待处理数据作为数据集合，按照上述第一方面所述的数据增强策略的生成方法生成数据增强策略；数据增强模块，用于根据所述数据增强策略对所述待处理数据进行数据增强。第五方面，本专利技术提供的一种服务器，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现上述第一方面所述的数据增强策略的生成方法或第二方面所述的数据增强方法。第六方面，本专利技术提供的一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述第一方面所述的数据增强策略的生成方法或第一方面所述的数据增强方法的步骤。本专利技术提供的数据增强策略的生成方法、数据增强方法和装置，获取到训练数据和验证数据后，通过预设的策略生成器输出数据增强策略，通过该数据增强策略对训练数据进行数据增强处理，并采用增强处理后的训练数据对预设的待训练网络进行训练，再通过验证数据对训练后的网络进行验证，并根据得到的验证结果调整策略生成器中的参数；循环执行上述步骤直至满足预设条件，进而得到最终的数据增强策略。该方法引入贝叶斯优化的方式来搜索数据增强策略，在搜索过程中，策略生成器基于历史验证结果预测出数据增强策略，进而在后续验证过程中不断调整策略生成器的参数，最终得到最优的数据增强策略，该方式降低了搜索最优策略的实施难度，节约了计算成本。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种数据增强策略的生成方法的流程图；图2为本专利技术实施例提供的一种网络结构示意图；图3为本专利技术实施例提供的一种信号流向示意图；图4为本专利技术实施例提供的另一种数据增本文档来自技高网...

【技术保护点】
1.一种数据增强策略的生成方法，其特征在于，所述方法包括：/n基于预设的数据集合确定训练数据和验证数据；/n通过预设的策略生成器输出数据增强策略；/n通过所述数据增强策略对所述训练数据进行数据增强处理，得到增强处理后的训练数据；/n采用所述增强处理后的训练数据对预设的待训练网络进行训练，得到训练后的网络；/n通过所述验证数据对所述训练后的网络进行验证，得到验证结果；/n根据所述验证结果调整所述策略生成器中的参数；/n继续执行所述基于预设的数据集合确定训练数据和验证数据的步骤，直至满足预设条件，将满足所述预设条件时的策略生成器输出的数据增强策略作为最终的数据增强策略。/n

【技术特征摘要】
1.一种数据增强策略的生成方法，其特征在于，所述方法包括：
基于预设的数据集合确定训练数据和验证数据；
通过预设的策略生成器输出数据增强策略；
通过所述数据增强策略对所述训练数据进行数据增强处理，得到增强处理后的训练数据；
采用所述增强处理后的训练数据对预设的待训练网络进行训练，得到训练后的网络；
通过所述验证数据对所述训练后的网络进行验证，得到验证结果；
根据所述验证结果调整所述策略生成器中的参数；
继续执行所述基于预设的数据集合确定训练数据和验证数据的步骤，直至满足预设条件，将满足所述预设条件时的策略生成器输出的数据增强策略作为最终的数据增强策略。


2.根据权利要求1所述的方法，其特征在于，基于预设的数据集合确定训练数据和验证数据的步骤，包括：
从预设的数据集合中随机选取预设数量的样本数据；
按照预设的划分比例，将所述样本数据划分为训练数据和验证数据。


3.根据权利要求1所述的方法，其特征在于，所述数据增强策略包括至少一种数据增强方式、以及所述数据增强方式对应的参数；
所述数据增强方式包括空间几何变换方式和/或颜色变换方式。


4.根据权利要求1所述的方法，其特征在于，所述策略生成器中包括基于贝叶斯建立的拟合函数；所述拟合函数用于表征数据增强策略与历史验证结果的关系；
所述通过预设的策略生成器输出数据增强策略的步骤，包括：
获取预设的目标验证结果；
将所述目标验证结果输入至所述拟合函数中，输出所述目标验证结果对应的数据增强策略。


5.根据权利要求4所述的方法，其特征在于，所述拟合函数包括第一子函数和第二子函数；所述第一子函数用于表征单一的数据增强方式中，不同参数与历史验证结果的关系；所述第二子函数用于表征多个数据增强方式以及每个数据增强方式对应的参数的组合，与历史验证结果的关系。


6.根据权利要求4所述的方法，其特征在于，根据所述验证结果调整所述策略生成器中的参数的步骤，包括：
将当前验证结果更新至所述历史验证结果中；
根据更新后的历史验证结果调整所述拟合函数，以使所述拟合函数表征数据增强策略与更新后的历史验证结果的关系。


7.一种数据增强方法，其特征在于，所述方法包括：
获取待处理数据；
将所述待处理数据作为数据集合，按照权利要求1-6任一项所述的数据增强策略的生成方法生成数据增强策略；
根据所述数据增强策略对所述待处理数据进行数据增强。


8.一种数据增强策略的生成装置，其特征在于，所述装置包括：
确定模块，用于基于预设的数据集合确定训练数据和验证数据；
输出模块，用于通过预设的策略生成器输出数据增强策略；
处理模块，用于通过所述数据增强策略对所述训练数据进行数据增强处理，得到增...

【专利技术属性】
技术研发人员：陈龙，杜俭峰，倪煜，
申请(专利权)人：北京金山云网络技术有限公司，北京金山云科技有限公司，
类型：发明
国别省市：北京;11