深度学习中的自动化数据增强制造技术

本发明专利技术题为“深度学习中的自动化数据增强”。本发明专利技术提供了关于自主数据增强的技术。例如，本文所述的一个或多个实施方案可涉及包括可存储计算机可执行组件的存储器的系统。该系统还可包括能够操作地耦接到该存储器的处理器，该处理器执行存储在该存储器中的该计算机可执行组件。该计算机可执行组件可包括数据增强组件，该数据增强组件执行随机一维增强算法，以增强用于经由多个增强操作来训练机器学习模型的数据集。随机一维增强算法可采用全局增强参数，该全局增强参数定义：与多个增强操作相关联的失真幅度，以及包括在所述多个增强操作中的增强操作的数量。操作中的增强操作的数量。操作中的增强操作的数量。

【技术实现步骤摘要】
深度学习中的自动化数据增强
[0001]相关申请的交叉引用
[0002]本申请要求2021年2月26日提交的名称为“AUTOMATED DATA AUGMENTATION IN DEEP LEARNING”的美国临时申请63/154，033的权益和优先权。上述申请的全部内容据此以引用方式并入本文。


[0003]本公开涉及用于自主数据增强以促进深度学习模型的一种或多种计算机实现的方法和/或系统，并且更具体地，涉及能够以最小的计算资源提高机器学习模型性能的随机一维数据增强。

技术介绍

[0004]数据增强用于改善深度学习模型性能度量，而不会在推断时间时产生额外的计算成本。不幸的是，创建数据增强策略通常需要人类专业知识和/或领域知识，这在初始开发期间以及在不同任务之间转移现有策略时是不方便的。为了克服这些缺点，已经尝试自动化数据增强过程。
[0005]典型的自动化数据增强过程采用在训练期间与神经网络参数一起联合优化的增强参数，这可引入庞大搜索空间，并且反过来可显著增加训练模型所需的时间。例如，一个或多个自动化增强策略已对大小为10
32
的搜索空间采用了强化学习(“RL”)，这可能花费数千个图形处理器单元(“GPU”)小时来找到单个任务的解决方案。另外，由于实现联合优化算法的复杂性，自动增强策略可能是不期望的。
[0006]示例性的典型增强策略是随机增强，它是开发用于解决大搜索空间问题的自动化增强策略。随机增强免除了其他技术采用的策略优化。例如，随机增强可将搜索空间从10r/>32
降至102。然而，随机增强可能需要多达100次完整的模型训练迭代才能选定理想的配置。执行如此多训练任务的计算成本通常可能过高。为了克服计算成本，通常将人类的专业知识与随机增强结合使用来预先选择用于搜索的子网格，而这严重限制了该方法作为自主解决方案的实用性。

技术实现思路

[0007]以下呈现了
技术实现思路
以提供对本专利技术的一个或多个实施方案的基本理解。本
技术实现思路
不旨在标识关键或重要元素，也不旨在描绘具体实施方案的任何范围或权利要求的任何范围。其唯一目的是以简化形式呈现概念，作为稍后呈现的更详细描述的序言。在本文所述的一个或多个实施方案中，描述了可考虑采用随机一维增强算法的自动化数据增强过程的系统、计算机实现的方法、装置和/或计算机程序产品。
[0008]根据实施方案，提供了系统。该系统可包括能够操作地耦接到存储器的处理器，该处理器执行存储在存储器中的计算机可执行组件。该计算机可执行组件可包括数据增强组件，该数据增强组件可执行随机一维增强算法，以增强用于经由多个增强操作来训练机器
学习模型的数据集。随机一维增强算法可采用全局增强参数，该全局增强参数定义：与多个增强操作相关联的失真幅度，以及包括在所述多个增强操作中的增强操作的数量。
[0009]根据另一个实施方案，提供了计算机实现的方法。该计算机实现的方法可包括，由能够操作地耦接到处理器的系统执行随机一维增强算法，以增强用于经由多个增强操作来训练机器学习模型的数据集。随机一维增强算法可采用全局增强参数，该全局增强参数定义：与多个增强操作相关联的失真幅度，以及包括在所述多个增强操作中的增强操作的数量。
[0010]根据另一个实施方案，提供了用于数据增强的计算机程序产品。该计算机程序产品可包括计算机可读存储介质，该计算机可读存储介质具有利用其体现的程序指令。该程序指令可由处理器执行，以使处理器执行或者说由处理器执行随机一维增强算法来增强用于经由多个增强操作来训练机器学习模型的数据集。随机一维增强算法可采用全局增强参数，该全局增强参数定义：与多个增强操作相关联的失真幅度，以及包括在所述多个增强操作中的增强操作的数量。
附图说明
[0011]图1示出了根据本文所述的一个或多个实施方案的示例性非限制性系统的框图，该系统可生成一维搜索空间，该一维搜索空间可经由自主随机一维数据增强用于训练一个或多个机器学习模型。
[0012]图2示出了根据本文所述的一个或多个实施方案的示例性非限制性曲线图的图，这些曲线图可将机器学习模型精度描绘为两个全局参数的函数。
[0013]图3示出了根据本文所述的一个或多个实施方案的示例性非限制性曲线图的图，该曲线图可将预处理和训练速度描绘为增强参数的函数。
[0014]图4示出了根据本文所述的一个或多个实施方案的示例性非限制性系统的图，该系统可生成一个或多个转换操作，该一个或多个转换操作可经由自主随机一维数据增强用于训练一个或多个机器学习模型。
[0015]图5示出了根据本文所述的一个或多个实施方案的示例性非限制性表的图，该表可例示一个或多个转换操作，该一个或多个转换操作可被生成以经由自主随机一维数据增强用于训练一个或多个机器学习模型。
[0016]图6示出了根据本文所述的一个或多个实施方案的示例性非限制性系统的图，该系统可执行自动搜索算法，该自动搜索算法经由自主随机一维数据增强用于训练一个或多个机器学习模型。
[0017]图7至图8示出了根据本文所述的一个或多个实施方案的示例性非限制性曲线图的图，这些曲线图可展示表征一个或多个机器学习模型的单模关系。
[0018]图9示出了根据本文所述的一个或多个实施方案的示例性非限制性伪代码的图，该伪代码可表征一个或多个自动搜索算法，该一个或多个自动搜索算法可经由自主随机一维数据增强用于训练一个或多个机器学习模型。
[0019]图10示出了根据本文所述的一个或多个实施方案的示例性非限制性表的图，该表可展示生成一个或多个转换操作的功效，该一个或多个转换操作经由自主随机一维数据增强用于训练一个或多个机器学习模型。
[0020]图11示出了根据本文所述的一个或多个实施方案的示例性非限制性表的图，这些表可展示一个或多个自主随机一维数据增强用于训练一个或多个机器学习模型的功效。
[0021]图12示出了根据本文所述的一个或多个实施方案的示例性非限制性计算机实现的方法的流程图，该方法可采用一个或多个自主随机一维数据增强用于训练一个或多个机器学习模型。
[0022]图13示出了其中可有助于本文所述的一个或多个实施方案的示例性非限制性操作环境的框图。
具体实施方式
[0023]以下具体实施方式仅仅是示例性，并非旨在限制实施方案和/或实施方案的应用或使用。此外，并不意图受前述“
技术介绍
”或“
技术实现思路
”部分或者“具体实施方式”部分中提出的任何明示或暗示信息的约束。
[0024]现在参考附图描述一个或多个实施方案，其中相同的附图标号始终用于表示相同的元件。在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对一个或多个实施方案的更透彻理解。然而，很明显，在各种情况下，可以在没有这些具体细节的情况下实践一个或多个实施方案。
[0025]考虑到采用训练数据集增强的其他具体实施的问题；本公开可被实现为通过利用能够生成一维搜索空间的单个全局增强参数来产生对这些问题中的一个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种系统，包括：存储器，所述存储器存储计算机可执行部件；并且处理器，所述处理器能够操作地耦接到所述存储器，所述处理器执行存储在所述存储器中的所述计算机可执行部件，其中所述计算机可执行部件包括：数据增强组件，所述数据增强组件执行随机一维增强算法，以增强用于经由多个增强操作来训练机器学习模型的数据集，其中所述随机一维增强算法采用全局增强参数，所述全局增强参数定义：与所述多个增强操作相关联的失真幅度，以及包括在所述多个增强操作中的增强操作的数量。2.根据权利要求1所述的系统，其中所述数据增强组件从具有均匀概率的可能增强操作的池中随机选择所述多个增强操作，并且其中所述失真幅度控制与来自所述多个增强操作的增强操作相关联的增强的量。3.根据权利要求2所述的系统，所述系统还包括：全局参数组件，所述全局参数组件基于所述全局增强参数和所选择的多个增强操作来生成一维搜索空间。4.根据权利要求3所述的系统，所述系统还包括：参数组件，所述参数组件生成可能增强操作的所述池的参数定义，其中所述参数定义将所述可能增强操作与所述全局增强参数对齐，使得增强的所述量与所述全局增强参数直接相关。5.根据权利要求4所述的系统，其中所述参数组件通过将随机均匀分布引入到所述参数定义中来控制所述一维搜索空间的密度。6.根据权利要求5所述的系统，所述系统还包括：搜索组件，所述搜索组件基于所述全局增强参数对所述一维搜索空间执行搜索算法以执行自动搜索空间减少。7.根据权利要求6所述的系统，其中所述搜索算法基于表征所述机器学习模型的性能度量的单峰函数来执行所述自动搜索空间减少。8.一种计算机实现的方法，包括：由能够操作地耦接到处理器的系统执行随机一维增强算法，以增强用于经由多个增强操作来训练机器学习模型的数据集，其中所述随机一维增强算法采用全局增强参数，所述全局增强参数定义：与所述多个增强操作相关联的失真幅度，以及包括在所述多个增强操作中的增强操作的数量。9.根据权利要求8所述的计算机实现的方法，其中所述随机一维增强算法从具有均匀概率的可能增强操作的池中随机选择所述多个增强操作，并且其中所述失真幅度控制与来自所述多个增强操作的增强操作相关联的增强的量。10.根据权利要求9所述的计算机实现的方法，所述方法还包括：由所述系统基于所述全局增强参数和所选择的多个增强操作来生成一维搜索空间。11.根据权利要求10...

【专利技术属性】
技术研发人员：董晓萌，M，
申请(专利权)人：通用电气精准医疗有限责任公司，
类型：发明
国别省市：