用于数据蒸馏的方法、电子设备和计算机程序产品技术

本公开的实施例涉及用于数据蒸馏的方法、电子设备和计算机程序产品。该方法包括：通过使用机器学习训练过程对输入数据集进行训练，来建立输入数据集的训练模型；从输入数据集的训练模型提取多个权重，多个权重包含表示输入数据集的信息，并且多个权重彼此正交；以及利用多个权重来重新训练训练模型，以用于生成重建数据集。本公开的实施例能够大大减小数据存储系统的数据存储成本和维持数据存储系统的性能。性能。性能。

【技术实现步骤摘要】
用于数据蒸馏的方法、电子设备和计算机程序产品


[0001]本公开的实施例总体涉及数据存储系统领域，具体涉及用于数据存储系统的数据蒸馏的方法、电子设备和计算机程序产品。

技术介绍

[0002]随着人工智能技术的发展，包括数据存储系统等的各种系统越来越依赖于大量的数据和计算能力来存储和处理涉及数据的任务。然而，作为管理数据的工具，机器学习模型和基础的信息技术系统通常是复杂和昂贵的。为了减轻对于海量数据的处理负担，数据蒸馏(data distillation)的方法近年来被提出。数据蒸馏的基本思想是从大的训练数据集中的知识蒸馏或提取出来，以形成较小的训练数据集，但是仍然保持原始的训练数据集的主要信息。
[0003]在数据存储系统中，用户往往希望在有限的存储空间中存储尽可能多的数据。然而，传统的数据蒸馏算法需要占用大量的计算资源，并且在更新数据样本的时候通常效率较低且鲁棒性较差。

技术实现思路

[0004]本公开的实施例提供了用于数据存储系统的数据蒸馏的方法、电子设备和计算机程序产品。
[0005]在本公开的第一方面，提供了一种用于数据存储系统的数据蒸馏的方法。该方法包括：通过使用机器学习训练过程对输入数据集进行训练，来建立输入数据集的训练模型；从输入数据集的训练模型提取多个权重，多个权重包含表示输入数据集的信息，并且多个权重彼此正交；以及利用多个权重来重新训练训练模型，以用于生成重建数据集。
[0006]在本公开的第二方面，提供了一种电子设备，包括：至少一个处理单元；至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令，指令当由至少一个处理单元执行时，使得电子设备执行动作，该动作包括：通过使用机器学习训练过程对输入数据集进行训练，来建立输入数据集的训练模型；从输入数据集的训练模型提取多个权重，多个权重包含表示输入数据集的信息，并且多个权重彼此正交；以及利用多个权重来重新训练训练模型，以用于生成重建数据集。
[0007]在本公开的第三方面，提供了一种计算机程序产品。该计算机程序产品被有形地存储在非瞬态计算机存储介质中并且包括机器可执行指令。该机器可执行指令在由设备执行时使该设备执行根据本公开的第一方面所描述的方法的任意步骤。
[0008]提供
技术实现思路
部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。
技术实现思路
部分无意标识本公开的关键特征或必要特征，也无意限制本公开的范围。
附图说明
[0009]通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。
[0010]图1示出了本公开的实施例能够在其中被实施的示例环境的示意图；
[0011]图2示出了根据本公开的实施例的用于数据存储系统的数据蒸馏的示例方法的流程图；
[0012]图3示出了本公开的实施例能够在其中被实施的另一示例环境的示意图；
[0013]图4示出了根据本公开的实施例的用于根据所提取的权重来重新训练训练模型的示例方法的流程图；
[0014]图5示出了根据本公开的实施例的利用本公开的方法生成的示例图像的示意图；以及
[0015]图6示出了可以用来实施本公开内容的实施例的示例设备的示意性框图。
[0016]在各个附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
[0017]下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
[0018]在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
[0019]数据蒸馏或者数据集蒸馏的概念源自对数据压缩或深度学习模型的改进。例如，深度监督学习模型需要大量的数据，这往往意味着对非常大量的样本进行训练。为了减少需要训练的样本的数量，同时尽量小地影响训练模型的性能，数据蒸馏算法或方案被提出。人类似乎能够仅从很少量的示例中快速概括出有用的信息。例如，画家仅通过几个笔划就能描绘出特定物体或人物的典型特征；刑侦技术人员也能够通过很少的话语描述来基本还原出刑事案件中涉案人员的外貌；以及各种其他示例。通常，希望机器也能够拥有类似的能力，以从少量的数据中学习并概括提炼出最有用的信息。少量镜头学习(FSL)方法在这方面进行了尝试，其中该模型可以在给定每个类别中仅有几个样本的情况下区分新的类别。进一步地，对于每个类别仅给出一个样本甚至少于一个样本的情况，目前已提出单镜头学习(OSL)方法和少于单个镜头学习(LO
‑
shot learning)的方法。
[0020]在一种已有的数据集蒸馏方案中，示出了数据集蒸馏(DD)可以使用后向传播算法来创建小的合成数据集，将6万个修改的MNIST训练图像压缩成仅10个合成的蒸馏图像(每个类别一个蒸馏图像)，并且达到超过90％的精确度。在另一种已有的数据集蒸馏方案中，示出了数据集的大小可以通过使用可学习的“软”标签增强数据集蒸馏而被进一步降低，该
方案能够实现对于10个类别创建5个蒸馏图像的数据集。然而，此类数据集蒸馏方案受限于其对原始数据模型的假设，即假设原始数据模型是固定的，因而更进一步假定对于原始数据集进行训练的训练网络也是固定的。
[0021]本公开的实施例提出了一种用于数据存储系统的数据蒸馏的方案，以解决上述问题和其他潜在问题中的一个或多个。根据本公开的实施例，可以利用机器学习算法来训练原始数据集，并且根据从训练模型中提取的权重来生成重建数据集。本公开提出了一种新颖的数据蒸馏方法来蒸馏数据。与先前的知识蒸馏算法不同，本公开的技术方案被直接用于生成新的重建数据集，例如图像、文本等等。此外，本公开的技术方案还提出了一种新的训练模型框架或平台，其既能够实现自动提取原始数据集的特征和包含原始数据集的主要信息的权重以用于直接生成新的重建数据集，也能够应对可能的外部扰动或随机噪声，从而有效地提高了数据存储系统的自监督数据蒸馏框架的鲁棒性和稳定性。
[0022]以下将参考图1至图6详细描述本公开的实施例。图1示出了本公开的实施例能够在其中被实现的示例环境100的框图。如图1所示，环境100包括计算设备110、输入数据集130、任务输出150和所提取的权重170。应当理解，仅出于示例性的目的描述环境100的结构，而不暗示对于本公开的范围的任何限制。例如，本公开的实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据蒸馏的方法，包括：通过使用机器学习训练过程对输入数据集进行训练，来建立所述输入数据集的训练模型；从所述输入数据集的所述训练模型提取多个权重，所述多个权重包含表示所述输入数据集的信息，并且所述多个权重彼此正交；以及利用所述多个权重来重新训练所述训练模型，以用于生成重建数据集。2.根据权利要求1所述的方法，其中利用所述多个权重来重新训练所述训练模型包括：将随机噪声输入到所述训练模型中；根据所述随机噪声和所述多个权重确定损失函数；以及利用所述损失函数来重新训练所述训练模型。3.根据权利要求2所述的方法，还包括：将另一随机噪声输入到经重新训练的训练模型中；以及执行所述经重新训练的训练模型以生成所述重建数据集。4.根据权利要求1所述的方法，其中使用所述机器学习训练过程对所述输入数据集进行训练包括：利用特征提取损失函数来对所述输入数据集进行特征提取；以及利用分类损失函数对经特征提取的所述输入数据集进行分类。5.根据权利要求1所述的方法，其中所述机器学习训练过程包括卷积神经网络过程和完全连接层过程，并且所述输入数据集表示图像。6.一种电子设备，包括：至少一个处理单元；至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令当由所述至少一个处理单元执行时，使得所述电子设备执行动作，所述动作包括：通...

【专利技术属性】
技术研发人员：王子嘉，倪嘉呈，陈强，贾真，
申请(专利权)人：伊姆西IP控股有限责任公司，
类型：发明
国别省市：