目标区间确定方法、装置、电子设备及可读存储介质制造方法及图纸

本申请公开了一种目标区间确定方法、装置、电子设备及可读存储介质,应用于电子设备，所述方法包括：获取量化模型中量化层针对样本数据输出的多个激励数据；基于每个所述激励数据确定统计直方图；查找所述统计直方图的区间范围中满足目标条件的区间，作为所述目标区间，其中，所述目标区间对应的目标统计直方图与量化统计直方图的相似度最大，所述量化统计直方图包括对所述目标统计直方图进行量化以及反量化后的统计直方图。本申请实施例基于多个激励数据得到的统计直方图，再基于该统计直方图确定出目标区间，使目标区间对应的目标统计直方图与量化统计直方图的相似度最大，从而降低了得到目标区间的繁琐程度。降低了得到目标区间的繁琐程度。降低了得到目标区间的繁琐程度。

【技术实现步骤摘要】
目标区间确定方法、装置、电子设备及可读存储介质


[0001]本申请涉及人工智能
，更具体地，涉及一种目标区间确定方法、装置、电子设备及可读存储介质。

技术介绍

[0002]目前，随着人工智能技术的发展，可以通过模型量化(model quantization)对神经网络模型进行轻量化处理。虽然，可以基于统计数据的区间来计算模型量化所需的量化参数，然而，现有确定统计数据的区间的流程，较为繁琐。

技术实现思路

[0003]本申请提出了一种目标区间确定方法、装置、电子设备及可读存储介质，以减少训练模型过程中对内存的需求。
[0004]第一方面，本申请实施例提供了一种目标区间确定方法，应用于电子设备，所述方法包括：获取量化模型中量化层针对样本数据输出的多个激励数据；基于每个所述激励数据确定统计直方图；查找所述统计直方图的区间范围中满足目标条件的区间，作为所述目标区间，其中，所述目标区间对应的目标统计直方图与量化统计直方图的相似度最大，所述量化统计直方图包括对所述目标统计直方图进行量化以及反量化后的统计直方图。
[0005]第二方面，本申请实施例还提供了一种目标区间确定装置，应用于电子设备，所述装置包括：获取单元、第一确定单元以及第二确定单元。其中，获取单元，用于获取量化模型中量化层针对样本数据输出的多个激励数据；第一确定单元，用于基于每个所述激励数据确定统计直方图；第二确定单元，用于查找所述统计直方图的区间范围中满足目标条件的区间，作为所述目标区间，其中，所述目标区间对应的目标统计直方图与量化统计直方图的相似度最大，所述量化统计直方图包括对所述目标统计直方图进行量化以及反量化后的统计直方图。
[0006]第三方面，本申请实施例还提供了一种电子设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行第一方面所述的方法。
[0007]第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述第一方面所述的方法。
[0008]本申请提供的目标区间确定方法、装置、电子设备及可读存储介质，该方法获取量化模型中量化层针对样本数据输出的多个激励数据；基于每个所述激励数据确定统计直方图；查找所述统计直方图的区间范围中满足目标条件的区间，作为所述目标区间，其中所述目标区间对应的目标统计直方图与量化统计直方图的相似度最大，所述量化统计直方图包括对所述目标统计直方图进行量化以及反量化后的统计直方图。由于现有技术中，可能需要多次对样本数据进行推理来确定目标区间，而本申请实施例基于多个激励数据得到的统
计直方图，再基于该统计直方图确定出目标区间，使目标区间对应的目标统计直方图与量化统计直方图的相似度最大，在单次对样本数据的推理中就确定得到了目标区间，从而降低了得到目标区间的繁琐程度。
[0009]本申请实施例的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例而了解。本申请实施例的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
[0010]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0011]图1示出了本申请实施例提供的目标区间确定方法的应用场景图；
[0012]图2示出了本申请实施例提供的目标区间确定方法的方法流程图；
[0013]图3示出了本申请量化模型的多个量化层的示意图；
[0014]图4示出了本申请实施例提供的直方图的示意图；
[0015]图5示出了本申请又一实施例提供的目标区间确定方法的方法流程图；
[0016]图6示出了本申请实施例提供的确定第一中间区间范围的示意图；
[0017]图7示出了本申请实施例提供的确定第四中间统计直方图的示意图；
[0018]图8示出了本申请实施例提供的确定第一中间统计直方图的示意图；
[0019]图9示出了本申请再一实施例提供的目标区间确定方法的方法流程图；
[0020]图10示出了本申请实施例提供的确定区间的示意图；
[0021]图11示出了本申请实施例提供的目标区间确定装置的结构框图；
[0022]图12示出了本申请实施例提供的电子设备的结构框图；
[0023]图13示出了本申请实施例提供的计算机可读存储介质的结构框图；
[0024]图14示出了本申请实施例提供的计算机程序产品的结构框图。
具体实施方式
[0025]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0026]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0027]目前，随着人工智能技术的发展，可以通过模型量化对神经网络模型进行轻量化
处理。虽然，可以基于统计数据的区间来计算模型量化所需的量化参数，然而，现有确定统计数据的区间的流程，较为繁琐。如何降低确定统计数据的区间的流程的繁琐程度，是一个亟待解决的问题。
[0028]模型量化是对深度学习的神经网络模型进行轻量化部署的主要手段。量化技术可以按是否需要训练过程分为训练后量化(Post
‑
Train ing Quant izat ion,PTQ)和量化感知训练(Quant izat ion Aware Train ing，QAT)两种。训练后量化对资源需求低，需时少，无需训练，通常需要少量数据样本作为校准集；而量化感知训练通常需要完整的训练数据集和额外算力，需要耗时较长的训练过程，但相比前者能保证更高的精度。
[0029]针对训练后量化，其算法本质上是将神经网络模型输出的张量的值范围映射到既定的量化范围中。目前，在确定训练后量化的量化参数时，可以通过神经网络模型多次推理样本数据，得到输出的激励张量，从而确定合适的区间，再通过该区间来确定量化参数。...

【技术保护点】

【技术特征摘要】
1.一种目标区间确定方法，其特征在于，应用于电子设备，所述方法包括：获取量化模型中量化层针对样本数据输出的多个激励数据；基于每个所述激励数据确定统计直方图；查找所述统计直方图的区间范围中满足目标条件的区间，作为所述目标区间，其中，所述目标区间对应的目标统计直方图与量化统计直方图的相似度最大，所述量化统计直方图包括对所述目标统计直方图进行量化以及反量化后的统计直方图。2.根据权利要求1所述的方法，其特征在于，所述基于每个所述激励数据确定统计直方图，包括：基于第一个激励数据确定第一统计直方图；基于第二个激励数据确定第二统计直方图；基于所述第一统计直方图和所述第二统计直方图，融合得到第一中间统计直方图；将第三个激励数据作为新的第二个激励数据，并将所述第一中间统计直方图作为新的第一统计直方图，返回执行基于第二个激励数据确定第二统计直方图的步骤以及后续步骤，直至遍历完每个所述激励数据，将融合得到的所述第一中间统计直方图，作为所述统计直方图。3.根据权利要求2所述的方法，其特征在于，所述基于所述第一统计直方图和所述第二统计直方图，融合得到第一中间统计直方图，包括：基于所述第一统计直方图的第一区间范围以及所述第二统计直方图的第二区间范围，确定第一中间区间范围；基于所述第一中间区间范围得到所述第一中间统计直方图。4.根据权利要求3所述的方法，其特征在于，所述基于所述第一统计直方图的第一区间范围以及所述第二统计直方图的第二区间范围，确定第一中间区间范围，包括：确定所述第一区间范围的第一最小值以及第一最大值；确定所述第二区间范围的第二最小值以及第二最大值；将所述第一最小值与所述第二最小值中的较小值作为第三最小值，将所述第一最大值与所述第二最大值中的较大值作为第三最大值；基于所述第三最小值与所述第三最大值，确定所述第一中间区间范围。5.根据权利要求3所述的方法，其特征在于，所述基于所述第一中间区间范围得到所述第一中间统计直方图，包括：基于所述第一中间区间范围确定第二中间统计直方图；将所述第一统计直方图以第一采样率进行上采样，得到第三中间统计直方图；基于所述第一采样率以及所述第一中间区间范围，确定第二采样率；基于指定映射关系对所述第三中间统计直方图进行映射，得到第四中间统计直方图，其中，所述指定映射关系包括映射经过所述第一采样率上采样后的第一区间范围至经过所述第二采样率上采样后的第一中间区间范围的映射关系；获取所述第四中间统计直方图的累积分布函数，作为第五中间统计直方图；基于所述第二采样率对所述第五中间统计直方图进行下采样，得到第六中间统计直方图；对所述第六中间统计直方图进行平移，得到第七中间统计直方图；
基于所述第六中间统计直方图与所述第七中间统计直方图之差，得到第八中间统计直方图；基于所述第二中间统计直方图与所述第八中间统计直方图之和，得到所述第一中间统计直方图。6.根据权利要求1所述的方法，其特征...

【专利技术属性】
技术研发人员：董旭炯，
申请(专利权)人：哲库科技上海有限公司，
类型：发明
国别省市：