特征提取方法、装置、存储介质及电子设备制造方法及图纸

本公开涉及一种特征提取方法、装置、存储介质及电子设备，以捕捉查询向量之间更细粒度的特征关联信息，减少近似误差，得到更能表征数据语义的高层特征信息。该方法包括：确定待提取特征的目标数据，基于目标数据确定多个查询向量、多个键向量和多个值向量；确定每一查询向量对应的多个键值对信息，每一键值对信息是基于多个键向量、多个值向量和一数据样本确定的，其中用于确定多个键值对信息的多个数据样本是基于多个概率分布进行采样得到的，多个概率分布基于多个查询向量确定；针对每一查询向量，基于查询向量和多个数据样本进行随机映射，得到多个随机查询向量，基于多个随机查询向量和多个键值对信息，确定查询向量对应的特征信息。征信息。征信息。

【技术实现步骤摘要】
特征提取方法、装置、存储介质及电子设备


[0001]本公开涉及数据处理
，具体地，涉及一种特征提取方法、装置、存储介质及电子设备。

技术介绍

[0002]随着计算机技术的不断发展，神经网络模型可以通过自注意力机制(self
‑
attention mechanism)对输入序列中任意两个元素之间的关系建模，从而捕捉输入序列中长距离元素之间的依赖关系。相关技术中存在多种注意力机制，其中随机特征注意力机制(Random Feature Attention，RFA)可以将传统自注意力机制中计算相似度的函数线性化，以提高计算效率。但是，此种随机特征注意力机制是一种有偏估计，具有较大的近似误差，从而会影响模型输出结果的准确性。

技术实现思路

[0003]提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0004]第一方面，本公开提供一种特征提取方法，所述方法包括：
[0005]确定待提取特征的目标数据，并基于所述目标数据确定多个查询向量、多个键向量和多个值向量；
[0006]确定每一所述查询向量对应的多个键值对信息，每一所述键值对信息是基于所述多个键向量、所述多个值向量和一数据样本确定的，其中用于确定所述多个键值对信息的多个所述数据样本是基于多个概率分布进行采样得到的，且所述多个概率分布基于所述多个查询向量确定；
[0007]针对每一所述查询向量，基于所述查询向量和所述多个数据样本进行随机映射，得到多个随机查询向量，并基于所述多个随机查询向量和所述多个键值对信息，确定所述查询向量对应的特征信息。
[0008]第二方面，本公开提供一种特征提取装置，所述装置包括：
[0009]第一确定模块，用于确定待提取特征的目标数据，并基于所述目标数据确定多个查询向量、多个键向量和多个值向量；
[0010]第二确定模块，用于确定每一所述查询向量对应的多个键值对信息，每一所述键值对信息是基于所述多个键向量、所述多个值向量和一数据样本确定的，其中用于确定所述多个键值对信息的多个所述数据样本是基于多个概率分布进行采样得到的，所述多个概率分布基于所述多个查询向量确定；
[0011]第三确定模块，用于针对每一所述查询向量，基于所述查询向量和所述多个数据样本进行随机映射，得到多个随机查询向量，并基于所述多个随机查询向量和所述多个键值对信息，确定所述查询向量对应的特征信息。
[0012]第三方面，本公开提供一种非临时性计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现第一方面中所述方法的步骤。
[0013]第三方面，本公开提供一种电子设备，包括：
[0014]存储装置，其上存储有计算机程序；
[0015]处理装置，用于执行所述存储装置中的所述计算机程序，以实现第一方面中所述方法的步骤。
[0016]通过上述技术方案，用于确定键值对信息的多个数据样本是基于多个概率分布进行采样得到的，且多个概率分布基于多个查询向量确定。由此，查询向量不同，则可以确定出对应不同的键值对信息，从而在基于键值对信息确定特征信息的过程中，可以对不同的查询向量采用对应不同的处理方式，捕捉查询向量之间更细粒度的特征关联信息，减小近似误差，得到更能表征目标数据语义的高层特征信息。
[0017]本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0018]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
[0019]图1是传统注意力机制的过程示意图；
[0020]图2是基于随机特征的注意力机制的过程示意图；
[0021]图3是根据本公开一示例性实施例示出的一种特征提取方法的流程图；
[0022]图4是根据本公开一示例性实施例示出的一种特征提取方法的过程示意图；
[0023]图5是根据本公开一示例性实施例示出的一种特征提取装置的框图；
[0024]图6是根据本公开一示例性实施例示出的一种电子设备的框图。
具体实施方式
[0025]可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
[0026]例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获取和使用到用户的个人信息。从而，使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
[0027]作为一种可选的但非限定性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息。此外，弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。
[0028]可以理解的是，上述通知和获取用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其它满足相关法律法规的方式也可应用于本公开的实现方式中。同时，可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵
循相应法律法规及相关规定的要求。
[0029]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0030]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0031]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0032]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。另外需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0033]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种特征提取方法，其特征在于，所述方法包括：确定待提取特征的目标数据，并基于所述目标数据确定多个查询向量、多个键向量和多个值向量；确定每一所述查询向量对应的多个键值对信息，其中，每一所述键值对信息是基于所述多个键向量、所述多个值向量和一数据样本确定的，且用于确定所述多个键值对信息的多个所述数据样本是基于多个概率分布进行采样得到的，所述多个概率分布是基于所述多个查询向量确定的；针对每一所述查询向量，基于所述查询向量和所述多个数据样本进行随机映射，得到多个随机查询向量，并基于所述多个随机查询向量和所述多个键值对信息，确定所述查询向量对应的特征信息。2.根据权利要求1所述的方法，其特征在于，所述确定每一所述查询向量对应的多个键值对信息，包括：根据每个查询向量确定一概率分布，并按照第一预设数量，基于每个查询向量对应的所述概率分布进行采样，得到每个所述查询向量对应的多个数据样本，其中所述第一预设数量用于表征期望的样本数量；针对每个查询向量，基于所述多个键向量、所述多个值向量和所述查询向量对应的多个数据样本，确定多个键值对信息。3.根据权利要求1所述的方法，其特征在于，所述确定每一所述查询向量对应的多个键值对信息，包括：按照第二预设数量将所述多个查询向量划分为多个查询向量组，其中所述第二预设数量用于表征期望的查询向量组的数量，且所述第二预设数量小于所述多个查询向量的数量；根据每个查询向量组确定一概率分布，并根据每个查询向量组对应的所述概率分布采样一数据样本，得到多个数据样本；根据每个数据样本、所述多个键向量和所述多个值向量，确定一键值对信息，得到多个共用键值对信息；将所述多个共用键值对信息确定为每一所述查询向量对应的多个键值对信息。4.根据权利要求3所述的方法，其特征在于，所述基于所述多个随机查询向量和所述多个键值对信息，确定所述查询向量对应的特征信息，包括：确定每个查询向量组对应的概率分布与多个查询向量组对应的概率分布之间的第一相似度，并针对每个查询向量，确定所述查询向量与每个查询向量组的平均查询向量之间的第二相似度；根据所述第一相似度和所述第二相似度，确定计算权重；根据所述计算权重，将所述多个随机查询向量和所述多个键值对信息进行加权求和，得到所述查询向量对应的特征信息。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：针对每个查询向量组对应的概率分布，根据所述概率分布和标准正态分布，确定所述概率分布对应的重要性采样权重；所述根据所述计算权重，将所述多个随机查询向量和所述多个键值对信息进行加权求
和，得到所述查询向量对应的特征信息，包括：将所述计算权重和所述重要性采样权重的乘积确定为目标...

【专利技术属性】
技术研发人员：王崇，郑琳，
申请(专利权)人：脸萌有限公司，
类型：发明
国别省市：