数据处理方法及装置、设备、介质制造方法及图纸

本公开提供了一种数据处理方法及装置、设备、介质，该方法包括：将待处理数据输入目标神经网络中处理，得到待处理数据的处理结果，目标神经网络的至少一层卷积层为基于第一注意力机制的注意力卷积层，和/或，目标神经网络的至少两级卷积层之间基于第二注意力机制进行特征融合，第一注意力机制包括针对特征的局部区域的自注意力机制，第二注意力机制包括不同尺度的输出特征之间针对输出特征的局部区域的注意力机制。根据本公开的实施例能够获得表达效果更好的特征，从而提高数据处理效果。从而提高数据处理效果。从而提高数据处理效果。

Data processing method, device, equipment and medium

【技术实现步骤摘要】
数据处理方法及装置、设备、介质


[0001]本公开涉及计算机
，特别涉及一种数据处理方法及装置、电子设备、计算机可读存储介质。

技术介绍

[0002]注意力(Attention)机制来自于人类视觉注意力机制，其在计算能力有限的情况下，将计算资源分配给更重要的任务，而非基于全局进行任务处理。自注意力(Self Attention，SA)机制是对注意力机制的改进，其减少了对外部信息的依赖，更擅长捕捉数据或特征的内部相关性。在进行自注意力计算时，其计算量通常与特征图尺寸的平方成正比关系，计算量较为庞大。

技术实现思路

[0003]本公开提供一种基于众核系统的数据处理方法及装置、电子设备、计算机可读存储介质。
[0004]第一方面，本公开提供了一种数据处理方法，该数据处理方法包括：将待处理数据输入目标神经网络中处理，得到所述待处理数据的处理结果，所述目标神经网络的至少一层卷积层为基于第一注意力机制的注意力卷积层，和/或，所述目标神经网络的至少两级卷积层之间基于第二注意力机制进行特征融合，
[0005]其中，所述第一注意力机制包括针对特征的局部区域的自注意力机制，所述第二注意力机制包括不同尺度的输出特征之间针对所述输出特征的局部区域的注意力机制。
[0006]第二方面，本公开提供了一种数据处理装置，该数据处理装置包括：数据处理模块，用于将待处理数据输入目标神经网络中处理，用于得到所述待处理数据的处理结果，所述目标神经网络的至少一层卷积层为基于第一注意力机制的注意力卷积层，和/或，所述目标神经网络的至少两级卷积层之间基于第二注意力机制进行特征融合，
[0007]其中，所述第一注意力机制包括针对特征的局部区域的自注意力机制，所述第二注意力机制包括不同尺度的输出特征之间的注意力机制。
[0008]第三方面，本公开提供了一种电子设备，该电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序，一个或多个所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的数据处理方法。
[0009]第四方面，本公开提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序在被处理器执行时实现上述的数据处理方法。
[0010]本公开所提供的实施例，只针对特征点的局部区域确定该特征点的注意力特征，相较于针对全局特征确定特征点的注意力特征而言，能够有效减少计算量，并且，由于将注意力机制的确定范围缩小至局部区域，因此，获得的注意力特征相对于全局特征具备一定的归纳偏置能力，同时还具有旋转不变特性，从而提高数据处理效果。
[0011]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0012]附图用来提供对本公开的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其他特征和优点对本领域技术人员将变得更加显而易见，在附图中：
[0013]图1为本公开实施例提供的一种自注意力机制的处理过程的示意图；
[0014]图2为本公开实施例提供的一种特征金字塔网络的示意图；
[0015]图3为本公开实施例提供的一种数据处理方法的流程图；
[0016]图4为本公开实施例提供的一种数据处理方法的工作过程的流程图；
[0017]图5为本公开实施例提供的一种目标神经网络的示意图；
[0018]图6为本公开实施例提供的一种注意力卷积层的工作过程的示意图；
[0019]图7为本公开实施例提供的一种数据处理方法的工作过程的流程图；
[0020]图8为本公开实施例提供的一种特征融合过程的示意图；
[0021]图9为本公开实施例提供的一种中间特征的获取过程的示意图；
[0022]图10为本公开实施例提供的一种融合特征的映射关系示意图；
[0023]图11为本公开实施例提供的一种融合特征的获取过程的示意图；
[0024]图12为本公开实施例提供的一种融合特征的映射关系示意图；
[0025]图13为本公开实施例提供的一种数据处理装置的框图；
[0026]图14为本公开实施例提供的一种数据处理装置的框图；
[0027]图15为本公开实施例提供的一种数据处理装置的框图；
[0028]图16为本公开实施例提供的一种电子设备的框图；
[0029]图17为本公开实施例提供的一种电子设备的框图。
具体实施方式
[0030]为使本领域的技术人员更好地理解本公开的技术方案，以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0031]在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。
[0032]如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
[0033]本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由
……
制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
[0034]除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。
[0035]神经网络(Neural Network，NN)是一种模仿生物神经网络的结构和功能的模型，已经广泛应用在图像处理、语音识别、自然语言处理等领域。卷积是神经网络中的一个重要概念，通过卷积操作可实现特征提取。在相关技术中，可以利用滑动卷积核的方式进行滤波，获得滤波响应，从而提取到特征。由于卷积核作用的感受野通常为特征图的局部区域，因此，卷积具有归纳偏置的优点。相应的，基于卷积核提取特征时，需要通过不断层级式堆叠才能实现对更大范围内的特征提取，从而将整个特征图的不同区域关联起来。
[0036]注意力(Attention)机制是神经网络中的另外一个重要本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：将待处理数据输入目标神经网络中处理，得到所述待处理数据的处理结果，所述目标神经网络的至少一层卷积层为基于第一注意力机制的注意力卷积层，和/或，所述目标神经网络的至少两级卷积层之间基于第二注意力机制进行特征融合，其中，所述第一注意力机制包括针对特征的局部区域的自注意力机制，所述第二注意力机制包括不同尺度的输出特征之间针对所述输出特征的局部区域的注意力机制。2.根据权利要求1所述的方法，其特征在于，所述目标神经网络包括注意力卷积层，所述将待处理数据输入目标神经网络中处理，得到所述待处理数据的处理结果，包括：针对任一注意力卷积层，对所述注意力卷积层的输入数据进行线性变换，获得与所述输入数据对应的第一查询特征、第一键特征和第一值特征；根据所述第一查询特征、所述第一键特征和所述第一值特征，确定与所述第一查询特征的多个目标特征点对应的第一注意力特征，其中，所述第一注意力特征包括与各个所述目标特征点对应的第一注意力值，所述第一注意力值为针对与所述目标特征点对应的局部区域确定的，与所述目标特征点对应的局部区域是所述第一查询特征中以所述目标特征点为中心，并根据预设尺寸确定的区域，所述预设尺寸小于所述第一查询特征的尺寸，所述第一注意力值用于表征所述局部区域内的各个特征点与所述目标特征点之间的关联关系；根据所述第一注意力特征和所述输入数据，确定与所述注意力卷积层对应的输出特征，其中，所述输入数据是所述待处理数据经由所述注意力卷积层之前的网络层处理后的数据，所述处理结果是所述输出特征经由所述注意力卷积层之后的网络层处理后得到的。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一查询特征、所述第一键特征和所述第一值特征，确定与所述第一查询特征的多个目标特征点对应的第一注意力特征，包括：针对各个所述目标特征点，确定所述第一键特征中与所述局部区域对应的多个第一键特征点，以及所述第一值特征中与所述局部区域对应的第一值特征点；确定所述目标特征点与各个所述第一键特征点之间的相似性，获得与所述目标特征点对应的第一相似度特征；根据所述第一相似度特征与所述第一值特征点，获得与所述目标特征点对应的第一注意力值；根据多个所述目标特征点的第一注意力值，获得所述第一注意力特征。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一查询特征、所述第一键特征和所述第一值特征，确定与所述第一查询特征的多个目标特征点对应的第一注意力特征之前，还包括：从所述第一查询特征中选取多个特征点作为所述目标特征点；根据所述预设尺寸，确定与各个目标特征点对应的局部区域。5.根据权利要求4所述的方法，其特征在于，所述第一查询特征包括向量和矩阵中的任意一种；在所述第一查询特征为向量的情况下，所述预设尺寸包括预设特征点数量，且所述预设特征点数量小于所述第一查询向量的特征点总数量，所述局部区域是以所述目标特征点
为中心、特征点数量等于所述预设特征点数量的向量；在所述第一查询特征为矩阵的情况下，所述预设尺寸包括预设行数量和预设列数量，且所述预设行数量小于所述第一查询特征的行总数量，所述预设列数量小于所述第一查询特征的列总数量，所述局部区域是以所述目标特征点为中心、以所述预设行数量为高度、所述预设列数量为宽度的矩形区域。6.根据权利要求2所述的方法，其特征在于，所述根据所述第一查询特征、所述第一键特征和所述第一值特征，确定与所述第一查询特征的多个目标特征点对应的第一注意力特征，包括：根据所述局部区域的预设尺寸，设置滑动窗口和步长；从预设的初始滑动位置开始，沿所述第一查询特征以所述步长滑动所述滑动窗口，并确定每次滑动操作中与所述滑动窗口对应的目标特征点，所述第一键特征中与所述滑动窗口对应的多个第一键特征点，以及所述第一值特征中与所述滑动窗口对应的第一值特征点；确定所述目标特征点与各个所述第一键特征点之间的相似性，获得与所述目标特征点对应的第一相似度特征；根据所述第一相似度特征与所述第一值特征点，获得与所述目标特征点对应的第一注意力值；根据多个所述目标特征点的第一注意力值，获得所述第一注意力特征。7.根据权利要求3或6所述的方法，其特征在于，所述第一查询特征与所述第一键特征相同；所述确定所述目标特征点与各个所述第一键特征点之间的相似性，包括：在获得第i个目标特征点与第j个第一键特征点之间的相似性Sij的情况下，根据所述Sij确定第j个第一查询特征点与第i个目标特征点之间的相似性Sji；其中，i和j均为大于等于1且小于等于M的整数，M为所述第一查询特征或所述第一键特征中的特征点的总数量，且i≥j或i≤j。8.根据权利要求2所述的方法，其特征在于，所述根据所述第一注意力特征和所述输入数据，确定与所述注意力卷积层对应的输出特征，包括：对所述第一注意力特征进行线性变换，获得与所述输入数据尺寸相同的第一匹配注意力特征；将所述第一匹配注意力特征与所述输入数据进行叠加，获得与所述输入数据对应的输出特征。9.根据权利要求2所述的方法，其特征在于，所述根据所述第一注意力特征和所述输入数据，确定与所述注意力卷积层对应的输出特征，包括：根据与所述第一注意力特征中第一注意力值对应的目标特征点在所述输入数据中的位置信息，将所述第一注意力值进行重新排列，获得第二匹配注意力特征；根据所述第二匹配注意力特征和所述输入数据中与所述目标特征点对应的特征点，获得与所述输入数据对应的输出特...

【专利技术属性】
技术研发人员：赵荣臻，吴臻志，
申请(专利权)人：北京灵汐科技有限公司，
类型：发明
国别省市：