【技术实现步骤摘要】
本专利技术涉及神经网络 ，尤其涉及一种transformer模型、数据处理方法、电子设备及存储介质。
技术介绍
1、transformer是一种基于注意力机制的模型，最早在自然语言处理（naturallanguage processing，nlp）任务中提出，默认使用layernorm（ln）作为归一化方式。由于ln的统计量依赖于在线处理，因此，虽然ln具有较好的精度，但是当用在对速度要求较高的边缘端时，其推理速度较慢。
技术实现思路
1、本申请提供一种transformer模型、数据处理方法、电子设备及存储介质，用以解决现有技术中的transformer模型推理速度较慢的问题。
2、本申请提供一种transformer模型，包括：归一化层；所述归一化层用于按照目标处理单位对批量输入数据进行标准化操作，并对标准化操作后的数据进行仿射变换；其中，所述目标处理单位为批量输入数据的单个空间位置中的多个通道；所述归一化层具体用于：在所述归一化层的训练阶段，对于不同形状的输入数据，分别计算每个空间位置的数据的统计量，将当前统计量和对应形状的历史统计量取滑动平均后拉长为一维形状的统计量，并以原始空间形状为索引将所述一维形状的统计量保存在容器中，所述统计量包括均值和方差；在所述归一化层的推理阶段，根据输入数据的形状从所述容器中确定对应的统计量，并利用所述统计量进行标准化操作。
3、根据本申请提供的transformer模型，所述归一化层具体用于：根据输入数据的形状从所述容
4、根据本申请提供的transformer模型，所述标准化操作包括：基于公式进行标准化操作；其中，表示标准化操作的输入数据，表示均值，表示方差，为防止除数为0的预设调节量，表示标准化操作的输出数据。
5、根据本申请提供的transformer模型，所述对标准化操作后的数据进行仿射变换，包括：
6、基于公式进行仿射变换；
7、其中，表示权重，表示偏置参数，表示仿射变换的输入数据，表示仿射变换的输出数据。
8、本申请还提供一种数据处理方法，包括：按照目标处理单位对批量输入数据进行标准化操作，并对标准化操作后的数据进行仿射变换；其中，所述目标处理单位为批量输入数据的单个空间位置中的多个通道；所述方法还包括：在归一化层的训练阶段，对于不同形状的输入数据，分别计算每个空间位置的数据的统计量，将当前统计量和对应形状的历史统计量取滑动平均后拉长为一维形状的统计量，并以原始空间形状为索引将所述一维形状的统计量保存在容器中，所述统计量包括均值和方差；在所述归一化层的推理阶段，根据输入数据的形状从所述容器中确定对应的统计量，并利用所述统计量进行标准化操作。
9、根据本申请提供的数据处理方法，所述根据输入数据的形状从所述容器中确定对应的统计量，并利用所述统计量进行标准化操作，包括：根据输入数据的形状从所述容器中确定对应的目标索引，并确定与所述目标索引对应的一维形状的统计量；若所述输入数据为二维空间数据，则先将所述一维形状的统计量恢复为原始空间形状，再基于恢复后的统计量进行标准化操作；若所述输入数据为一维空间数据，则直接基于所述一维形状的统计量进行标准化操作。
10、根据本申请提供的数据处理方法，所述标准化操作包括：
11、基于公式进行标准化操作；其中，表示标准化操作的输入数据，表示均值，表示方差，为防止除数为0的预设调节量，表示标准化操作的输出数据。
12、根据本申请提供的数据处理方法，所述对标准化操作后的数据进行仿射变换，包括：
13、基于公式进行仿射变换；
14、其中，表示权重，表示偏置参数，表示仿射变换的输入数据，表示仿射变换的输出数据。
15、本申请还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述数据处理方法。
16、本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述数据处理方法。
17、在本申请实施例中，一方面，transformer模型的归一化层与ln都是沿着通道轴做标准化，经过标准化之后，通道轴的各个元素均服从均值为0、方差为1 的同一分布，两者具有相似的表达能力和效果，且通过实验证明，两者精度相当，因此本申请的归一化层可以具有较高的精度；另一方面，由于在归一化层的推理阶段，可以根据输入数据的形状直接从容器中确定对应的统计量，因此，可以避免统计量依赖于在线处理的弊端，从而进一步提高推理速度。
本文档来自技高网...【技术保护点】
1.一种Transformer模型，其特征在于，包括：归一化层；
2.根据权利要求1所述的Transformer模型，其特征在于，所述归一化层具体用于：
3.根据权利要求1或2所述的Transformer模型，其特征在于，所述标准化操作包括：
4.根据权利要求1所述的Transformer模型，其特征在于，所述对标准化操作后的数据进行仿射变换，包括：
5.一种数据处理方法，其特征在于，包括：
6.根据权利要求5所述的数据处理方法，其特征在于，所述根据输入数据的形状从所述容器中确定对应的统计量，并利用所述统计量进行标准化操作，包括：
7.根据权利要求5或6所述的数据处理方法，其特征在于，所述标准化操作包括：
8.根据权利要求5所述的数据处理方法，其特征在于，所述对标准化操作后的数据进行仿射变换，包括：
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求5-8任一项所述的数据处理方法中的步骤。>
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求5-8任一项所述的数据处理方法中的步骤。
...【技术特征摘要】
1.一种transformer模型，其特征在于，包括：归一化层；
2.根据权利要求1所述的transformer模型，其特征在于，所述归一化层具体用于：
3.根据权利要求1或2所述的transformer模型，其特征在于，所述标准化操作包括：
4.根据权利要求1所述的transformer模型，其特征在于，所述对标准化操作后的数据进行仿射变换，包括：
5.一种数据处理方法，其特征在于，包括：
6.根据权利要求5所述的数据处理方法，其特征在于，所述根据输入数据的形状从所述容器中确定对应的统计量，并利用所述统计量进行...
【专利技术属性】
技术研发人员：邱淼波，高晋，胡卫明，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。