【技术实现步骤摘要】
本专利技术属于ai加速器应用领域，涉及一种transformer架构算子混合优化方法。
技术介绍
1、transformer架构作为一种先进的神经网络结构，在自然语言处理和其他领域广泛应用，但其复杂的计算图结构和大量的计算量导致推理过程中性能低下的问题日益突出。
技术实现思路
1、(一)专利技术目的
2、本专利技术的目的是：提供一种transformer架构算子混合优化方法，旨在结合openvx和opencl的特点，解决transformer架构中算子映射和优化的技术挑战。
3、(二)技术方案
4、为了解决上述技术问题，本专利技术提供一种transformer架构算子混合优化方法，其包括以下步骤：
5、步骤1.算子映射分析与优化需求识别；
6、步骤2.拆解算子的运算过程，使用opencl分别构建各算子的计算内核；
7、步骤3.讲opencl内核作为计算图节点，使用openvx构建计算图。
8、其中，步骤1中，算子映射分析与优化需求识别包括：分析transformer架构模型中各算子的特性和计算需求，明确需要映射到openvx和opencl进行混合优化的算子。
9、其中，步骤2中，所述transformer架构模型中的待优化算子包括：位置编码、自注意力机制、全连接层、层归一化、前向网络、残差连接。
10、其中，步骤2中，位置编码算子内核包括：位置编码矩阵运算内核；自注意力机制算
11、其中，步骤2中，位置编码矩阵运算内核用于接收位置编码矩阵的指针和维度作为参数，并行计算每个位置和每个维度的正弦和余弦值，生成位置编码。
12、其中，步骤2中，线性变换内核作用为对输入嵌入进行线性变换，得到查询向量q、键向量k和值向量v；点积运算内核作用为计算查询向量q和键向量k的相似度，得到注意力得分；缩放内核作用为对点积运算结果进行缩放；softmax内核作用为将缩放结果转化为归一化的概率分布值；加权求和内核作用为将softmax结果应用到值向量v上进行加权求和；多头拼接内核作用为将多个自注意力头的计算结果合并，得到最终的多头注意力输出。
13、其中，步骤2中，矩阵乘法内核作用为执行全连接层的权重矩阵和输入向量的乘法计算；矩阵加法内核作用为执行矩阵乘法结果与偏置向量的加法计算。
14、其中，步骤2中，均值内核作用为计算输入张量的均值；方差内核作用为计算输入张量的方差；归一化内核作用为使均值和方差对输入向量进行归一化；缩放和平移内核作用为对归一化后的输出应用缩放系数和偏移量，增强模型的表达能力。
15、其中，步骤2中，矩阵乘法内核作用为计算输入与权重的乘积，以及计算经过relu激活后的输出与第二组权重的乘积；矩阵加法内核作用为在矩阵乘法结果后添加偏置项；relu内核作用为应用relu激活函数；残差连接内核作用为将某个子层的输出与改层的输入相加，解决深层网络的梯度消失和梯度爆炸问题。
16、其中，步骤3包括以下子步骤：
17、3.1编写openvx计算图描述，包括输入、输出与节点；
18、3.2将opencl内核转化为openvx节点；
19、3.3构建openvx计算图，并校验和运行计算图。
20、(三)有益效果
21、上述技术方案所提供的transformer架构算子混合优化方法，openvx提供了强大的图形处理优化能力，可将计算图优化为高效的执行形式，而opencl则利用多核心并行计算能力，加速算子的执行，从而提升整体推理效率。
本文档来自技高网...【技术保护点】
1.一种Transformer架构算子混合优化方法，其特征在于，包括以下步骤：
2.如权利要求1所述的Transformer架构算子混合优化方法，其特征在于，步骤1中，算子映射分析与优化需求识别包括：分析Transformer架构模型中各算子的特性和计算需求，明确需要映射到OpenVX和OpenCL进行混合优化的算子。
3.如权利要求2所述的Transformer架构算子混合优化方法，其特征在于，步骤2中，所述Transformer架构模型中的待优化算子包括：位置编码、自注意力机制、全连接层、层归一化、前向网络、残差连接。
4.如权利要求3所述的Transformer架构算子混合优化方法，其特征在于，步骤2中，位置编码算子内核包括：位置编码矩阵运算内核；自注意力机制算子内核包括：线性变化内核、点积运算内核、缩放内核、Softmax内核、加权求和内核、多头拼接内核；全连接层算子内核包括：矩阵乘法内核、矩阵加法内核；层归一化算子内核包括：均值内核、方差内核、归一化内核、缩放和平移内核；前向网络算子内核包括：矩阵乘法内核、矩阵加法内核、ReLU内核；
5.如权利要求4所述的Transformer架构算子混合优化方法，其特征在于，步骤2中，位置编码矩阵运算内核用于接收位置编码矩阵的指针和维度作为参数，并行计算每个位置和每个维度的正弦和余弦值，生成位置编码。
6.如权利要求5所述的Transformer架构算子混合优化方法，其特征在于，步骤2中，线性变换内核作用为对输入嵌入进行线性变换，得到查询向量Q、键向量K和值向量V；点积运算内核作用为计算查询向量Q和键向量K的相似度，得到注意力得分；缩放内核作用为对点积运算结果进行缩放；Softmax内核作用为将缩放结果转化为归一化的概率分布值；加权求和内核作用为将Softmax结果应用到值向量V上进行加权求和；多头拼接内核作用为将多个自注意力头的计算结果合并，得到最终的多头注意力输出。
7.如权利要求6所述的Transformer架构算子混合优化方法，其特征在于，步骤2中，矩阵乘法内核作用为执行全连接层的权重矩阵和输入向量的乘法计算；矩阵加法内核作用为执行矩阵乘法结果与偏置向量的加法计算。
8.如权利要求7所述的Transformer架构算子混合优化方法，其特征在于，步骤2中，均值内核作用为计算输入张量的均值；方差内核作用为计算输入张量的方差；归一化内核作用为使均值和方差对输入向量进行归一化；缩放和平移内核作用为对归一化后的输出应用缩放系数和偏移量，增强模型的表达能力。
9.如权利要求8所述的Transformer架构算子混合优化方法，其特征在于，步骤2中，矩阵乘法内核作用为计算输入与权重的乘积，以及计算经过ReLU激活后的输出与第二组权重的乘积；矩阵加法内核作用为在矩阵乘法结果后添加偏置项；ReLU内核作用为应用ReLU激活函数；残差连接内核作用为将某个子层的输出与改层的输入相加，解决深层网络的梯度消失和梯度爆炸问题。
10.如权利要求9所述的Transformer架构算子混合优化方法，其特征在于，步骤3包括以下子步骤：
...【技术特征摘要】
1.一种transformer架构算子混合优化方法，其特征在于，包括以下步骤：
2.如权利要求1所述的transformer架构算子混合优化方法，其特征在于，步骤1中，算子映射分析与优化需求识别包括：分析transformer架构模型中各算子的特性和计算需求，明确需要映射到openvx和opencl进行混合优化的算子。
3.如权利要求2所述的transformer架构算子混合优化方法，其特征在于，步骤2中，所述transformer架构模型中的待优化算子包括：位置编码、自注意力机制、全连接层、层归一化、前向网络、残差连接。
4.如权利要求3所述的transformer架构算子混合优化方法，其特征在于，步骤2中，位置编码算子内核包括：位置编码矩阵运算内核；自注意力机制算子内核包括：线性变化内核、点积运算内核、缩放内核、softmax内核、加权求和内核、多头拼接内核；全连接层算子内核包括：矩阵乘法内核、矩阵加法内核；层归一化算子内核包括：均值内核、方差内核、归一化内核、缩放和平移内核；前向网络算子内核包括：矩阵乘法内核、矩阵加法内核、relu内核；残差连接算子内核包括：残差连接内核。
5.如权利要求4所述的transformer架构算子混合优化方法，其特征在于，步骤2中，位置编码矩阵运算内核用于接收位置编码矩阵的指针和维度作为参数，并行计算每个位置和每个维度的正弦和余弦值，生成位置编码。
6.如权利要求5所述的transformer架构算子混合优化方法，其特征在于，步骤2中，线性变换内核作用为对...
【专利技术属性】
技术研发人员：贺东旭，杨硕，白雅玲，
申请(专利权)人：天津津航计算技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。