【技术实现步骤摘要】
本专利技术属于人工智能领域，具体涉及一种深度学习模型性能分级方法及分级模型使用方法。
技术介绍
1、近年来，随着大规模预训练模型的普及和大语言模型的蓬勃发展，大型深度学习模型的应用愈发丰富。然而，大语言模型的推理成本昂贵，需要庞大的高性能计算服务器的支撑。而服务器搭建与维护需要昂贵的经济成本和专家人员的技术支持，这使得“人工智能即服务”成为主流范式。人工智能公司训练模型，维护服务器，提供大模型推理服务；而用户则通过向人工智能公司付费，来享受大模型推理服务。
2、然而，由于当前完全没有分级调控深度学习模型性能的相关算法研究，再加上训练一个大模型需要数以亿计的高额成本，人工智能公司只能推出单一的模型推理服务，不能根据用户对模型服务进行个性化。用户对大模型的需求各异，愿意为服务支付的金额也各异。然而，由于分级调控深度学习模型性能算法相关研究尚为空白，人工智能公司没有任何技术可以将已有的模型，向不同等级的用户释放不同等级的性能。当前相关公司的实践是，在训练一个模型的同时，训练或蒸馏一个较小的模型，来满足不需要高性能模型用户的需求。训练一个模型的成本往往十分高昂，费时费力，如此这般也只能实现三两等级的分级，距离个性化的模型性能分级调控相去甚远。例如openai当前只并行运行了gpt-4o，gpt-4o mini，gpt-4和gpt-o1模型，只分出了免费用户，plus付费用户和team付费用户，按照不同的使用额度收费，api收费也相应只有两级；字节跳动火山引擎当前并行运行了4种不同上下文长度的doubao-pro模型和3种不同
3、因此，如何在黑盒模型推理服务场景中分级调控模型的推理性能进而生成分级模型是一个亟需解决的问题。
技术实现思路
1、本专利技术是为了解决上述问题而进行的，目的在于提供一种深度学习模型性能分级方法及分级模型使用方法。
2、本专利技术提供了一种深度学习模型性能分级方法，用于根据深度学习模型生成分级模型，具有这样的特征，包括以下步骤：步骤s1，构建对应不同列重排程度的多个重排密钥矩阵；步骤s2，从现有的训练数据集选取一批训练数据输入深度学习模型；步骤s3，对每个训练数据，从所有重排密钥矩阵中随机选取一个重排密钥矩阵作为对应的重排矩阵；步骤s4，对每个训练数据，根据该训练数据经由深度学习模型编码后的词元矩阵和对应的列重排矩阵，得到对应的重排词元矩阵；步骤s5，对每个训练数据，将对应的重排词元矩阵经由深度学习模型的网络主干处理，得到对应的输出词元矩阵；步骤s6，对每个训练数据，根据对应的输出词元矩阵和列重排矩阵，得到对应的最终输出；步骤s7，根据所有最终输出计算损失，并根据损失结果优化深度学习模型；步骤s8，重复执行步骤s2至步骤s7，直至深度学习模型收敛，则将优化好的深度学习模型作为分级模型。
3、在本专利技术提供的深度学习模型性能分级方法中，还可以具有这样的特征：其中，分级模型根据输入生成不同性能等级的对应输出，各个重排密钥矩阵的重排程度对应不同的性能等级，重排密钥矩阵的重排程度越小，对应的性能等级越高。
4、在本专利技术提供的深度学习模型性能分级方法中，还可以具有这样的特征：其中，在步骤s1中，重排密钥矩阵中的重排顺序通过指定规则生成或随机生成，指定规则包括rsa加密规则。
5、在本专利技术提供的深度学习模型性能分级方法中，还可以具有这样的特征：其中，在步骤s4中，将词元矩阵右乘对应的列重排矩阵进行矩阵乘法，得到对应的重排词元矩阵，在步骤s6中，将输出词元矩阵右乘对应的转置的列重排矩阵的转置进行矩阵乘法，得到对应的最终输出。
6、本专利技术提供了一种分级模型使用方法，用于根据上述任意一项的分级模型和重排密钥矩阵，生成输入数据对应的具有特定性能等级的输出数据，具有这样的特征，包括以下步骤：步骤t1，根据分级模型对输入数据进行编码，生成对应的编码词元矩阵；步骤t2，将编码词元矩阵与特定性能等级对应的重排密钥矩阵进行矩阵乘法，得到重排编码词元矩阵；步骤t3，通过分级模型的网络主干对重排编码词元矩阵进行处理，生成主干输出；步骤t4，将主干输出与特定性能等级对应的重排密钥矩阵的转置进行矩阵乘法，得到具有特定性能等级的输出数据。
7、专利技术的作用与效果
8、根据本专利技术所涉及的深度学习模型性能分级方法及分级模型使用方法，因为，一方面，在微调训练阶段，通过对训练数据进行不同程度的重排，训练得到的分级模型中包含多个不同重排等级的子模型；另一方面，在应用阶段，通过特定的重排等级的重排密钥矩阵对输入数据的编码词元矩阵进行重排，以访问分级模型中对应的子模型，再对子模型的输出进行反重排，从而得到具有该重排等级对应性能的输出。所以，本专利技术的深度学习模型性能分级方法及分级模型使用方法能够分级调控用户使用的模型的推理性能。
本文档来自技高网...【技术保护点】
1.一种深度学习模型性能分级方法，用于根据深度学习模型生成分级模型，其特征在于，包括以下步骤：
2.根据权利要求1所述的深度学习模型性能分级方法，其特征在于：
3.根据权利要求1所述的深度学习模型性能分级方法，其特征在于：
4.根据权利要求1所述的深度学习模型性能分级方法，其特征在于：
5.一种分级模型使用方法，用于根据权利要求1～4任意一项所述的分级模型和重排密钥矩阵，生成输入数据对应的具有特定性能等级的输出数据，其特征在于，包括以下步骤：
【技术特征摘要】
1.一种深度学习模型性能分级方法，用于根据深度学习模型生成分级模型，其特征在于，包括以下步骤：
2.根据权利要求1所述的深度学习模型性能分级方法，其特征在于：
3.根据权利要求1所述的深度学习模型性能分级方法，其特征在于：<...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。