本发明专利技术提供一种大模型智能算力需求测算方法、装置、设备、介质及产品，包括：获取多个大模型的模型信息；根据模型信息，测算各个大模型的训练阶段智能算力需求和推理阶段智能算力需求；根据各个大模型所属行业场景的本地化需求比例、各个大模型的训练阶段智能算力需求和推理阶段智能算力需求，测算大模型本地化智能算力总需求。本发明专利技术通过测算训练和推理阶段智能算力需求，考虑了大模型不同阶段的特征差异；通过根据大模型所属行业场景的本地化比例、训练和推理阶段智能算力需求，对大模型本地化智能算力总需求进行测算，考虑了不同场景下大模型对智能算力时延及智算中心位置的需求，从而提高测算结果准确性，避免大模型智能算力资源不足的问题。
【技术实现步骤摘要】
本专利技术涉及计算机，尤其涉及一种大模型智能算力需求测算方法、装置、设备、介质及产品。
技术介绍
1、当前，以chatgpt（chat generative pre-trained transformer，聊天生成预训练转换器）为代表的人工智能大模型的爆发，带动智能算力需求快速增长。大模型未来呈现何种发展趋势、对智能算力有多大规模需求等对智算中心的布局与建设具有重要意义。
2、然而，云计算的投资通常集中于通用算力，造成当前智能算力资源不足，无法及时响应大模型的智能算力需求，尤其是在面向不同大模型对智能算力的需求时，资源分布不均衡，导致多样化、个性化、极致化计算需求的支撑能力极度欠缺。
3、因此，如何进行大模型智能算力需求的精准测算，避免大模型智能算力资源不足是目前亟待解决的问题。
技术实现思路
1、本专利技术提供一种大模型智能算力需求测算方法、装置、设备、介质及产品，用以解决现有技术中面向不同大模型时智能算力资源不足，无法及时响应大模型的智能算力需求的缺陷，实现大模型智能算力需求的精准测算。
2、本专利技术提供一种大模型智能算力需求测算方法，包括：
3、获取多个大模型的模型信息；
4、根据所述模型信息，测算各个大模型的训练阶段智能算力需求和推理阶段智能算力需求；
5、根据各个大模型所属行业场景的本地化需求比例、所述各个大模型的训练阶段智能算力需求和推理阶段智能算力需求，测算大模型本地化智能算力总需求。
<
p>6、根据本专利技术提供的一种大模型智能算力需求测算方法，所述本地化需求比例包括训练阶段本地化比例和推理阶段本地化比例；所述根据各个大模型所属行业场景的本地化需求比例、所述各个大模型的训练阶段智能算力需求和推理阶段智能算力需求，测算大模型本地化智能算力总需求，包括：7、针对各个大模型，根据所述大模型所属行业场景的训练阶段本地化比例和所述大模型的训练阶段智能算力需求，计算所述大模型的训练阶段本地化智能算力需求；
8、根据所述大模型所属行业场景的推理阶段本地化比例和所述大模型的推理阶段智能算力需求，计算所述大模型的推理阶段本地化智能算力需求；
9、根据每个大模型的训练阶段本地化智能算力需求，计算训练阶段本地化智能算力总需求；
10、根据每个大模型的推理阶段本地化智能算力需求，计算推理阶段本地化智能算力总需求；
11、根据所述训练阶段本地化智能算力总需求和所述推理阶段本地化智能算力总需求，计算大模型本地化智能算力总需求。
12、根据本专利技术提供的一种大模型智能算力需求测算方法，在根据所述模型信息，测算各个大模型的训练阶段智能算力需求和推理阶段智能算力需求之后，还包括：
13、根据每个大模型的推理阶段智能算力需求和训练阶段智能算力需求，计算每个大模型的智能算力总需求；
14、根据同一模型类别下的各个大模型的智能算力总需求，计算每类大模型的智能算力总需求；
15、根据各类大模型的智能算力总需求，计算总的大模型智能算力需求。
16、根据本专利技术提供的一种大模型智能算力需求测算方法，所述模型信息包括参数信息；所述根据所述模型信息，测算各个大模型的训练阶段智能算力需求和推理阶段智能算力需求，包括：
17、根据所述模型信息对所述多个大模型进行聚类分析，根据聚类结果确定各个大模型的模型类别以及各类大模型对应的典型大模型；
18、针对各个大模型，根据所述大模型的参数信息和所述大模型对应的典型大模型的参数信息，测算所述大模型的训练阶段智能算力需求和推理阶段智能算力需求。
19、根据本专利技术提供的一种大模型智能算力需求测算方法，所述针对各个大模型，根据所述大模型的参数信息和所述大模型对应的典型大模型的参数信息，测算所述大模型的训练阶段智能算力需求和推理阶段智能算力需求，包括：
20、根据每类大模型对应的典型大模型的参数信息，确定每类大模型的参数标准值；
21、针对各个大模型，根据所述大模型对应的参数标准值和所述大模型的参数信息，测算所述大模型的训练阶段智能算力需求和推理阶段智能算力需求。
22、根据本专利技术提供的一种大模型智能算力需求测算方法，所述根据每类大模型对应的典型大模型的参数信息，确定每类大模型的参数标准值，包括：
23、将每类大模型对应的典型大模型的训练阶段每参数每数据量所需算力，确定为每类大模型的训练阶段每参数每数据量所需算力标准值；
24、将所述每类大模型的训练阶段每参数每数据量所需算力标准值的预设比例，确定为每类大模型的推理阶段每参数每数据量所需算力标准值；
25、将每类大模型对应的典型大模型的用户单日使用次数，确定为每类大模型的推理阶段用户单日使用次数标准值；
26、将每类大模型对应的典型大模型的用户单次访问消耗数据量，确定为每类大模型的推理阶段用户单次访问消耗数据量标准值。
27、根据本专利技术提供的一种大模型智能算力需求测算方法，所述根据所述大模型对应的参数标准值和所述大模型的参数信息，测算所述大模型的训练阶段智能算力需求和推理阶段智能算力需求，包括：
28、根据所述大模型对应的训练阶段每参数每数据量所需算力标准值、所述大模型的模型参数量和训练数据集规模，计算所述大模型的训练阶段智能算力需求；
29、根据所述大模型对应的推理阶段每参数每数据量所需算力标准值、推理阶段用户单日使用次数标准值、推理阶段用户单次访问消耗数据量标准值、所述大模型的模型参数量和使用用户数，计算所述大模型的推理阶段智能算力需求。
30、根据本专利技术提供的一种大模型智能算力需求测算方法，所述根据所述模型信息对所述多个大模型进行聚类分析，根据聚类结果确定各个大模型的模型类别以及各类大模型对应的典型大模型，包括：
31、根据所述多个大模型的模型信息，将所述多个大模型映射到二维坐标系中，并选取出多个初始聚类中心点；
32、针对各个大模型，计算所述大模型到每个初始聚类中心点的距离，并将与所述大模型距离最小的初始聚类中心点的所属模型类别确定为所述大模型的初始模型类别，得到各个大模型的初始模型类别；
33、根据同一初始模型类别下的各个大模型的横纵坐标平均值，确定新的聚类中心点并进行迭代运算，在迭代完成后得到聚类结果；
34、根据所述聚类结果，确定各个大模型的模型类别，并选取与各个最终聚类中心点距离最小的大模型作为各类大模型对应的典型大模型。
35、根据本专利技术提供的一种大模型智能算力需求测算方法，所述模型信息采用区块链进行存储，通过以下方式对所述模型信息进行上链备案保存：
36、获取待备案大模型的基本信息；
37、在所述待备案大模型的基本信息审核通过的情况下，获取所述待备案大模型的备案信息，并将所述备案信息和所述基本信息作为所述待备案大模型的本文档来自技高网
...
【技术保护点】
1.一种大模型智能算力需求测算方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述本地化需求比例包括训练阶段本地化比例和推理阶段本地化比例；所述根据各个大模型所属行业场景的本地化需求比例、所述各个大模型的训练阶段智能算力需求和推理阶段智能算力需求，测算大模型本地化智能算力总需求，包括：
3.根据权利要求1所述的方法，其特征在于，在根据所述模型信息，测算各个大模型的训练阶段智能算力需求和推理阶段智能算力需求之后，还包括：
4.根据权利要求1所述的方法，其特征在于，所述模型信息包括参数信息；所述根据所述模型信息，测算各个大模型的训练阶段智能算力需求和推理阶段智能算力需求，包括：
5.根据权利要求4所述的方法，其特征在于，所述针对各个大模型，根据所述大模型的参数信息和所述大模型对应的典型大模型的参数信息，测算所述大模型的训练阶段智能算力需求和推理阶段智能算力需求，包括：
6.根据权利要求5所述的方法，其特征在于，所述根据每类大模型对应的典型大模型的参数信息，确定每类大模型的参数标准值，包括：
7.根据权利要求6所述的方法，其特征在于，所述根据所述大模型对应的参数标准值和所述大模型的参数信息，测算所述大模型的训练阶段智能算力需求和推理阶段智能算力需求，包括：
8.根据权利要求4所述的方法，其特征在于，所述根据所述模型信息对所述多个大模型进行聚类分析，根据聚类结果确定各个大模型的模型类别以及各类大模型对应的典型大模型，包括：
9.根据权利要求1所述的方法，其特征在于，所述模型信息采用区块链进行存储，通过以下方式对所述模型信息进行上链备案保存：
10.一种大模型智能算力需求测算装置，其特征在于，包括：
11.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述大模型智能算力需求测算方法。
12.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述大模型智能算力需求测算方法。
13.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述大模型智能算力需求测算方法。
...
【技术特征摘要】
1.一种大模型智能算力需求测算方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述本地化需求比例包括训练阶段本地化比例和推理阶段本地化比例；所述根据各个大模型所属行业场景的本地化需求比例、所述各个大模型的训练阶段智能算力需求和推理阶段智能算力需求，测算大模型本地化智能算力总需求，包括：
3.根据权利要求1所述的方法，其特征在于，在根据所述模型信息，测算各个大模型的训练阶段智能算力需求和推理阶段智能算力需求之后，还包括：
4.根据权利要求1所述的方法，其特征在于，所述模型信息包括参数信息；所述根据所述模型信息，测算各个大模型的训练阶段智能算力需求和推理阶段智能算力需求，包括：
5.根据权利要求4所述的方法，其特征在于，所述针对各个大模型，根据所述大模型的参数信息和所述大模型对应的典型大模型的参数信息，测算所述大模型的训练阶段智能算力需求和推理阶段智能算力需求，包括：
6.根据权利要求5所述的方法，其特征在于，所述根据每类大模型对应的典型大模型的参数信息，确定每类大模型的参数标准值，包括：
7.根据权利要求6所述的方法，其特征在于，所...
【专利技术属性】
技术研发人员：李双杰，张馨予，牛芳玲，李晓飞，蒋群，王慧娟，
申请(专利权)人：中国移动通信集团设计院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。