【技术实现步骤摘要】
本专利技术属于边缘云测试，具体涉及一种基于模型的边缘云基准测试优化方法及装置。
技术介绍
1、在当前ai技术高速发展的时代，尤其是llama-2系列等先进大型模型的推出，见证了这些模型数据规模的迅猛增长。举例来说，llama-2模型的规模已从llama2-7b扩展到了llama2-70b，其大小从10多g增加到280多g，这种增长是指数级的，ai能力也是显著提升。
2、在边缘云计算节点上部署llama2-70b大模型，并基于llama2-70b大模型实现人工智能问答、文案写作和代码编写等服务，用户在访问大模型提供的服务时，其在数据产生源附近的计算节点上处理用户的需求，能显著降低延迟并提高处理速度。然而边缘云gpu节点由于设备异构性及硬件间的性能差异，在不同的边缘云节点设备上部署大模型后会因为硬件配置差异导致用户在不同节点的请求与响应耗时有巨大差异，最终导致边缘云每个节点的收入差异比较大，用户的使用体验也较差。在这种场景下，如何通过一定的方法获取边缘云gpu节点硬件算力与模型之间的性能数据，并根据性能数据部署相应模型，以实现收入效益最大化，关系着边缘云gpu节点的利用价值。因此，在对llama 2 70b等拥有700亿参数的大型模型进行边缘云gpu节点部署前，需要在各种边缘云gpu硬件上进行综合基准测试，获取边缘云gpu硬件运行llama 2 70b大模型的性能数据。
3、然而，在边缘云节点进行llama 2 70b基准测试前，首要挑战是模型下载，传统的下载方法具有以下问题：1.下载速度受网络环境如网络带宽
技术实现思路
1、针对以上问题，本专利技术提出了一种基于模型的边缘云基准测试优化方法及装置，旨在通过创新的模型生成方式，加速llama 2 70b大模型在各类硬件上的获取能力，解决因网络条件限制而导致的效率瓶颈。不仅能应用到llama-2 70b大模型的模型生成，加速llama 2 70b基准测试，还能复用到模型文件后缀为safetentors的其他大模型，加速基于其他大模型的基准测试。为解决以上技术问题，本专利技术所采用的技术方案如下：
2、一种基于模型的边缘云基准测试优化方法，包括如下步骤：
3、s1，构建包括云端和至少一个边缘云终端的测试系统，所述云端设有用于对边缘云终端的性能参数进行测试的设备性能测试模型；
4、s2，云端对设备性能测试模型的每个safetensors文件的byte位置的内容分别进行提取，基于提取得到的数据通过map结构的构造方法生成对应的模型权重配置头文件，集合所有模型权重配置头文件形成模型权重配置头文件集；
5、s3，将步骤s1中设备性能测试模型的非safetensors文件保存至云端的新建目录中；
6、s4，通过下载云端目录的方法在待执行基准测试的边缘云终端上获取所有非safetensors文件，同时下载步骤s2得到模型权重配置头文件集至该边缘云终端；
7、s5，边缘云终端利用numpy库基于模型权重配置头文件集创建每个模型权重配置头文件所对应的浮点数矩阵，根据所有浮点数矩阵构建对应的safetensors文件；
8、s6，根据步骤s4得到的非safetensors文件和步骤s5得到的safetensors文件构建边缘云终端上的性能测试模型，基于性能测试模型对边缘云终端进行测试。
9、在步骤s2中，所述safetensors文件的byte位置的内容是指safetensors文件的至少前n个byte。
10、所述模型权重配置头文件的生成方法包括：
11、①.通过目录遍历的方法获取设备性能测试模型的结构文件中所有后缀为safetensors的文件的文件名；
12、②.使用文件流读取步骤①中每个safetensors文件的前n字节的数据；
13、③.基于map结构的构造方法将每个safetensors文件的文件名作为key，同时将读取的前n字节的数据作为value构建每个safetensors文件对应的map结构。
14、所述步骤s5包括如下步骤：
15、s5.1，读取每个模型权重配置头文件的map结构的key值作为待生成文件的文件名，生成对应的文件；
16、s5.2，读取每个模型权重配置头文件的map结构的value值作为步骤s5.1得到文件的头文件，并将该头文件对应写入步骤s5.1生成的文件中；
17、s5.3，读取每个模型权重配置头文件的map结构的value值的第8个byte到第n个byte的内容生成对应的json文件；
18、s5.4，根据步骤s5.3得到的json文件获取张量元数据；
19、s5.5，基于步骤s5.4得到的张量元数据利用python语言和numpy库创建随机浮点数矩阵，并将创建随机浮点数矩阵对应写入步骤s5.1生成的文件中。
20、一种基于模型的边缘云基准测试优化装置，包括云端和至少一个边缘云终端，所述云端上设有：
21、模型存储模块：用于存储对边缘云终端的性能参数进行测试的设备性能测试模型；
22、头文件集构建模块：与模型存储模块连接，用于基于设备性能测试模型的每个safetensors文件利用map结构的构造方法生成对应的模型权重配置头文件，并集合所有模型权重配置头文件形成模型权重配置头文件集；
23、非safetensors文件提取模块：与模型存储模块连接，用于基于新建目录的方法将设备性能测试模型的非safetensors文件保存至新建目录中；
24、每个边缘云终端上均设有：
25、下载模块：与云端连接，用于将头文件集构建模块生成的模型权重配置头文件集和非safetensors文件提取模块保存的非safetensors文件下载至边缘云终端上；
26、safetensors文件创建模块：用于根据下载模块得到的模型权重配置头文件集利用numpy库创建每个模型权重配置头文件所对应的浮点数矩阵，并根据浮点数矩阵创建对应的safetensors文件；
27、测试模块：用于根据safetensors文件创建模块创建的safetensors文件以及下载模块下载的非safetensors文件构建性能测试模型，并基于性能测试模型对边缘云终端进行测试。
28、本专利技术的有益效果：
【技术保护点】
1.一种基于模型的边缘云基准测试优化方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于模型的边缘云基准测试优化方法，其特征在于，在步骤S2中，所述Safetensors文件的Byte位置的内容是指Safetensors文件的至少前N个Byte。
3.根据权利要求2所述的基于模型的边缘云基准测试优化方法，其特征在于，所述模型权重配置头文件的生成方法包括：
4.根据权利要求1所述的基于模型的边缘云基准测试优化方法，其特征在于，所述步骤S5包括如下步骤：
5.一种基于模型的边缘云基准测试优化装置，包括云端和至少一个边缘云终端，其特征在于，所述云端上设有：
【技术特征摘要】
1.一种基于模型的边缘云基准测试优化方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于模型的边缘云基准测试优化方法，其特征在于，在步骤s2中，所述safetensors文件的byte位置的内容是指safetensors文件的至少前n个byte。
3.根据权利要求2所述的基...
【专利技术属性】
技术研发人员：杨群，王闻宇，蒋鑫，
申请(专利权)人：派欧云计算上海有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。