【技术实现步骤摘要】
本公开涉及计算机，尤其涉及一种硬件适配大模型的方法及装置、电子设备和存储介质。
技术介绍
1、硬件在适配大模型训练推理场景时，需要完成包括算子、模型在内的适配工作。国际领先的硬件厂商-英伟达，在其cuda生态的自驱力下，能够快速有效适配成熟垂直训练场景的新需求、新场景的需求。但是，国产硬件还未能够拥有一个广泛、成熟并良性循环的生态系统。而且，国产各硬件的系统之间也存在底层技术的壁垒，硬件应用方需要对每一家厂商的硬件进行独立的适配，这使得国内市场无法广泛的使用国产芯片训练大模型，从而加大国内硬件应用于大模型场景的难度和门槛。因此，亟需一种硬件适配大模型的标准方法。
技术实现思路
1、本公开提出了一种硬件适配大模型的方法及装置、电子设备和存储介质的技术方案。
2、根据本公开的一方面，提供了一种硬件适配大模型的方法，包括：对大模型提供平台提供的至少两个大模型进行算子抓取，得到目标算子库；接收目标硬件对所述目标算子库的接入请求；响应于所述接入请求，基于所述目标算子库，对所述目标硬件与每个大模型进行适配。
3、在一种可能的实现方式中，所述对大模型提供平台提供的至少两个大模型进行算子抓取，得到目标算子库，包括：确定每个大模型对应的应用指数，其中，每个大模型对应的应用指数用于反映该大模型的重要程度；根据每个大模型对应的应用指数，确定所述至少两个大模型的算子抓取顺序；根据所述算子抓取顺序，依次对每个大模型进行算子抓取，得到所述目标算子库。
4、在一种可能的实现方
5、在一种可能的实现方式中，所述根据所述算子抓取顺序，依次对每个大模型进行算子抓取，得到所述目标算子库，包括：基于算子抓取规则，生成算子抓取脚本；将所述算子抓取脚本植入每个大模型的模型训练程序；根据所述算子抓取顺序，依次运行每个大模型的模型训练程序，对每个大模型进行算子抓取，得到所述目标算子库。
6、在一种可能的实现方式中，所述目标算子库中包括每个大模型对应的目标算子列表；所述根据所述算子抓取顺序，依次运行每个大模型的模型训练程序，对每个大模型进行算子抓取，得到所述目标算子库，包括：针对任意一个大模型，获取所述算子抓取脚本在所述大模型的模型训练程序运行过程中抓取到的算子，得到所述大模型对应的初始算子列表；对所述大模型对应的初始算子列表进行去重处理，得到所述大模型对应的目标算子列表。
7、在一种可能的实现方式中，所述方法还包括：对所述目标硬件与每个大模型进行适配验证，得到所述目标硬件与每个大模型的目标适配结果。
8、在一种可能的实现方式中，所述对所述目标硬件与每个大模型进行适配验证，得到所述目标硬件与每个大模型的目标适配结果，包括：基于预设算子准出标准，对所述目标硬件与所述目标算子库中的每个算子进行适配验证，得到所述目标硬件与每个算子的算子适配结果；基于预设模型准出标准，对所述目标硬件与每个大模型进行适配验证，得到所述目标硬件与每个大模型的模型适配结果；针对任意一个大模型，根据所述目标硬件与所述大模型中每个算子的算子适配结果，以及所述目标硬件与所述大模型的模型适配结果，确定所述目标硬件与所述大模型的目标适配结果。
9、在一种可能的实现方式中，所述方法还包括：接收目标用户发送的硬件选择请求，其中，所述目标用户为目标大模型使用用户，所述目标大模型为所述至少两个大模型中的至少一个；向所述目标用户返回所述目标硬件对所述目标大模型的目标适配结果，其中，所述目标硬件对所述目标大模型的目标适配结果用于供所述目标用户判断所述目标硬件是否符合选择需求。
10、根据本公开的一方面，提供了一种硬件适配大模型的装置，包括：算子抓取模块，用于对大模型提供平台提供的至少两个大模型进行算子抓取，得到目标算子库；接收模块，用于接收目标硬件对所述目标算子库的接入请求；适配模块，用于响应于所述接入请求，基于所述目标算子库，对所述目标硬件与每个大模型进行适配。
11、根据本公开的一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。
12、根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。
13、在本公开实施例中，对大模型提供平台提供的至少两个大模型进行算子抓取，得到目标算子库，从而可以为硬件方提供完整的大模型场景下的模型-算子清单，进而，在接收到硬件方发送的目标硬件对目标算子库的接入请求后，响应于接入请求，基于目标算子库，可以快速实现目标硬件与每个大模型的适配。
14、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
本文档来自技高网...【技术保护点】
1.一种硬件适配大模型的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述对大模型提供平台提供的至少两个大模型进行算子抓取，得到目标算子库，包括：
3.根据权利要求2所述的方法，其特征在于，所述确定每个大模型对应的应用指数，包括：
4.根据权利要求2所述的方法，其特征在于，所述根据所述算子抓取顺序，依次对每个大模型进行算子抓取，得到所述目标算子库，包括：
5.根据权利要求4所述的方法，其特征在于，所述目标算子库中包括每个大模型对应的目标算子列表；
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
7.根据权利要求6所述的方法，其特征在于，所述对所述目标硬件与每个大模型进行适配验证，得到所述目标硬件与每个大模型的目标适配结果，包括：
8.根据权利要求6所述的方法，其特征在于，所述方法还包括：
9.一种硬件适配大模型的装置，其特征在于，包括：
10.一种电子设备，其特征在于，包括：
11.一种计算机可读存储介质，其上存储有计算机程序指
...【技术特征摘要】
1.一种硬件适配大模型的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述对大模型提供平台提供的至少两个大模型进行算子抓取，得到目标算子库，包括：
3.根据权利要求2所述的方法，其特征在于，所述确定每个大模型对应的应用指数，包括：
4.根据权利要求2所述的方法，其特征在于，所述根据所述算子抓取顺序，依次对每个大模型进行算子抓取，得到所述目标算子库，包括：
5.根据权利要求4所述的方法，其特征在于，所述目标算子库中包括每个大模型对应的目标算子列表；
6.根据...
【专利技术属性】
技术研发人员：余玥，由鸿铭，杨桦桉，张行程，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。