多模型加载配置文件的生成方法、装置、设备及介质制造方法及图纸

本发明专利技术实施例公开了一种多模型加载配置文件的生成方法、装置、设备及介质。其中，该方法包括：获取模型加载顺序列表；其中，所述模型加载顺序列表包括至少一种模型加载顺序，且所述模型加载顺序为至少三个模型的加载顺序；获取所述模型加载顺序列表中各模型加载顺序加载运行的总耗时；将总耗时最短的模型加载顺序作为目标模型加载顺序；根据所述目标模型加载顺序生成配置文件。本技术方案，可以高效生成多模型加载配置文件，减少大量人力和实际成本。本。本。

【技术实现步骤摘要】
多模型加载配置文件的生成方法、装置、设备及介质


[0001]本专利技术涉及计算机
，尤其涉及一种多模型加载配置文件的生成方法、装置、设备及介质。

技术介绍

[0002]鉴于人工智能算法模型应用于产品或者项目过程中，往往使用多算法模型来实现产品或者项目的需求，算法模型的加载、运行也是各算法模块独立进行设计和实现，业务工程实现过程中多算法模型的加载、运行缺乏整体工程设计和优化。
[0003]所有的算法模块首次从加载模型到输出结果，需要的是时间是各算法模块各阶段执行时间之和。例如，一个感知系统从上电到输出结果的时间长，没有进行加载模型顺序编排，这样的系统由于首次运行时间长导致也在这个系统方案中也不适合动态冷启动来减少系统功耗。
[0004]目前，通常采用的方法是人工编排加载和顺序来减少总时间，但人工编排模型加载顺序理论加载耗时不是最优并且和实际总体运行耗时存在较大差异，以及手动编排模型加载顺序需要耗费大量人力和时间成本。

技术实现思路

[0005]本专利技术提供了一种多模型加载配置文件的生成方法、装置、设备及介质，可以高效生成多模型加载配置文件，减少大量人力和实际成本。
[0006]根据本专利技术的一方面，提供了一种多模型加载配置文件的生成方法，包括：
[0007]获取模型加载顺序列表；其中，所述模型加载顺序列表包括至少一种模型加载顺序，且所述模型加载顺序为至少三个模型的加载顺序；
[0008]获取所述模型加载顺序列表中各模型加载顺序加载运行的总耗时；
[0009]将总耗时最短的模型加载顺序作为目标模型加载顺序；
[0010]根据所述目标模型加载顺序生成配置文件。
[0011]可选的，在获取模型加载顺序列表之前，还包括：
[0012]根据多个模型的依赖关系确定出固定模型位置以及动态模型位置；
[0013]通过所述固定模型位置以及动态模型位置确定出模型加载顺序列表。
[0014]可选的，获取所述模型加载顺序列表中各模型加载顺序加载运行的总耗时，包括：
[0015]依次从所述模型加载顺序列表中选取模型加载顺序进行加载和运行，以获得各模型加载顺序的总耗时。
[0016]可选的，依次从所述模型加载顺序列表中选取模型加载顺序进行加载和运行，包括：
[0017]依次从所述模型加载顺序列表中选取模型加载顺序，并采用加载和运行并行的方式处理选取的模型加载顺序。
[0018]可选的，依次从所述模型加载顺序列表中选取模型加载顺序进行加载和运行，以
获得模型加载顺序列表中各模型加载顺序的总耗时，包括：
[0019]获取所述选取模型加载顺序从开始加载到运行完成所需的时长，将所述时长确定为所述模型加载顺序的总耗时。
[0020]可选的，将总耗时最短的模型加载顺序作为目标模型加载顺序，包括：
[0021]各模型加载顺序的总耗时进行降序排序或者升序排序；
[0022]将排序最前或者排序最后的模型加载顺序作为目标模型加载顺序。
[0023]根据本专利技术的另一方面，提供了一种多模型加载配置文件的生成系统，包括：计算机、第一控制器核、第二控制器核、存储器、模型加速单元及内存；
[0024]所述计算机用于生成模型加载顺序列表，并依次从所述模型加载顺序列表中选取模型加载顺序，并将选取的模型加载顺序发送至所述第一控制器核；其中，所述模型加载顺序列表包括至少一种模型加载顺序，且所述模型加载顺序为至少三个模型的加载顺序；
[0025]所述第一控制器核用于将接收到的模型加载顺序发送至所述第二控制器核；
[0026]所述第二控制器核用于根据所述模型加载顺序从所述存储器中依次加载各模型到内存中，并记录各模型的加载时长以及将所述加载时长和内存地址发送至所述第一控制器核；
[0027]所述第一控制器核还用于根据所述内存地址和所述模型加载顺序控制所述模型加速单元以运行各模型，并记录各模型的运行时长；将各模型的所述运行时长和所述加载时长发送至所述计算机；
[0028]所述计算机还用于根据所述加载时长和所述运动时长确定模型加载顺序对应的总耗时，并将总耗时最短的模型加载顺序作为目标模型加载顺序，以根据所述目标模型加载顺序生成配置文件。
[0029]根据本专利技术的另一方面，提供了一种多模型加载配置文件的生成装置，包括：
[0030]模型加载顺序列表获取模块，用于获取模型加载顺序列表；其中，所述模型加载顺序列表包括至少一种模型加载顺序，且所述模型加载顺序为至少三个模型的加载顺序；
[0031]总耗时获取模块，用于获取所述模型加载顺序列表中各模型加载顺序加载运行的总耗时；
[0032]目标模型加载顺序确定模块，用于将总耗时最短的模型加载顺序作为目标模型加载顺序；
[0033]配置文件生成模块，用于根据所述目标模型加载顺序生成配置文件。
[0034]根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：
[0035]至少一个处理器；以及
[0036]与所述至少一个处理器通信连接的存储器；其中，
[0037]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的多模型加载配置文件的生成方法。
[0038]根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的多模型加载配置文件的生成方法。
[0039]本专利技术实施例的技术方案，通过获取模型加载顺序列表；其中，所述模型加载顺序
列表包括至少一种模型加载顺序，且所述模型加载顺序为至少三个模型的加载顺序；获取所述模型加载顺序列表中各模型加载顺序加载运行的总耗时；将总耗时最短的模型加载顺序作为目标模型加载顺序；根据所述目标模型加载顺序生成配置文件。本技术方案，可以高效生成多模型加载配置文件，减少大量人力和实际成本。
[0040]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0041]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0042]图1是根据本专利技术实施例一提供的一种多模型加载配置文件的生成方法的流程图；
[0043]图2是根据本专利技术实施例二提供的一种多模型加载配置文件的生成系统的结构示意图；
[0044]图3是根据本专利技术实施例三提供的一种多模型加载配置文件的生成装置的结构示意图；
[0045]图4是根据本专利技术实施例四提供的一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模型加载配置文件的生成方法，其特征在于，包括：获取模型加载顺序列表；其中，所述模型加载顺序列表包括至少一种模型加载顺序，且所述模型加载顺序为至少三个模型的加载顺序；获取所述模型加载顺序列表中各模型加载顺序加载运行的总耗时；将总耗时最短的模型加载顺序作为目标模型加载顺序；根据所述目标模型加载顺序生成配置文件。2.根据权利要求1所述的方法，其特征在于，在获取模型加载顺序列表之前，还包括：根据多个模型的依赖关系确定出固定模型位置以及动态模型位置；通过所述固定模型位置以及动态模型位置确定出模型加载顺序列表。3.根据权利要求1所述的方法，其特征在于，获取所述模型加载顺序列表中各模型加载顺序加载运行的总耗时，包括：依次从所述模型加载顺序列表中选取模型加载顺序进行加载和运行，以获得各模型加载顺序的总耗时。4.根据权利要求3所述的方法，其特征在于，依次从所述模型加载顺序列表中选取模型加载顺序进行加载和运行，包括：依次从所述模型加载顺序列表中选取模型加载顺序，并采用加载和运行并行的方式处理选取的模型加载顺序。5.根据权利要求3所述的方法，其特征在于，依次从所述模型加载顺序列表中选取模型加载顺序进行加载和运行，以获得模型加载顺序列表中各模型加载顺序的总耗时，包括：获取所述选取模型加载顺序从开始加载到运行完成所需的时长，将所述时长确定为所述模型加载顺序的总耗时。6.根据权利要求1所述的方法，其特征在于，将总耗时最短的模型加载顺序作为目标模型加载顺序，包括：各模型加载顺序的总耗时进行降序排序或者升序排序；将排序最前或者排序最后的模型加载顺序作为目标模型加载顺序。7.一种多模型加载配置文件的生成系统，其特征在于，包括：计算机、第一控制器核、第二控制器核、存储器、模型加速单元及内存；所述计算机用于生成模型加载顺序列表，并依次从所述模型加载顺序列表中选取模型加载顺序，并将选取的模型加载顺序发送至所述第一控制器核；其...

【专利技术属性】
技术研发人员：陈长贵，黄硕，陈旭，
申请(专利权)人：一汽南京科技开发有限公司，
类型：发明
国别省市：