模型集成方法、装置、服务器和计算机可读存储介质制造方法及图纸

本发明专利技术实施例提出一种模型集成方法、装置、服务器和计算机可读存储介质，涉及深度学习领域。服务器预先存储有模型文件及模型文件配置表，模型文件包括多个模型，模型文件配置表用于记录每个模型在模型文件中的位置，通过获取视频流分析任务对应的任务参数，该任务参数用于指定待集成的目标模型，根据任务参数和模型文件配置表，从模型文件中读取出目标模型，将目标模型加载到推理卡上，并生成目标模型对应的算子引擎，根据任务参数和算子引擎生成引擎管道，以通过引擎管道对输入的视频流数据进行处理。如此，可以实现根据视频流分析任务灵活地选择需要集成的一个或多个模型，并加载到一张推理卡上，有效减少了硬件资源的消耗。耗。耗。

【技术实现步骤摘要】
模型集成方法、装置、服务器和计算机可读存储介质


[0001]本专利技术涉及深度学习领域，具体而言，涉及一种模型集成方法、装置、服务器和计算机可读存储介质。

技术介绍

[0002]在深度学习领域，将一批经过标注处理的素材进行训练后，能够得到一个基于深度学习的算法模型。通过该算法模型可以在一些需要人工智能分析的场景进行不同目标的检测或分类，然而单独通过训练出来的算法模型无法实际落地应用，一般的处理方式是先将算法模型量化，然后再开发一个能够加载模型、标准化输入输出接口的SDK(Software Development Kit，软件开发工具包)进行封装，进而提供给上层应用调用。
[0003]目前，一个SDK包只包含一种模型，然后部署在一张推理卡上，该推理卡所支持的视频流均只能分析基于该种模型的场景，不能再加载其他类型的模型，如果需要加载其他类型的模型，则需要另外的一张推理卡，进而造成硬件资源的浪费。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种模型集成方法、装置、服务器和计算机可读存储介质，其能够根据视频流分析任务灵活地选择需要集成的一个或多个模型，并减少硬件资源的消耗。
[0005]为了实现上述目的，本专利技术实施例采用的技术方案如下：
[0006]第一方面，本专利技术提供一种模型集成方法，应用于服务器，所述服务器预先存储有模型文件及模型文件配置表，所述模型文件包括多个模型，所述模型文件配置表用于记录每个所述模型在所述模型文件中的位置；所述方法包括：
[0007]获取视频流分析任务对应的任务参数；所述任务参数用于指定待集成的目标模型；
[0008]根据所述任务参数和所述模型文件配置表，从所述模型文件中读取出所述目标模型；
[0009]将所述目标模型加载到推理卡上，并生成所述目标模型对应的算子引擎；
[0010]根据所述任务参数和所述算子引擎生成引擎管道，以通过所述引擎管道对输入的视频流数据进行处理。
[0011]在可选的实施方式中，所述模型文件配置表包括模型标识与模型位置的对应关系，所述任务参数包括所述目标模型的模型标识，所述根据所述任务参数和所述模型文件配置表，从所述模型文件中读取出所述目标模型，包括：
[0012]在所述对应关系中查找与所述目标模型的模型标识对应的模型位置；
[0013]根据所述模型位置从所述模型文件中读取出所述目标模型。
[0014]在可选的实施方式中，所述任务参数包括所述目标模型的模型标识，所述根据所述任务参数和所述算子引擎生成引擎管道，包括：
[0015]按照所述任务参数中的各个模型标识对应的先后顺序，对所述算子引擎进行关联，得到引擎管道；其中，所述引擎管道中的前项算子引擎注册当前算子引擎的输入接口，当前算子引擎注册后项算子引擎的输入接口。
[0016]在可选的实施方式中，所述服务器中还预先设置有算子引擎仓库，所述算子引擎仓库用于存放生成的算子引擎；在获取视频流分析任务对应的任务参数之后，所述方法还包括：
[0017]若所述算子引擎仓库中存在所述目标模型对应的算子引擎，则从所述算子引擎仓库中获取所述目标模型对应的算子引擎以便生成引擎管道；
[0018]若所述算子引擎仓库中不存在所述目标模型对应的算子引擎，则在生成所述目标模型对应的算子引擎后，将生成的所述算子引擎存入所述算子引擎仓库。
[0019]在可选的实施方式中，所述方法还包括：
[0020]将获取的视频流数据送入对应的引擎管道，利用所述引擎管道中的算子引擎对获取的视频流数据进行处理；
[0021]在获得所述引擎管道的最后一个算子引擎输出的处理结果后，将所述处理结果回调至应用程序。
[0022]在可选的实施方式中，所述算子引擎维护有算子路由表，所述算子路由表包括路由索引，所述路由索引包括数据标识、目标算子引擎、下一跳算子引擎以及数据优先级，所述算子引擎根据自身维护的算子路由表确定接收到的视频流数据对应的优先级、目标算子引擎以及下一跳算子引擎；所述方法还包括：
[0023]在有新的视频流分析任务创建，或者已创建的视频流分析任务被删除的情况下，对所述算子引擎维护的算子路由表进行更新。
[0024]在可选的实施方式中，所述算子引擎包括输入接口、分析接口和输出接口，所述输入接口用于维护多种优先级的输入队列，并将接收到的数据按照优先级存放至对应的输入队列；所述分析接口用于对所述输入队列中的数据进行分析；所述输出接口用于维护多种优先级的输出队列，并将接收到的数据按照优先级存放至对应的输出队列。
[0025]第二方面，本专利技术提供一种模型集成装置，应用于服务器，所述服务器预先存储有模型文件及模型文件配置表，所述模型文件包括多个模型，所述模型文件配置表用于记录每个所述模型在所述模型文件中的位置；所述装置包括：
[0026]参数获取模块，用于获取视频流分析任务对应的任务参数；所述任务参数用于指定待集成的目标模型；
[0027]模型获取模块，用于根据所述任务参数和所述模型文件配置表，从所述模型文件中读取出所述目标模型；
[0028]模型加载模块，用于将所述目标模型加载到推理卡上，并生成所述目标模型对应的算子引擎；
[0029]引擎管道生成模块，用于根据所述任务参数和所述算子引擎生成引擎管道，以通过所述引擎管道对输入的视频流数据进行处理。
[0030]第三方面，本专利技术提供一种服务器，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现前述实施方式任一项所述的方法。
[0031]第四方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，所述计
算机程序被处理器执行时实现前述实施方式任一项所述的方法。
[0032]本专利技术实施例提供的模型集成方法、装置、服务器和计算机可读存储介质，服务器预先存储有模型文件及模型文件配置表，模型文件包括多个模型，模型文件配置表用于记录每个模型在模型文件中的位置，通过获取视频流分析任务对应的任务参数，该任务参数用于指定待集成的目标模型，根据任务参数和模型文件配置表，从模型文件中读取出目标模型，将目标模型加载到推理卡上，并生成目标模型对应的算子引擎，根据任务参数和算子引擎生成引擎管道，以通过引擎管道对输入的视频流数据进行处理。如此，可以根据视频流分析任务灵活地选择需要集成的一个或多个模型，实现在一张推理卡上，不同视频流分析任务对应加载不同的模型或者一个视频流分析任务同时加载多个模型，最终生成引擎管道对视频流数据进行处理，达到分析数据更丰富，更加灵活、充分使用推理卡的推理能力的效果，还能减少硬件资源的消耗。
[0033]为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
[0034]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型集成方法，其特征在于，应用于服务器，所述服务器预先存储有模型文件及模型文件配置表，所述模型文件包括多个模型，所述模型文件配置表用于记录每个所述模型在所述模型文件中的位置；所述方法包括：获取视频流分析任务对应的任务参数；所述任务参数用于指定待集成的目标模型；根据所述任务参数和所述模型文件配置表，从所述模型文件中读取出所述目标模型；将所述目标模型加载到推理卡上，并生成所述目标模型对应的算子引擎；根据所述任务参数和所述算子引擎生成引擎管道，以通过所述引擎管道对输入的视频流数据进行处理。2.根据权利要求1所述的方法，其特征在于，所述模型文件配置表包括模型标识与模型位置的对应关系，所述任务参数包括所述目标模型的模型标识，所述根据所述任务参数和所述模型文件配置表，从所述模型文件中读取出所述目标模型，包括：在所述对应关系中查找与所述目标模型的模型标识对应的模型位置；根据所述模型位置从所述模型文件中读取出所述目标模型。3.根据权利要求1所述的方法，其特征在于，所述任务参数包括所述目标模型的模型标识，所述根据所述任务参数和所述算子引擎生成引擎管道，包括：按照所述任务参数中的各个模型标识对应的先后顺序，对所述算子引擎进行关联，得到引擎管道；其中，所述引擎管道中的前项算子引擎注册当前算子引擎的输入接口，当前算子引擎注册后项算子引擎的输入接口。4.根据权利要求1所述的方法，其特征在于，所述服务器中还预先设置有算子引擎仓库，所述算子引擎仓库用于存放生成的算子引擎；在获取视频流分析任务对应的任务参数之后，所述方法还包括：若所述算子引擎仓库中存在所述目标模型对应的算子引擎，则从所述算子引擎仓库中获取所述目标模型对应的算子引擎以便生成引擎管道；若所述算子引擎仓库中不存在所述目标模型对应的算子引擎，则在生成所述目标模型对应的算子引擎后，将生成的所述算子引擎存入所述算子引擎仓库。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：将获取的视频流数据送入对应的引擎管道，利用所述引擎管道中的算子引擎对获取的视频流数据进行处理；在获得所述引擎...

【专利技术属性】
技术研发人员：杨杭，
申请(专利权)人：重庆紫光华山智安科技有限公司，
类型：发明
国别省市：