【技术实现步骤摘要】
本专利技术涉及一种模型引擎，属于计算机技术遥感卫星算法领域。
技术介绍
1、在遥感应用的开发过程中，信息提取和影像处理的领域中需要大量的人工智能算法支持，而传统的人工智能本地研发训练和应用模式存在历史的合理性，同时又无法完美适应新时期对于算力的大规模需求以及对于算法成果灵活部署应用的需求。
2、现有的遥感应用信息提取仍然延用传统的模式，并在本地或单机环境运行，即研发人员引用一个人工智能模型，提供一系列训练样本在本地进行多次训练，在训练过程中不断调整训练参数，最终得到一个算法模型文件用于大规模的后续影像处理过程。
3、在上述训练过程中，受限于本地训练硬件资源弹性的限制，一方面当本地资源不足的情况下，进行反复的人工智能训练和调优将浪费大量的训练时间等待调优结果；另一方面，为提高计算效率一味扩大本地资源投入。
4、在训练结束后，算法模型及运行成果、调优参数都保留在本地及单机环境上。
5、因此，现有技术存在以下问题：
6、a)因模型算法在本地或单机上运行，没办法实现算法模型共享。
7、b)因本地资源不断扩大，当算法不运行时，会造成硬件资源的极大浪费。
8、c)因算法模型运行在本地或单机环境中，无法将运算成果快捷高效率的应用在实际的应用的场景中。
9、d)之前开发的算法模型都在个人手里，管理不统一、且对外提供服务不够规范。
10、e)因存在服务规范不统一、管理不统一问题，同时也导致模型算法复用率低；
11、f)多个模型算
技术实现思路
1、本专利技术解决的技术问题是：克服现有技术的不足，提供一种模型引擎，提高算法模型在不同场景及生产线的复用率，同时提供可视化管理和配置，提高整个流程易用性，降低复杂性。
2、本专利技术的技术方案是：一种模型引擎，包括：配置管理单元、镜像仓库管理单元、模型仓库管理单元、模型发布单元、运行和应用监控单元；
3、配置管理单元完成包括镜像、算法模型、集群信息在内的公共参数配置，以及完成属性字典和标签配置，以实现模型引擎内所有配置统一管理；
4、镜像仓库管理单元通过引入配置管理单元的默认配置，完成外部镜像资源管理、导入和推送，最终将镜像以运行实体的形式挂载到镜像仓库；
5、模型仓库管理单元完成模型管理和配置、算法模型部署以及算法模型被调用后的管理；其中模型管理和配置时引入配置管理的默认参数，以及关联镜像配置；
6、模型发布单元完成算法模型的发布；
7、运行和应用监控单元完成算法模型在运行过程中的资源监控、服务负载和启停监控、服务调用监控。
8、所述镜像配置，一方面配置包括基本的资源配置，镜像命令、挂载配置，镜像所需环境变量配置，镜像部署空间和端口映射配置；另一方面配置记录了信息被哪个镜像文件所使用；将上述两方面配置信息作为一个完整配置实例保存在存储单元中；当算法模型选择了镜像，则选择了运行模型时要使用的镜像文件，即模型运行环境以及匹配的一套默认配置，不需要进行更多配置则能够直接将模型实例化。
9、所述模型配置，包括模型关联的元数据信息配置，具体包括关联的样本集、行业属性字典、区域属性字典、技术分类、模型处理的样本标签信息，以及模型训练过程中和训练结果参数；还包括运行模型算法需要的配置，具体包括不属于原始算法但需要支持算法模型代码运行的自研函数库的挂载，并对算法模型运行依赖的镜像资源进行二次配置，并在算法模型启动时与镜像配置整合后发送给运行和应用监控单元；通过配置符合规范的api及接口参数对外提供服务，以此统一第三方应用的调用。
10、所述集群信息配置包括：模型引擎运行在第三方云平台的集群中，每个算法模型实例都以一个集群中的服务来部署和运行；为了实现上述部署和运行，配置集群信息，包括集群地址、集群可以使用的端口范围、连接集群的一些认证配置文件的路径，以及便运行和应用监控单元随时扫描集群的剩余资源，包括cpu资源、内存资源、gpu资源、及可运行的容器数量，以此来控制和管理算法模型是否启动、关闭。
11、所述字典和标签配置，完成模型引擎内所有单元所需固定属性及标签的配置及服务需求；其中，字典被引擎初始化后，不可变更；标签可根据具体业务情况进行配置。
12、所述镜像仓库管理单元通过引入配置管理单元的默认配置，完成外部镜像资源管理、导入和推送，最终将镜像以运行实体的形式挂载到镜像仓库，包括：
13、所述镜像资源管理包括新建或编辑、删除、检索、详情查看功能的镜像管理；
14、其中，在新建或编辑镜像管理时，首选由配置管理单元提供的默认配置，包推送地址、认证信息，也可二次修改并做实例化记录；在导入镜像资源时，文件服务将大于10gb的镜像文件分割为小块儿以断点续传的方式把镜像文件上传到服务端；当保存新建的镜像文件及配置时，系统会自动将镜像文件解压，在集群中完成镜像装载，并根据最新配置完成向镜像仓库推送镜像功能；在算法模型管理阶段，当算法模型选择了镜像并准备完成实例化部署的时候，算法模型通过镜像配置的镜像地址在镜像仓库中找到推送完成的镜像，以此实现镜像、算法模型容器化部署；
15、在删除镜像管理时，先确认镜像资源是否被算法模型引用，如果被引用，需要先解引用，再删除；如果没被引用，可直接删除；删除的过程要先删除镜像仓库中的进行，再删除文件服务器上的镜像文件。
16、所述模型仓库管理单元中的模型管理和配置，包括：负责模型基本功能，即模型创建、检索、删除、详情查看；在模型创建或编辑过程需关联镜像、选择模型类型、选择样本集，并导入算法代码tar包，其中用户可直接导入配置管理单元相关算法模型的镜像默认配置及算法类型关联的默认配置，也可进行二次修改；同时，将本地代码tar包整体上传到模型管理平台，系统会将代码包按照默认配置解压到特定位置供模型运行时使用，当上传的代码tar重名时，则将原有代码包覆盖，算法的tar代码包上传的过程同样支持断点续传功能。
17、所述模型仓库管理单元中的算法模型部署，包括：首先，配置其部署运行信息所需的具体参数如cpu、内存和显卡资源限制，同时指定模型启动后默认执行的命令；其次，还需要配置模型发布过程中算法提供的服务接口、参数，规定模型启动后外部可以访问到的接口名称以及接口调用参数的详细配置；算法模型运行时由算法模型管理单元调用运行与应用监控单元，由其根据模型部署配置自动将代码挂载到模型实例化后的负载上，同时，将选择的镜像和样本集就位；整合上述配置、代码挂在、并与镜像资源、样本集的过程就是模型部署过程。
18、所述模型仓库管理单元中的算法模型被调用管理，包括：算法模型提供一个启动接口，当模型启动接口被调用后会自动创建一个任务对象，用来管理模型服务和调用的第三方服务进行交互情况；在启动过程中，会异步调用模型部署接口，将算法模型部署在硬件虚拟化集群环境中；一旦部署成功，本文档来自技高网...
【技术保护点】
1.一种模型引擎，其特征在于，包括：配置管理单元、镜像仓库管理单元、模型仓库管理单元、模型发布单元、运行和应用监控单元；
2.根据权利要求1所述的一种模型引擎，其特征在于，所述镜像配置，一方面配置包括基本的资源配置，镜像命令、挂载配置，镜像所需环境变量配置，镜像部署空间和端口映射配置；另一方面配置记录了信息被哪个镜像文件所使用；将上述两方面配置信息作为一个完整配置实例保存在存储单元中；当算法模型选择了镜像，则选择了运行模型时要使用的镜像文件，即模型运行环境以及匹配的一套默认配置，不需要进行更多配置则能够直接将模型实例化。
3.根据权利要求1所述的一种模型引擎，其特征在于，所述模型配置，包括模型关联的元数据信息配置，具体包括关联的样本集、行业属性字典、区域属性字典、技术分类、模型处理的样本标签信息，以及模型训练过程中和训练结果参数；还包括运行模型算法需要的配置，具体包括不属于原始算法但需要支持算法模型代码运行的自研函数库的挂载，并对算法模型运行依赖的镜像资源进行二次配置，并在算法模型启动时与镜像配置整合后发送给运行和应用监控单元；通过配置符合规范的API及接
4.根据权利要求1所述的一种模型引擎，其特征在于，所述集群信息配置包括：模型引擎运行在第三方云平台的集群中，每个算法模型实例都以一个集群中的服务来部署和运行；为了实现上述部署和运行，配置集群信息，包括集群地址、集群可以使用的端口范围、连接集群的一些认证配置文件的路径，以及便运行和应用监控单元随时扫描集群的剩余资源，包括CPU资源、内存资源、GPU资源、及可运行的容器数量，以此控制和管理算法模型是否启动、关闭。
5.根据权利要求1所述的一种模型引擎，其特征在于，所述字典和标签配置，完成模型引擎内所有单元所需固定属性及标签的配置及服务需求；其中，字典被引擎初始化后，不可变更；标签可根据具体业务情况进行配置。
6.根据权利要求1所述的一种模型引擎，其特征在于，所述镜像仓库管理单元通过引入配置管理单元的默认配置，完成外部镜像资源管理、导入和推送，最终将镜像以运行实体的形式挂载到镜像仓库，包括：
7.根据权利要求1所述的一种模型引擎，其特征在于，所述模型仓库管理单元中的模型管理和配置，包括：负责模型基本功能，即模型创建、检索、删除、详情查看；在模型创建或编辑过程需关联镜像、选择模型类型、选择样本集，并导入算法代码tar包，其中用户可直接导入配置管理单元相关算法模型的镜像默认配置及算法类型关联的默认配置，也可进行二次修改；同时，将本地代码tar包整体上传到模型管理平台，系统会将代码包按照默认配置解压到特定位置供模型运行时使用，当上传的代码tar重名时，则将原有代码包覆盖，算法的tar代码包上传的过程同样支持断点续传功能。
8.根据权利要求1所述的一种模型引擎，其特征在于，所述模型仓库管理单元中的算法模型部署，包括：首先，配置其部署运行信息所需的具体参数如cpu、内存和显卡资源限制，同时指定模型启动后默认执行的命令；其次，还需要配置模型发布过程中算法提供的服务接口、参数，规定模型启动后外部可以访问到的接口名称以及接口调用参数的详细配置；算法模型运行时由算法模型管理单元调用运行与应用监控单元，由其根据模型部署配置自动将代码挂载到模型实例化后的负载上，同时，将选择的镜像和样本集就位；整合上述配置、代码挂在、并与镜像资源、样本集的过程就是模型部署过程。
9.根据权利要求1所述的一种模型引擎，其特征在于，所述模型仓库管理单元中的算法模型被调用管理，包括：算法模型提供一个启动接口，当模型启动接口被调用后会自动创建一个任务对象，用来管理模型服务和调用的第三方服务进行交互情况；在启动过程中，会异步调用模型部署接口，将算法模型部署在硬件虚拟化集群环境中；一旦部署成功，模型服务成功启动后，则将第三方系统请求及参数转发给算法模型内的服务；在模型部署过程中可能会发生错误，针对异常处理会采用终止流程，并删除已经创建的运行时对象；当模型调用结束后，会自动关闭模型服务；此外，无论模型启动、部署、运行、关闭是否正常，都会通过回调函数，给算法模型单元反馈运行状态，并记录运行情况。
10.根据权利要求1所述的一种模型引擎，其特征在于，所述模型发布单元包括算法模型发布，在模型发布后，外部应用便可看到并使用此算法模型；模型发布阶段会再次确认模型对外提供的服务及所需参数；此外，模型发布阶段给每一个模型服务定义了一个规范化接口，在基于HTTP协议的接口基础上，对模型的传递参数进行了详细规定，其中包括每一个参数的名称、类型、用途、默认值和校验信息；当算法模型被正确调用时，算...
【技术特征摘要】
1.一种模型引擎，其特征在于，包括：配置管理单元、镜像仓库管理单元、模型仓库管理单元、模型发布单元、运行和应用监控单元；
2.根据权利要求1所述的一种模型引擎，其特征在于，所述镜像配置，一方面配置包括基本的资源配置，镜像命令、挂载配置，镜像所需环境变量配置，镜像部署空间和端口映射配置；另一方面配置记录了信息被哪个镜像文件所使用；将上述两方面配置信息作为一个完整配置实例保存在存储单元中；当算法模型选择了镜像，则选择了运行模型时要使用的镜像文件，即模型运行环境以及匹配的一套默认配置，不需要进行更多配置则能够直接将模型实例化。
3.根据权利要求1所述的一种模型引擎，其特征在于，所述模型配置，包括模型关联的元数据信息配置，具体包括关联的样本集、行业属性字典、区域属性字典、技术分类、模型处理的样本标签信息，以及模型训练过程中和训练结果参数；还包括运行模型算法需要的配置，具体包括不属于原始算法但需要支持算法模型代码运行的自研函数库的挂载，并对算法模型运行依赖的镜像资源进行二次配置，并在算法模型启动时与镜像配置整合后发送给运行和应用监控单元；通过配置符合规范的api及接口参数对外提供服务，以此统一第三方应用的调用。
4.根据权利要求1所述的一种模型引擎，其特征在于，所述集群信息配置包括：模型引擎运行在第三方云平台的集群中，每个算法模型实例都以一个集群中的服务来部署和运行；为了实现上述部署和运行，配置集群信息，包括集群地址、集群可以使用的端口范围、连接集群的一些认证配置文件的路径，以及便运行和应用监控单元随时扫描集群的剩余资源，包括cpu资源、内存资源、gpu资源、及可运行的容器数量，以此控制和管理算法模型是否启动、关闭。
5.根据权利要求1所述的一种模型引擎，其特征在于，所述字典和标签配置，完成模型引擎内所有单元所需固定属性及标签的配置及服务需求；其中，字典被引擎初始化后，不可变更；标签可根据具体业务情况进行配置。
6.根据权利要求1所述的一种模型引擎，其特征在于，所述镜像仓库管理单元通过引入配置管理单元的默认配置，完成外部镜像资源管理、导入和推送，最终将镜像以运行实体的形式挂载到镜像仓库，包括：
7.根据权利要求1所述的一种模型引擎，其特征在于，所述模型仓库管理单元中的模型管理和配置，包括：负责模型基本功能，即模型创建、检索、删除、详情查看；在模型创建或编辑过程需关联镜像、选择模型类型、选择样本集，并导入算法代码tar包，其中用户可直接导入配置管理单元...
【专利技术属性】
技术研发人员：袁桂敏，路禹，董洋，张贞，刘怀英，乔志远，
申请(专利权)人：中国四维测绘技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。