一种基于深度学习构建多任务计算机视觉应用服务的方法技术

本发明专利技术公开了一种基于深度学习构建多任务计算机视觉应用服务的方法，属于人工智能技术领域。本发明专利技术的基于深度学习构建多任务计算机视觉应用服务的方法包括以下步骤：S1、定义应用服务的数据输入数据源格式；S2、定义GPU资源调度规则，实现按需自动分配GPU资源；S3、定义服务内部总线；S4、定义模型编排流水线；S5、应用服务的容器化部署和运维。该发明专利技术的基于深度学习构建多任务计算机视觉应用服务的方法能够降低深度学习的实现难度，提升开发效率，同时减少开发成本，具有很好的推广应用价值。

【技术实现步骤摘要】
一种基于深度学习构建多任务计算机视觉应用服务的方法
本专利技术涉及人工智能
，具体提供一种基于深度学习构建多任务计算机视觉应用服务的方法。
技术介绍
当前，人工智能发展借助深度学习技术突破得到了全面关注和助力推动，各国政府高度重视，各界对其成为发展热点也达成了共识。深度学习是本轮人工智能爆发的关键技术。人工智能技术在计算机视觉和自然语言处理等领域取得的突破性进展，使得人工智能迎来新一轮爆发式发展。而深度学习是实现这些突破性进展的关键技术。深度学习技术仍不完美，应用门槛高，算法建模及调参过程复杂繁琐、算法设计周期长、系统实施维护困难，服务较难部署等问题。即使对于经验丰富的深度学习从业人员，开始深度学习也可能十分耗时和麻烦。
技术实现思路
本专利技术的技术任务是针对上述存在的问题，提供一种能够降低深度学习的实现难度，提升开发效率，同时减少开发成本的基于深度学习构建多任务计算机视觉应用服务的方法。为实现上述目的，本专利技术提供了如下技术方案：一种基于深度学习构建多任务计算机视觉应用服务的方法，包括以下步骤：S1、定义应用服务的数据输入数据源格式；S2、定义GPU资源调度规则，实现按需自动分配GPU资源；S3、定义服务内部总线；S4、定义模型编排流水线；S5、应用服务的容器化部署和运维。所述GPU即GraphicsProcessingUnit，图形处理器。作为优选，步骤S1中，将单个图片作为数据输入源，以HTTP+Restful为请求方式同步请求推理结果。作为优选，步骤S1中，以图片流作为数据输入源，以人物方式下发请求，将推理结果以推理流方式输出，使用Kafka作为流传输介质。作为优选，步骤S1中，以实时视频流作为数据输入源，以任务方式下发请求，将推理结果以推理流方式输出，使用Kafka作为流传输介质。可将单个图片、视频文件作为数据源以Http+Restful方式同步请求推理结果，也可支持实时图片流和实时视频流作为数据源以任务方式下发异步请求推理结果，并将推理结果以Kafka方式推出。作为优选，步骤S2中，支持自定义调度规则，提供多种API接口。可将容器作为封装的、独立部署的组件，利用操作系统级别的虚拟化，以隔离的实例运行在相同的内核之上，能够非常快速的启动所输出的应用实例；本方法也可通过RestfulAPI接口输出模型应用结果。在深度学习负载下，GPU资源合理分配是非常重要的，该方法提供了针对GPU优化的调度算法规则库，用户可根据模型实际情况选择器调度规则，并且也可以自定义GPU调度规则，可为推理服务作业的运行保驾护航。作为优选，步骤S3中，内部总线服务基于微服务框架，支持云原生，在内部总线服务传递业务数据、模型数据、控制数据和告警数据，且内部总线服务提供订阅、广播、点对点及点对多的传输方式。作为优选，步骤S4中，用户可创建多个插件，并按顺序将其串连起来，构成一个完整的流水线，编排多个模型到一个流水线，一个流水线对应一个模型为主检测模型。作为优选，多个插件组成一个容器，容器管理多个插件，改变容器状态，则容器自动修改所包含的插件的状态。可提供丰富的插件服务，用户可创建多个插件，并按顺序将其串连起来，构成一个完整的流水线，自动实例化后即可输出深度学习模型的应用结果。作为优选，步骤S5中，支持容器化部署，提供硬件、服务、作业的多级监控，提供AI任务在线调试、错误报警、日志管理和性能检测。该基于深度学习构建多任务计算机视觉应用服务的方法通过创新的运行环境支持，对于多种深度学习框架如CNTK、TensorFlow、PyTorch等无需修改即可运行；并且其基于Docker的架构则让用户可以方便地扩展更多AI与大数据框架。支持多种数据源作为深度学习应用服务的数据输入，可自动兼容数据格式；可扩展支撑更多AI和大数据框架，对于多种深度学习框架如CNTK、TensorFlow、PyTorch等无需修改即可运行；支持自定义模型编排流水线，通过选择相应的功能插件自定义模型编排流程来实现其多模型多任务的编排应用；并且支持多种方式输出应用结果，方便了用户的对接和扩展；该方法通过对GPU资源统筹调度增加了GPU的利用率，提高了推理效率，减少了推理成本；并且该方法提供丰富的运营、监控、调试功能，降低了运维复杂度。与现有技术相比，本专利技术的基于深度学习构建多任务计算机视觉应用服务的方法具有以下突出的有益效果：所述基于深度学习构建多任务计算机视觉应用服务的方法快速构建深度学习模型的应用实例，降低深度学习的实现难度，提升开发效率；采用微服务框架，这样的设计让部署更加简单，无论是在Ubuntu裸机集群还是在云服务器上，仅需运行几个脚本即可完成部署；提供了GPU资源的统筹调度，优化了硬件资源的使用效率，减少的开发成本；提供了AI任务在线调试、错误报警、日志管理、性能检测等功能，显著降低了AI平台的日常运维难度；提供了友好的用户界面，操作简单，便于用户进行集群监控、任务提交等，具有良好的推广应用价值。具体实施方式下面将结合实施例，对本专利技术的基于深度学习构建多任务计算机视觉应用服务的方法作进一步详细说明。实施例本专利技术的基于深度学习构建多任务计算机视觉应用服务的方法包括以下步骤：S1、定义应用服务的数据输入数据源格式。该方法能够支持多种数据源作为深度学习应用服务的数据输入，包括单个图片、图片流、视频文件、实时视频等数据，并且可自动兼容图片格式和视频流格式数据。可将单个图片、视频文件作为数据源以Http+Restful方式同步请求推理结果，也可支持实时图片流和实时视频流作为数据源以任务方式下发异步请求推理结果，并将推理结果以Kafka方式推出。将单个图片作为数据输入源，以HTTP+Restful为请求方式同步请求推理结果。以图片流作为数据输入源，以人物方式下发请求，将推理结果以推理流方式输出，使用Kafka作为流传输介质。以实时视频流作为数据输入源，以任务方式下发请求，将推理结果以推理流方式输出，使用Kafka作为流传输介质。S2、定义GPU资源调度规则，实现按需自动分配GPU资源。支持自定义调度规则，提供多种API接口。可将容器作为封装的、独立部署的组件，利用操作系统级别的虚拟化，以隔离的实例运行在相同的内核之上，能够非常快速的启动所输出的应用实例；本方法也可通过RestfulAPI接口输出模型应用结果。在深度学习负载下，GPU资源合理分配是非常重要的，该方法提供了针对GPU优化的调度算法规则库，用户可根据模型实际情况选择器调度规则，并且也可以自定义GPU调度规则，可为推理服务作业的运行保驾护航。S3、定义服务内部总线。内部总线服务基于微服务框架，支持云原生，在内部总线服务传递业务数据、模型数据、控制数据和告警数据，且内部总线服务提供订阅、广播、点对点及点对多的传输方式。S4、定义模型编排流水线。用户可创建多个插件本文档来自技高网...

【技术保护点】
1.一种基于深度学习构建多任务计算机视觉应用服务的方法，其特征在于：包括以下步骤：/nS1、定义应用服务的数据输入数据源格式；/nS2、定义GPU资源调度规则，实现按需自动分配GPU资源；/nS3、定义服务内部总线；/nS4、定义模型编排流水线；/nS5、应用服务的容器化部署和运维。/n

【技术特征摘要】
1.一种基于深度学习构建多任务计算机视觉应用服务的方法，其特征在于：包括以下步骤：
S1、定义应用服务的数据输入数据源格式；
S2、定义GPU资源调度规则，实现按需自动分配GPU资源；
S3、定义服务内部总线；
S4、定义模型编排流水线；
S5、应用服务的容器化部署和运维。


2.根据权利要求1所述的基于深度学习构建多任务计算机视觉应用服务的方法，其特征在于：步骤S1中，将单个图片作为数据输入源，以HTTP+Restful为请求方式同步请求推理结果。


3.根据权利要求2所述的基于深度学习构建多任务计算机视觉应用服务的方法，其特征在于：步骤S1中，以图片流作为数据输入源，以人物方式下发请求，将推理结果以推理流方式输出，使用Kafka作为流传输介质。


4.根据权利要求3所述的基于深度学习构建多任务计算机视觉应用服务的方法，其特征在于：步骤S1中，以实时视频流作为数据输入源，以任务方式下发请求，将推理结果以推理流方式输出，使用Kafka作为流传输介质。


5.根据权利要求4所述的基于深度学习构建多任务计...

【专利技术属性】
技术研发人员：杨镇铭，刘琛，安晓博，尹萍，张新法，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：山东;37