【技术实现步骤摘要】
本专利技术涉及人工智能，具体公开一种异步ai推理方法、装置、设备、介质及产品。
技术介绍
1、推理平台是指一个支持模型推理任务运行的软硬件系统或架构。它通常包括计算资源、网络接口、存储、模型管理工具以及api等，用于部署和运行机器学习模型，并对外提供预测服务。
2、传统的推理平台使用的是同步的web框架，推理平台中的各个任务采用同步方式进行推理，且一次只能执行一个任务，当某个任务完成后才能执行下一个任务，当推理任务完成后，才能进行其它任务。也就是说，只有当推理任务完成后，才能将推理信息发送给用户，若推理内容过多，推理时长较长，用户需要等待较长时间才能获取到推理的相关内容，导致推理平台的响应速度较慢。
技术实现思路
1、有鉴于此，本申请提供了一种异步ai推理方法、装置、设备、介质及产品，提高了ai推理平台的响应速度，该技术方案如下。
2、第一方面，提供了一种异步ai推理方法，所述方法包括：
3、获取目标数据；所述目标数据为用户通过客户端上传至所述ai推理平台的；
4、当接收到用户的触发操作时，在不同线程中建立针对目标数据的目标推理任务以及推理信息发送任务；所述推理信息发送任务用于获取并发送所述目标推理任务的推理日志；
5、在所述不同线程分别运行所述目标推理任务以及推理信息发送任务，并在所述客户端对应的显示界面上显示所述目标推理任务的推理日志。
6、在一种可能的实现方式中，所述推理信息发送任务包括推理开始日志发送任
7、所述当接收到用户的触发操作时，在不同线程中建立针对目标数据的目标推理任务以及推理信息发送任务，包括：
8、在第一线程中建立目标推理任务、在第二线程中建立推理开始日志发送任务并在第三线程中建立推理结束日志发送任务。
9、在一种可能的实现方式中，所述在所述不同线程分别运行所述目标推理任务以及推理信息发送任务，并在所述客户端对应的显示界面上显示所述目标推理任务的推理日志，包括：
10、运行所述目标推理任务，以对所述目标数据进行识别，生成所述推理日志；
11、运行所述推理开始日志发送任务，获取所述目标推理任务的推理开始日志；
12、运行所述推理结束日志发送任务，获取所述目标推理任务的推理结束日志；
13、将所述推理开始日志以及所述推理结束日志发送至所述客户端，以在所述客户端对应的显示界面上显示所述目标推理任务的推理日志。
14、在一种可能的实现方式中，所述当接收到用户的触发操作时，在不同线程中建立针对目标数据的目标推理任务以及推理信息发送任务，包括：
15、当接收到所述用户的触发操作时，建立异步事件循环；
16、在所述异步事件循环中，将所述目标推理任务以及推理信息发送任务设置在不同的线程中，以使所述目标推理任务以及推理信息发送任务异步执行。
17、在一种可能的实现方式中，所述不同线程之间共享所述目标推理任务的推理日志数据。
18、在一种可能的实现方式中，所述客户端与所述ai推理平台之间通过websocket通信。
19、第二方面，提供了一种异步ai推理装置，所述装置设置于ai推理平台，所述装置包括：
20、数据获取模块，用于获取目标数据；所述目标数据为用户通过客户端上传至所述ai推理平台的；
21、任务建立模块，用于当接收到用户的触发操作时，在不同线程中建立针对目标数据的目标推理任务以及推理信息发送任务；所述推理信息发送任务用于获取并发送所述目标推理任务的推理日志；
22、日志生成模块，用于在所述不同线程分别运行所述目标推理任务以及推理信息发送任务，并在所述客户端对应的显示界面上显示所述目标推理任务的推理日志。
23、第三方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述的异步ai推理方法。
24、第四方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述的异步ai推理方法。
25、第五方面，提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质中读取所述计算机指令，处理器执行所述计算机指令，使得所述计算机设备执行上述的异步ai推理方法。
26、本申请提供的技术方案可以包括以下有益效果：
27、当用户通过客户端将目标数据上传至ai推理平台进行推理时，ai推理平台会在不同的线程中建立针对目标数据的目标推理任务以及推理信息发送任务，从而使得在不同线程上分别运行目标推理任务以及推理信息发送任务，从而将目标推理任务的推理日志推送到客户端对应的显示界面上进行显示。上述方案中采用异步的方法执行推理任务，从而使得该平台在推理任务执行的同时，也不会影响推理日志推送任务的执行，可以实时查看推理的结果数据，从而提高了推理的响应速度。
本文档来自技高网...【技术保护点】
1.一种异步AI推理方法，其特征在于，所述方法应用于AI推理平台，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述推理信息发送任务包括推理开始日志发送任务以及推理结束日志发送任务；
3.根据权利要求2所述的方法，其特征在于，所述在所述不同线程分别运行所述目标推理任务以及推理信息发送任务，并在所述客户端对应的显示界面上显示所述目标推理任务的推理日志，包括：
4.根据权利要求1所述的方法，其特征在于，所述当接收到用户的触发操作时，在不同线程中建立针对目标数据的目标推理任务以及推理信息发送任务，包括：
5.根据权利要求4所述的方法，其特征在于，所述不同线程之间共享所述目标推理任务的推理日志数据。
6.根据权利要求5所述的方法，其特征在于，所述客户端与所述AI推理平台之间通过WebSocket通信。
7.一种异步AI推理装置，其特征在于，所述装置设置于AI推理平台，所述装置包括：
8.一种计算机设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至7中任一项异步AI推理方法。
10.一种计算机程序产品，其特征在于，所述包括计算机指令，所述计算机指令用于使计算机执行权利要求1至7任一项所述的异步AI推理方法。
...【技术特征摘要】
1.一种异步ai推理方法，其特征在于，所述方法应用于ai推理平台，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述推理信息发送任务包括推理开始日志发送任务以及推理结束日志发送任务；
3.根据权利要求2所述的方法，其特征在于，所述在所述不同线程分别运行所述目标推理任务以及推理信息发送任务，并在所述客户端对应的显示界面上显示所述目标推理任务的推理日志，包括：
4.根据权利要求1所述的方法，其特征在于，所述当接收到用户的触发操作时，在不同线程中建立针对目标数据的目标推理任务以及推理信息发送任务，包括：
5.根据权利要求4所述的方法，其特征在于，所述不同线程之间共享所述目标推理任务的推理日志数据。
6.根据权利要求5所述的方法，其...
【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，
申请(专利权)人：深存科技无锡有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。