智能汽车操作系统的请求处理方法、装置、设备及介质制造方法及图纸

本申请提供一种智能汽车操作系统的请求处理方法、装置、设备及介质，包括：接收客户端发送的推理请求消息；识别推理请求消息的请求属性信息，将推理请求消息发送至与请求属性信息对应的工作队列；从目标队列中获取执行请求消息，在预置的模型库中识别与执行请求消息对应的目标模型，并将执行请求消息录入目标模型；识别后端推理引擎中与目标队列对应的工作线程，调用工作线程运行目标模型得到推理响应结果，将推理响应结果发送至客户端。本申请中各工作线程可以专门用于运行与其对应的模型组的人工智能模型，实现了通过多个工作线程并行处理多个模型组的推理请求消息的技术效果，提高了后端推理引擎的使用吞吐率。提高了后端推理引擎的使用吞吐率。提高了后端推理引擎的使用吞吐率。

【技术实现步骤摘要】
智能汽车操作系统的请求处理方法、装置、设备及介质


[0001]本申请涉及智能汽车
，尤其涉及一种智能汽车操作系统的请求处理方法、装置、设备及介质。

技术介绍

[0002]随着智能驾驶技术的发展，智能汽车的自动驾驶场景也应运而生，自动驾驶场景是基于图形处理器通过多个人工智能模型生成的推理结论所构建的；其中，人工智能模型是基于机器学习训练出来的计算机函数，该计算机函数用于实现雷达感知、视觉感知、路径规划等指定任务；推理结论是基于多个人工智能模型向图形处理器发送推理请求，使图形处理器调用人工智能模型并根据载入人工智能模型中的采集数据所生成的推理结果。
[0003]然而，专利技术人发现，当前的自动驾驶场景中的多个人工智能模型向图形处理器发送推理请求时，通常是采用串行处理的方式，对多个人工智能模型的推理请求依次进行处理，导致请求处理的使用吞吐率低下的情况发生。

技术实现思路

[0004]本申请提供一种智能汽车操作系统的请求处理方法、装置、设备及介质，用以解决当前的自动驾驶场景中的多个人工智能模型向图形处理器发送推理请求时，通常是采用串行处理的方式，对多个人工智能模型的推理请求依次进行处理，导致请求处理的使用吞吐率低下的问题。
[0005]第一方面，本申请提供一种智能汽车操作系统的请求处理方法，包括：
[0006]接收客户端发送的推理请求消息，其中，所述推理请求消息用于指示运行人工智能模型，所述人工智能模型用于实现智能汽车的自动驾驶；
[0007]识别所述推理请求消息的请求属性信息，将所述推理请求消息发送至与所述请求属性信息对应的工作队列，其中，请求属性信息记载了所述推理请求信息对应的人工智能模型所在的模型组，所述模型组由至少一个人工智能模型构成，所述工作队列用于保存属于与所述工作队列对应的模型组的推理请求消息；
[0008]从目标队列中获取执行请求消息，在预置的模型库中识别与所述执行请求消息对应的目标模型，并将所述执行请求消息录入所述目标模型，其中，所述目标队列是至少一个工作队列中的一个，所述执行请求消息是所述目标队列中的一个推理请求消息，所述模型库中具有至少一个人工智能模型；
[0009]识别后端推理引擎中与所述目标队列对应的工作线程，调用所述工作线程运行所述目标模型得到推理响应结果，将所述推理响应结果发送至所述客户端，其中，所述后端推理引擎是由至少一个图形处理器和/或至少一个深度学习加速器构建的图形处理器引擎，所述工作线程是用于调用图形处理器或深度学习加速器中的流处理器和/或计算单元运行目标模型的序列。
[0010]上述方案中，识别所述推理请求消息的请求属性信息，将所述推理请求消息发送
至与所述请求属性信息对应的工作队列，包括：
[0011]通过预置的请求属性正则表达式提取所述推理请求消息的请求属性信息；
[0012]调用预置的分发器识别与所述请求属性信息对应的模型组，并在所述推理请求消息中标注组信息，其中，所述组信息是模型组的唯一性标识；
[0013]将标注有组信息的推理请求消息发送至预置的调度器中，并调用所述调度器根据所述组信息，将推理请求消息发送至与所述组信息对应的工作队列。
[0014]上述方案中，从目标队列中获取执行请求消息，包括：
[0015]将至少一个工作队列中的一个工作队列设为目标队列；
[0016]若确定所述目标队列为消息队列，则将所述目标队列中位于首位的推理请求消息设为执行请求消息；
[0017]若确定所述目标队列为堆栈，则将所述目标队列中位于末位的推理请求消息设为执行请求消息。
[0018]上述方案中，从目标队列中获取执行请求消息，还包括：
[0019]将至少一个工作队列中的一个工作队列设为目标队列；
[0020]根据优先级信息对所述目标队列中的推理请求消息进行降序排列得到降序队列，将位于所述降序队列首位的推理请求消息设为执行请求消息，其中，优先级信息用于定义推理请求消息的重要程度。
[0021]上述方案中，接收客户端发送的推理请求消息之前，所述方法还包括：
[0022]接收客户端发送的模型属性信息，在预置的分发器中注册所述模型属性信息，其中，所述模型属性信息是人工智能模型的唯一性标识；
[0023]根据所述模型属性信息生成注册反馈信息，并将所述注册反馈信息发送至所述客户端，其中，所述注册反馈信息用于反映所述模型属性信息已在所述分发器中注册；
[0024]接收所述客户端发送的模型创建信息，根据所述模型创建信息在预置的模型库中创建人工智能模型，其中，所述模型创建信息是基于机器学习训练后所生成的用于实现指定任务的计算机函数；
[0025]对所述模型库中的人工智能模型进行划分得到至少一个模型组，并对每一所述模型组分配一个所述后端推理引擎中的工作线程。
[0026]上述方案中，对所述模型库中的人工智能模型进行划分得到至少一个模型组，包括：
[0027]若确定所述模型库中具有至少一个有向无环图，则将属于同一有向无环图中的人工智能模型划分为一个模型组，其中，所述有向无环图反映了模型库中的两个或两个以上的人工智能模型之间的逻辑关系；
[0028]若确定所述模型库中具有不属于所述有向无环图的其他人工智能模型，则根据每一所述其他人工智能模型的模型属性数据对所述其他人工智能模型进行分组，得到至少一个模型组，其中，所述模型属性数据描述了人工智能模型为实现指定任务所消耗的算力；
[0029]若确定所述模型库中不具有有向无环图，则根据每一人工智能模型的模型属性数据对所述智能汽车操作系统中的人工智能模型进行分组，得到至少一个模型组。
[0030]上述方案中，对每一所述模型组分配一个所述后端推理引擎中的工作线程，包括：
[0031]根据模型组中各人工智能模型的性能参数，得到所述模型组的性能信息，其中，所
述性能参数表征人工智能模型为实现指定任务需要执行浮点运算的总量，所述性能信息是模型组中所有性能参数之和；
[0032]计算所述后端推理引擎中的工作线程调用的流处理器和/或计算单元的运算能力，得到所述工作线程的线程算力，其中，所述运算能力是指流处理器和/或计算单元在预置的时钟周期内能够执行浮点运算的数量；
[0033]根据所述性能信息和所述线程算力，对每一模型组分配工作线程。
[0034]第二方面，本申请提供一种智能汽车操作系统的请求处理装置，包括：
[0035]输入模块，用于接收客户端发送的推理请求消息，其中，所述推理请求消息用于指示运行人工智能模型，所述人工智能模型用于实现智能汽车的自动驾驶；
[0036]分发模块，用于识别所述推理请求消息的请求属性信息，将所述推理请求消息发送至与所述请求属性信息对应的工作队列，其中，请求属性信息记载了所述推理请求信息对应的人工智能模型所在的模型组，所述模型组由至少一个人工智能模型构成，所述工作队列用于保存属于与所述工作队列对应的模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能汽车操作系统的请求处理方法，其特征在于，包括：接收客户端发送的推理请求消息，其中，所述推理请求消息用于指示运行人工智能模型，所述人工智能模型用于实现智能汽车的自动驾驶；识别所述推理请求消息的请求属性信息，将所述推理请求消息发送至与所述请求属性信息对应的工作队列；从目标队列中获取执行请求消息，在预置的模型库中识别与所述执行请求消息对应的目标模型，并将所述执行请求消息录入所述目标模型，其中，所述目标队列是至少一个工作队列中的一个，所述执行请求消息是所述目标队列中的一个推理请求消息，所述模型库中具有至少一个人工智能模型；识别后端推理引擎中与所述目标队列对应的工作线程，调用所述工作线程运行所述目标模型得到推理响应结果，将所述推理响应结果发送至所述客户端。2.根据权利要求1所述的请求处理方法，其特征在于，识别所述推理请求消息的请求属性信息，将所述推理请求消息发送至与所述请求属性信息对应的工作队列，包括：通过预置的请求属性正则表达式提取所述推理请求消息的请求属性信息；调用预置的分发器识别与所述请求属性信息对应的模型组，并在所述推理请求消息中标注组信息，其中，所述组信息是模型组的唯一性标识；将标注有组信息的推理请求消息发送至预置的调度器中，并调用所述调度器根据所述组信息，将推理请求消息发送至与所述组信息对应的工作队列。3.根据权利要求1所述的请求处理方法，其特征在于，从目标队列中获取执行请求消息，包括：将至少一个工作队列中的一个工作队列设为目标队列；若确定所述目标队列为消息队列，则将所述目标队列中位于首位的推理请求消息设为执行请求消息；若确定所述目标队列为堆栈，则将所述目标队列中位于末位的推理请求消息设为执行请求消息。4.根据权利要求1所述的请求处理方法，其特征在于，从目标队列中获取执行请求消息，包括：将至少一个工作队列中的一个工作队列设为目标队列；根据优先级信息对所述目标队列中的推理请求消息进行降序排列得到降序队列，将位于所述降序队列首位的推理请求消息设为执行请求消息，其中，优先级信息用于定义推理请求消息的重要程度。5.根据权利要求1所述的请求处理方法，其特征在于，接收客户端发送的推理请求消息之前，所述方法还包括：接收客户端发送的模型属性信息，在预置的分发器中注册所述模型属性信息，其中，所述模型属性信息是人工智能模型的唯一性标识；根据所述模型属性信息生成注册反馈信息，并将所述注册反馈信息发送至所述客户端，其中，所述注册反馈信息用于反映所述模型属性信息已在所述分发器中注册；接收所述客户端发送的模型创建信息，根据所述模型创建信息在预置的模型库中创建人工智能模型，其中，所述模型创建信息是基于机器学习训练后所生成的用于实现指定任
务的计算机函数；对所述模型库中的人工智能模型进行划分得到至少一个模型组，并对每一...

【专利技术属性】
技术研发人员：朱林法，刘洪振，
申请(专利权)人：斑马网络技术有限公司，
类型：发明
国别省市：