【技术实现步骤摘要】
本专利技术涉及仓储配送，具体涉及基于视觉端侧大模型的工业车辆货物状态动态识别系统。
技术介绍
1、在仓储配送过程中，对用于运输的工业车辆内的货物状态进行识别至关重要。目前，对物体状态进行识别时，通常采用的方法为：通过对采集的物体图像进行分析，以实现物体状态识别。
2、然而，当通过对采集的车辆货物图像进行分析，以实现工业车辆货物状态识别时，经常会存在如下技术问题：
3、由于工业车辆内的货物之间往往互相遮挡，从而导致部分货物可能没有清晰地显示在图像上，因此，若只考虑车辆货物图像，则可能导致对工业车辆货物状态进行识别的准确度较差，从而导致仓储配送效果较差。
技术实现思路
1、为了解决对工业车辆货物状态进行识别的准确度较差的技术问题，本专利技术提出了基于视觉端侧大模型的工业车辆货物状态动态识别系统。
2、第一方面，本专利技术提供了基于视觉端侧大模型的工业车辆货物状态动态识别系统，该系统包括：
3、数据获取模块，用于通过adas，获取目标工业车辆在当前时间段内每个数据采集时刻下的速度数据、振动数据和目标货物图像；
4、等分确定模块，用于对当前时间段进行等分，得到当前子时间段，并根据每个当前子时间段内所有的速度数据及其对应的z分数，确定每个当前子时间段对应的速度异常变动程度；
5、车辆运行状态指标确定模块，用于根据每个当前子时间段对应的速度异常变动程度和每个当前子时间段内所有的振动数据，确定每个当前子时间段对应的车辆运行状
6、图像融合操作模块，用于对当前时间段内所有的目标货物图像进行融合操作，得到当前融合图像；
7、指标预测模块，用于根据当前融合图像，通过预先训练完成的端侧大模型，得到当前预测货物数量和当前预测货物完整度；
8、当前货物异常指标确定模块，用于根据当前预测货物数量和预先获取的当前预期货物数量之间的差异，以及当前预测货物完整度，确定当前货物异常指标；
9、状态识别模块，用于根据所有当前子时间段对应的当前车辆运行状态代表指标，以及当前货物异常指标，对目标工业车辆在当前时间段内的货物进行状态识别。
10、结合上述第一方面，在一种可能的实现方式中，所述根据每个当前子时间段内所有的速度数据及其对应的z分数，确定每个当前子时间段对应的速度异常变动程度，包括：
11、将每个当前子时间段内所有速度数据的均值，确定为每个当前子时间段对应的速度代表因子；
12、将每个当前子时间段内所有速度数据对应的z分数的绝对值的累加值，确定为每个当前子时间段对应的初始速度变动因子；
13、根据每个当前子时间段对应的速度代表因子和初始速度变动因子，确定每个当前子时间段对应的速度异常变动程度，其中，速度代表因子和初始速度变动因子均与速度异常变动程度呈正相关关系。
14、结合上述第一方面，在一种可能的实现方式中，所述根据每个当前子时间段对应的速度代表因子和初始速度变动因子，确定每个当前子时间段对应的速度异常变动程度，包括：
15、将每个当前子时间段对应的速度代表因子和初始速度变动因子的乘积，确定为每个当前子时间段对应的速度异常变动程度。
16、结合上述第一方面，在一种可能的实现方式中，所述根据每个当前子时间段对应的速度异常变动程度和每个当前子时间段内所有的振动数据，确定每个当前子时间段对应的车辆运行状态指标，包括：
17、将每个当前子时间段内所有振动数据的均值，确定为每个当前子时间段对应的振动代表因子；
18、根据每个当前子时间段对应的速度异常变动程度和振动代表因子，确定每个当前子时间段对应的车辆运行状态指标。
19、结合上述第一方面，在一种可能的实现方式中，所述根据每个当前子时间段对应的速度异常变动程度和振动代表因子，确定每个当前子时间段对应的车辆运行状态指标，包括：
20、对每个当前子时间段对应的速度异常变动程度和振动代表因子的乘积进行归一化，得到每个当前子时间段对应的车辆运行状态指标。
21、结合上述第一方面，在一种可能的实现方式中，所述根据当前预测货物数量和预先获取的当前预期货物数量之间的差异，以及当前预测货物完整度，确定当前货物异常指标，包括：
22、将当前预测货物数量和当前预期货物数量之间的差值绝对值，确定为当前货物数量差异；
23、根据当前货物数量差异和当前预测货物完整度，确定当前货物异常指标。
24、结合上述第一方面，在一种可能的实现方式中，所述根据当前货物数量差异和当前预测货物完整度，确定当前货物异常指标，包括：
25、根据当前预测货物完整度，确定当前货物破损率，其中，当前预测货物完整度和当前货物破损率呈负相关关系；
26、根据当前货物破损率和当前货物数量差异，确定当前货物异常指标。
27、结合上述第一方面，在一种可能的实现方式中，所述根据当前货物破损率和当前货物数量差异，确定当前货物异常指标，包括：
28、将当前货物破损率和当前货物数量差异的加权和，确定为当前货物异常指标。
29、结合上述第一方面，在一种可能的实现方式中，所述根据所有当前子时间段对应的车辆运行状态指标，以及当前货物异常指标，对目标工业车辆在当前时间段内的货物进行状态识别，包括：
30、将所有当前子时间段对应的车辆运行状态指标的均值，确定为当前车辆运行状态代表指标；
31、对所述当前车辆运行状态代表指标和所述当前货物异常指标的乘积进行归一化，得到当前货物状态指标；
32、若当前货物状态指标大于预设预警阈值，则发送表征工业车辆货物状态异常的信息。
33、结合上述第一方面，在一种可能的实现方式中，端侧大模型的训练过程，包括：
34、构建端侧大模型；
35、获取不同工业车辆在不同历史时间段内每个数据采集时刻下的历史货物图像，并获取不同工业车辆在不同历史时间段内的货物实际完整度和货物实际数量；
36、对每个工业车辆在每个历史时间段内所有的历史货物图像进行融合操作，得到历史融合图像；
37、以历史融合图像为训练样本，以历史融合图像对应的货物实际完整度和货物实际数量为训练标签，对构建的端侧大模型进行训练。
38、第二方面，本专利技术提供了一种基于视觉端侧大模型的工业车辆货物状态动态识别系统实现的一种基于视觉端侧大模型的工业车辆货物状态动态识别方法，该方法包括：
39、通过adas，获取目标工业车辆在当前时间段内每个数据采集时刻下的速度数据、振动数据和目标货物图像；
40、对当前时间段进行等分，得到当前子时间段，并根据每个当前子时间段内所有的速度数据及其对应的z分数，确定每个当前子时间段对应的速度异常变动程度；
41、根据每个当前子时间段对应的速度异常变动程度和每个当前子时间段内所有的振本文档来自技高网...
【技术保护点】
1.一种基于视觉端侧大模型的工业车辆货物状态动态识别系统，其特征在于，所述系统包括：
2.根据权利要求1所述的一种基于视觉端侧大模型的工业车辆货物状态动态识别系统，其特征在于，所述根据每个当前子时间段内所有的速度数据及其对应的Z分数，确定每个当前子时间段对应的速度异常变动程度，包括：
3.根据权利要求2所述的一种基于视觉端侧大模型的工业车辆货物状态动态识别系统，其特征在于，所述根据每个当前子时间段对应的速度代表因子和初始速度变动因子，确定每个当前子时间段对应的速度异常变动程度，包括：
4.根据权利要求1所述的一种基于视觉端侧大模型的工业车辆货物状态动态识别系统，其特征在于，所述根据每个当前子时间段对应的速度异常变动程度和每个当前子时间段内所有的振动数据，确定每个当前子时间段对应的车辆运行状态指标，包括：
5.根据权利要求4所述的一种基于视觉端侧大模型的工业车辆货物状态动态识别系统，其特征在于，所述根据每个当前子时间段对应的速度异常变动程度和振动代表因子，确定每个当前子时间段对应的车辆运行状态指标，包括：
6.根据权利要求
7.根据权利要求6所述的一种基于视觉端侧大模型的工业车辆货物状态动态识别系统，其特征在于，所述根据当前货物数量差异和当前预测货物完整度，确定当前货物异常指标，包括：
8.根据权利要求7所述的一种基于视觉端侧大模型的工业车辆货物状态动态识别系统，其特征在于，所述根据当前货物破损率和当前货物数量差异，确定当前货物异常指标，包括：
9.根据权利要求1所述的一种基于视觉端侧大模型的工业车辆货物状态动态识别系统，其特征在于，所述根据所有当前子时间段对应的车辆运行状态指标，以及当前货物异常指标，对目标工业车辆在当前时间段内的货物进行状态识别，包括：
10.根据权利要求1所述的一种基于视觉端侧大模型的工业车辆货物状态动态识别系统，其特征在于，端侧大模型的训练过程，包括：
...【技术特征摘要】
1.一种基于视觉端侧大模型的工业车辆货物状态动态识别系统，其特征在于，所述系统包括：
2.根据权利要求1所述的一种基于视觉端侧大模型的工业车辆货物状态动态识别系统，其特征在于，所述根据每个当前子时间段内所有的速度数据及其对应的z分数，确定每个当前子时间段对应的速度异常变动程度，包括：
3.根据权利要求2所述的一种基于视觉端侧大模型的工业车辆货物状态动态识别系统，其特征在于，所述根据每个当前子时间段对应的速度代表因子和初始速度变动因子，确定每个当前子时间段对应的速度异常变动程度，包括：
4.根据权利要求1所述的一种基于视觉端侧大模型的工业车辆货物状态动态识别系统，其特征在于，所述根据每个当前子时间段对应的速度异常变动程度和每个当前子时间段内所有的振动数据，确定每个当前子时间段对应的车辆运行状态指标，包括：
5.根据权利要求4所述的一种基于视觉端侧大模型的工业车辆货物状态动态识别系统，其特征在于，所述根据每个当前子时间段对应的速度异常变动程度和振动代表因子，确定每个当前子时间段对应的车辆运行状...
【专利技术属性】
技术研发人员：邓海勤，王业光，王亚超，高志黄，卢曼泽，
申请(专利权)人：爱动超越人工智能科技北京有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。