【技术实现步骤摘要】
本申请涉及工业机器人领域，且更为具体地，涉及一种基于工业机器人的虚拟仿真实训系统。
技术介绍
1、工业机器人是一种能够按照预先设定的程序自动执行工作的机械装置，它在制造业、物流业、服务业等领域有着广泛的应用。然而，工业机器人的操作、编程和调试需要具备一定的专业知识和技能，这就要求对工业机器人的操作人员进行专业有效的实训，而传统的实训方式通常需要使用真实的机器人设备，且在真实的工业环境中进行，这不仅成本高昂，效率较低，而且存在安全风险。
2、因此，期望一种基于工业机器人的虚拟仿真实训系统。
技术实现思路
1、为了解决上述技术问题，提出了本申请。
2、根据本申请的一个方面，提供了一种基于工业机器人的虚拟仿真实训系统，其包括：
3、交互操作监控视频采集模块，用于获取由摄像头采集的用户针对于工业机器人的训练任务的交互操作监控视频；
4、交互操作参考视频获取模块，用于获取所述训练任务的交互操作参考视频；
5、交互操作语义编码模块，用于通过交互操作孪生视频检测模型对所述交互操作监控视频和所述交互操作参考视频进行特征提取以得到交互操作监控语义特征图和交互操作参考语义特征图；
6、交互操作语义相似度分析模块，用于计算所述交互操作监控语义特征图和所述交互操作参考语义特征图中每组对应通道维度的特征矩阵之间的语义相似度以得到由多个语义相似度组成的交互操作细粒度语义对比特征向量作为交互操作细粒度语义对比特征；
7、交互操作
8、其中，所述交互操作语义相似度分析模块，包括：
9、特征矩阵展开单元，用于将所述交互操作监控语义特征图和所述交互操作参考语义特征图中每组对应通道维度的特征矩阵展开为特征向量以得到交互操作监控语义特征向量的序列和交互操作参考语义特征向量的序列；
10、交互操作细粒度语义对比单元，用于计算所述交互操作监控语义特征向量的序列和所述交互操作参考语义特征向量的序列之间的语义相似度以得到由多个语义相似度组成的所述交互操作细粒度语义对比特征向量；
11、其中，所述交互操作细粒度语义对比单元，用于：以如下公式计算所述交互操作监控语义特征向量的序列和所述交互操作参考语义特征向量的序列之间的语义相似度以得到多个相似度；
12、其中，所述公式为：
13、；
14、其中，表示所述交互操作监控语义特征向量，表示所述交互操作参考语义特征向量，和为两种不同的线性变换，表示所述交互操作监控语义特征向量和所述交互操作参考语义特征向量的语义相似度；
15、将所述多个相似度进行一维排列以得到所述交互操作细粒度语义对比特征向量作为所述交互操作细粒度语义对比特征。
16、在上述基于工业机器人的虚拟仿真实训系统中，所述交互操作孪生视频检测模型包含第一视频理解器和第二视频理解器。
17、在上述基于工业机器人的虚拟仿真实训系统中，所述交互操作正确性检测模块，用于：将所述交互操作细粒度语义对比特征向量通过分类器以得到分类结果，所述分类结果用于表示交互操作是否符合训练任务要求。
18、在上述基于工业机器人的虚拟仿真实训系统中，还包括用于对所述包含第一视频理解器和第二视频理解器的交互操作孪生视频检测模型和所述分类器进行训练的训练模块。
19、在上述基于工业机器人的虚拟仿真实训系统中，所述训练模块，包括：
20、训练数据获取单元，用于获取训练数据，所述训练数据包括由摄像头采集的用户针对于工业机器人的训练任务的训练交互操作监控视频；以及，获取所述训练任务的训练交互操作参考视频；
21、训练交互操作语义编码单元，用于通过包含第一视频理解器和第二视频理解器的交互操作孪生视频检测模型对所述训练交互操作监控视频和所述训练交互操作参考视频进行特征提取以得到训练交互操作监控语义特征图和训练交互操作参考语义特征图；
22、训练特征矩阵展开单元，用于将所述训练交互操作监控语义特征图和所述训练交互操作参考语义特征图中每组对应通道维度的特征矩阵展开为特征向量以得到训练交互操作监控语义特征向量的序列和训练交互操作参考语义特征向量的序列；
23、训练交互操作细粒度语义对比单元，用于计算所述训练交互操作监控语义特征向量的序列和所述训练交互操作参考语义特征向量的序列之间的语义相似度以得到由多个语义相似度组成的训练交互操作细粒度语义对比特征向量；
24、训练优化单元，用于对所述训练交互操作细粒度语义对比特征向量进行优化以得到优化训练交互操作细粒度语义对比特征向量；
25、分类损失单元，用于将所述优化训练交互操作细粒度语义对比特征向量通过分类器以得到分类损失函数值；
26、训练单元，用于基于所述分类损失函数值对所述包含第一视频理解器和第二视频理解器的交互操作孪生视频检测模型和所述分类器进行训练。
27、在上述基于工业机器人的虚拟仿真实训系统中，所述分类损失单元，用于：
28、使用所述分类器对所述优化训练交互操作细粒度语义对比特征向量进行处理以得到训练分类结果:以及
29、计算所述训练分类结果与交互操作是否符合训练任务要求的真实值之间的交叉熵损失函数值作为所述分类损失函数值
30、与现有技术相比，本申请提供的一种基于工业机器人的虚拟仿真实训系统，其通过部署于训练者佩戴头盔的摄像头实时采集训练者针对于工业机器人的训练任务的交互操作监控视频，并在后端引入数据处理和分析算法来进行该交互操作监控视频和标准的交互操作参考视频的分析和比较，以此分析结果来判断训练者的交互操作是否准确，即是否符合训练任务要求。这样，可以让操作者在虚拟场景中进行实践操作，并通过对交互结果的分析来评估其操作准确性，通过这样的方式，可以有效地促进学习者的实践能力和理论水平的提高，同时确保实训的安全性和有效性。
本文档来自技高网...【技术保护点】
1.一种基于工业机器人的虚拟仿真实训系统，其特征在于，包括：
2.根据权利要求1所述的基于工业机器人的虚拟仿真实训系统，其特征在于，所述交互操作孪生视频检测模型包含第一视频理解器和第二视频理解器。
3.根据权利要求2所述的基于工业机器人的虚拟仿真实训系统，其特征在于，所述交互操作正确性检测模块，用于：将所述交互操作细粒度语义对比特征向量通过分类器以得到分类结果，所述分类结果用于表示交互操作是否符合训练任务要求。
4.根据权利要求3所述的基于工业机器人的虚拟仿真实训系统，其特征在于，还包括用于对所述包含第一视频理解器和第二视频理解器的交互操作孪生视频检测模型和所述分类器进行训练的训练模块。
5.根据权利要求4所述的基于工业机器人的虚拟仿真实训系统，其特征在于，所述训练模块，包括：
6.根据权利要求5所述的基于工业机器人的虚拟仿真实训系统，其特征在于，所述分类损失单元，用于：
【技术特征摘要】
1.一种基于工业机器人的虚拟仿真实训系统，其特征在于，包括：
2.根据权利要求1所述的基于工业机器人的虚拟仿真实训系统，其特征在于，所述交互操作孪生视频检测模型包含第一视频理解器和第二视频理解器。
3.根据权利要求2所述的基于工业机器人的虚拟仿真实训系统，其特征在于，所述交互操作正确性检测模块，用于：将所述交互操作细粒度语义对比特征向量通过分类器以得到分类结果，所述分类结果用于表示交互操作是否符...
【专利技术属性】
技术研发人员：宋云艳，田媛，唐敏，隋欣，李洁，
申请(专利权)人：长春职业技术学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。