一种虚实融合的人机协作仿真方法和系统技术方案

本发明专利技术公开了一种虚实融合的人机协作仿真方法，包括：根据人体三维姿态信息和数据手套的返回结果，计算得到人体、手臂和手部的三维位姿序列和对应的施力信息；结合所述人体、手臂和手部的三维位姿序列和对应的施力信息，以及虚拟机器人模型运动仿真结果，基于碰撞检测算法和物理仿真算法，检测得到虚拟机器人和人体三维姿态序列间的位置交互信息和力交互信息，对人机协作过程进行仿真分析。本发明专利技术能够进行人机协作研究中各种控制算法的验证和实验，实验人‑机器人间的交互、碰撞、力、动作协调性等内容；更贴近现实场景，能够真实反映人体运动，在避免建立复杂的模型的同时，还具备确保人体安全、人能够真正感受协作过程、仿真更加准确等的优点。

【技术实现步骤摘要】
一种虚实融合的人机协作仿真方法和系统
本专利技术涉及增强现实和机器人技术
，具体而言涉及一种虚实融合的人机协作仿真方法和系统。
技术介绍
机器人尤其是工业机器人是制造业的重要工具，考虑到安全问题，机器人过去总是围起来单独进行作业，但随着工业的发展和需求越来越复杂，受限于机器人的智能程度，单纯地依靠机器人已经无法完成复杂、细致的作业任务，机器人要和人协作起来才能完成更为复杂的生产要求，故近几年来，人机协作作业成为机器人应用的一个发展趋势。在人机协作技术研究和实验的过程中，仿真技术是其中一个重要的研究手段。目前人机协作研究中的仿真方法主要有两种方案，一种是采用虚拟仿真环境进行人机协作仿真，即在计算环境中建立机器人的三维模型和人体的三维模型，通过驱动模型运动来进行人机交互、人机协作的研究，但是这种方法需要建立大量的模型，且模型都是简化模型，无法与真实场景相比，数据准确性差。另外一种采用真实机器人和真实人进行人机的交互、人机协作的研究，这种方式采用实际场景进行仿真，但存在着需要建造实体机器人，成本较高、人与机器人直接接触，实验的不确定性会给人体带来危险和伤害，无法保证人安全的缺点。
技术实现思路
本专利技术目的在于提供一种虚实融合的人机协作仿真方法和系统，基于增强现实技术，通过搭建真人-虚拟机器人或虚拟人-实体机器人的虚实结合的仿真环境来作为人机协作相关技术研究的验证和实验平台，通过该系统和方法，研究者可以进行人机协作研究中各种控制算法的验证和实验，实验人-机器人间的交互、碰撞、力、动作协调性等内容。另外，本专利技术使用真人虚机或者虚人真机协作实验，更贴近现实场景，能够真实反映人体的运动，在避免建立复杂的模型的同时，还具备确保人体安全、仿真更加准确、人能够真正感受协作过程等的优点。为达成上述目的，结合图1，本专利技术提出一种虚实融合的人机协作仿真方法，所述仿真方法包括：S1，搭建虚拟机器人模型，驱动虚拟机器人模型运动，生成增强现实场景，将生成的增强现实场景发送至相关视觉设备；S2，采集并生成人体三维姿态序列；S3，接收与所述视觉设备配套的数据手套返回的用户手部位置信息和对应的施力数据；S4，根据人体三维姿态序列和数据手套的返回结果，计算得到人体、手臂和手部的三维位姿序列和对应的施力信息；S5，结合所述人体、手臂和手部的三维位姿序列和对应的施力信息，以及虚拟机器人模型运动仿真结果，基于碰撞检测算法和物理仿真算法，检测得到虚拟机器人和人体三维姿态序列间的位置交互信息和力交互信息，对人机协作过程进行仿真分析。作为其中的一种优选例，步骤S2中，所述采集并生成人体三维姿态序列的过程包括以下步骤：S21，采集至少三个方向上的人体的三维图像或三维点云数据，生成多路人体三维图像序列；S22，根据同步时间序列，将采集到的多路人体三维图像序列进行配准排序和姿态识别，生成人体三维姿态序列。作为其中的一种优选例，步骤S21中，采用多路相机或深度相机，采集至少三个方向上的人体的三维图像或三维点云数据，生成多路人体三维图像序列。作为其中的一种优选例，步骤S2中，采用穿戴式人体三维姿态采集设备，采集并生成人体三维姿态序列。作为其中的一种优选例，步骤S1中，所述搭建虚拟机器人模型，驱动虚拟机器人模型运动的过程包括视觉设备以下步骤：S11，在机器人模型库中选择机器人组件，设计和组装虚拟机器人模型；S12，针对组装的虚拟机器人模型，赋予包括质量、质心、惯量、碰撞体在内的物理属性；S13，为虚拟机器人模型添加关节，设置运动关系，建立虚拟机器人运动模型；S14，基于标识物方法，将虚拟机器人模型设置在实际场景中的标识物位置，生成增强现实场景；S15，根据接收到的传感器信号和预设的控制算法，控制虚拟机器人模型开始运动，仿真虚拟机器人的运动过程。作为其中的一种优选例，所述视觉设备包括增强现实眼镜。作为其中的一种优选例，所述方法还包括：S6，结合人机协作过程的分析结果，对虚拟机器人模型进行改善。结合图2，基于前述方法，本专利技术还提及一种虚实融合的人机协作仿真系统，所述人机协作仿真系统包括人体三维姿态采集设备、视觉设备、数据手套、图形工作站；所述人体三维姿态采集设备用于采集并生成人体三维姿态序列，发送至图形工作站；所述图形工作站用于搭建虚拟机器人模型，驱动虚拟机器人模型运动，生成增强现实场景，将生成的增强现实场景发送至相关视觉设备；所述视觉设备和数据手套穿戴在用户身上，与图形工作站连接，所述视觉设备用于为用户显示图形工作站发送的包括虚拟机器人模型在内的增强现实场景，所述数据手套用于将用户手部位置信息和对应的施力数据发送至图形工作站；所述图形工作站还用于根据人体三维姿态和数据手套返回的用户手部位置信息和对应的施力数据，计算得到人体、手臂和手部的三维位姿和对应的施力信息；以及结合所述人体、手臂和手部的三维位姿和对应的施力信息，以及虚拟机器人模型运动仿真结果，基于碰撞检测算法和物理仿真算法，检测得到虚拟机器人和人体三维姿态序列间的位置交互信息和力交互信息，对人机协作过程进行仿真分析。作为其中的一种优选例，所述人体三维姿态采集设备包括多路相机、人体三维姿态采集装置和安装在图形工作站内的人体三维姿态检测模块；所述多路相机用于采集至少三个方向上的人体的三维图像或三维点云数据；所述人体三维姿态采集装置与多路相机连接，用于对多路相机发送的三维图像或三维点云数据进行分析，生成多路人体三维图像序列；所述人体三维姿态检测模块根据同步时间序列，将采集到的多路人体三维图像序列进行配准排序和姿态识别，生成人体三维姿态序列。作为其中的一种优选例，所述图形工作站包括手位置和力信息模块、姿态序列生成模块、虚拟机器人组装模块、物理属性添加模块、运动建模模块、虚拟控制器模块、运动仿真模块和人机交互处理模块；所述手位置和力信息模块用于获取数据手套返回数据，生成用户手部位置信息和对应的施力数据；所述姿态序列生成模块用于根据人体三维姿态和数据手套返回的用户手部位置信息和对应的施力数据，计算得到人体、手臂和手部的三维位姿和对应的施力信息；所述虚拟机器人组装模块用于从机器人模型库中选择机器人组件，设计和组装虚拟机器人模型；所述物理属性添加模块用于针对组装的虚拟机器人模型，赋予包括质量、质心、惯量、碰撞体在内的物理属性；所述运动建模模块用于为虚拟机器人模型添加关节，设置运动关系，建立虚拟机器人运动模型；所述虚拟控制器模块内置在虚拟机器人模型中，用于根据接收到的虚拟机器人模型发送的传感器信号和预设的控制算法，控制虚拟机器人模型开始运动；所述运动仿真模块用于根据虚拟机器人模型的运动数据，仿真虚拟机器人的运动过程；所述人机交互处理模块用于基于标识物方法，将虚拟机器人模型设置在实际场景中的标识物位置，生成增强现实场景；以及结合所述人本文档来自技高网...

【技术保护点】
1.一种虚实融合的人机协作仿真方法，其特征在于，所述仿真方法包括：/nS1，搭建虚拟机器人模型，驱动虚拟机器人模型运动，生成增强现实场景，将生成的增强现实场景发送至相关视觉设备；/nS2，采集并生成人体三维姿态序列；/nS3，接收与所述视觉设备配套的数据手套返回的用户手部位置信息和对应的施力数据；/nS4，根据人体三维姿态和数据手套的返回结果，计算得到人体、手臂和手部的三维位姿序列和对应的施力信息；/nS5，结合所述人体、手臂和手部的三维位姿序列和对应的施力信息，以及虚拟机器人模型运动仿真结果，基于碰撞检测算法和物理仿真算法，检测得到虚拟机器人和人体三维姿态序列间的位置交互信息和力交互信息，对人机协作过程进行仿真分析。/n

【技术特征摘要】
1.一种虚实融合的人机协作仿真方法，其特征在于，所述仿真方法包括：
S1，搭建虚拟机器人模型，驱动虚拟机器人模型运动，生成增强现实场景，将生成的增强现实场景发送至相关视觉设备；
S2，采集并生成人体三维姿态序列；
S3，接收与所述视觉设备配套的数据手套返回的用户手部位置信息和对应的施力数据；
S4，根据人体三维姿态和数据手套的返回结果，计算得到人体、手臂和手部的三维位姿序列和对应的施力信息；
S5，结合所述人体、手臂和手部的三维位姿序列和对应的施力信息，以及虚拟机器人模型运动仿真结果，基于碰撞检测算法和物理仿真算法，检测得到虚拟机器人和人体三维姿态序列间的位置交互信息和力交互信息，对人机协作过程进行仿真分析。


2.根据权利要求1所述的虚实融合的人机协作仿真方法，其特征在于，步骤S2中，所述采集并生成人体三维姿态序列的过程包括以下步骤：
S21，采集至少三个方向上的人体三维图像或三维点云数据，生成多路人体三维图像序列；
S22，根据同步时间序列，将采集到的多路人体三维图像序列进行配准排序和姿态识别，生成人体三维姿态序列。


3.根据权利要求2所述的虚实融合的人机协作仿真方法，其特征在于，步骤S21中，采用多路相机或深度相机，采集至少三个方向上的人体的三维图像或三维点云数据，生成多路人体三维图像序列。


4.根据权利要求1所述的虚实融合的人机协作仿真方法，其特征在于，步骤S2中，采用穿戴式人体三维姿态采集设备，采集并生成人体三维姿态序列。


5.根据权利要求1所述的虚实融合的人机协作仿真方法，其特征在于，步骤S1中，所述搭建虚拟机器人模型，驱动虚拟机器人模型运动的过程包括以下步骤：
S11，在机器人模型库中选择机器人组件，设计和组装虚拟机器人模型；
S12，针对组装的虚拟机器人模型，赋予包括质量、质心、惯量、碰撞体在内的物理属性；
S13，为虚拟机器人模型添加关节，设置运动关系，建立虚拟机器人运动模型；
S14，基于标识物方法，将虚拟机器人模型设置在实际场景中的标识物位置，生成增强现实场景；
S15，根据接收到的传感器信号和预设的控制算法，控制虚拟机器人模型开始运动，仿真虚拟机器人的运动过程。


6.根据权利要求1所述的虚实融合的人机协作仿真方法，其特征在于，所述视觉设备包括增强现实眼镜。


7.根据权利要求1所述的虚实融合的人机协作仿真方法，其特征在于，所述方法还包括：
S6，结合人机协作过程的分析结果，对虚拟机器人模型进行改善。


8.一种虚实融合的人机协作仿真系统，其特征在于，所述人机协作仿真系统包括人体三维姿态采集设备、视觉设备、数据手套、图形工作站；
所述人体三维姿态采集设备用于采集并生成人体三维姿态序列，发送至图形工作站；
所述图形工作站用于搭建虚拟机...

【专利技术属性】
技术研发人员：高海涛，朱松青，关鸿耀，韩亚丽，许有熊，黄树新，
申请(专利权)人：南京工程学院，
类型：发明
国别省市：江苏;32