一种基于数据融合的虚拟维修仿真方法及装置制造方法及图纸

本发明专利技术公开了一种基于数据融合的虚拟维修仿真方法及装置，涉及数据融合辅助虚拟仿真领域，所述方法包括：对维修任务进行分解，得到维修行为；根据所述维修行为的仿真要求，确定所述维修行为的仿真方式；根据所述维修行为的仿真方式，获取非沉浸式仿真数据和沉浸式动作捕捉数据；根据所述非沉浸式仿真数据和所述沉浸式动作捕捉数据，生成虚拟人对所述维修任务的虚拟维修行为。本发明专利技术实施例的两种数据源协同控制合成虚拟维修行为，可以达到快速、逼真仿真的目的。

A virtual maintenance simulation method and device based on data fusion

The invention discloses a method and a device for Virtual Maintenance Simulation Based on data fusion, data fusion involves auxiliary virtual simulation field, the method comprises the following steps: decomposition of maintenance tasks, get maintenance behavior; according to the requirements of the maintenance simulation behavior, determine the behavior of the simulation mode of repair according to the simulation of the dimension; maintenance activities, access to non immersive immersive simulation data and motion capture data; according to the non immersive simulation data and the immersive motion capture data, generate virtual human dimension to the maintenance tasks repair behavior. The two kinds of data sources in the embodiment of the invention can synthesize virtual maintenance behavior, and can achieve the purpose of fast and realistic simulation.

【技术实现步骤摘要】
一种基于数据融合的虚拟维修仿真方法及装置
本专利技术涉及数据融合辅助虚拟仿真领域，特别涉及一种基于数据融合的虚拟维修仿真方法及装置。
技术介绍
1.虚拟维修仿真技术对产品设计提高的经济性和便捷性虚拟维修仿真技术作为虚拟现实技术在产品维修性设计领域中的重要应用，对产品维修性设计的提高有着重要的作用。近年来，不管是维修性的定性因素还是定量因素，虚拟维修仿真技术都有相应技术手段对这两个重要方面提供技术支撑。虚拟维修仿真技术摆脱了维修性分析对实物样机的依赖，借助于产品的电子样机开展多轮、多方式、多过程的分析，大大降低了产品设计成本，并且设计人员可以通过远程协同、交互操作等方式共同对产品进行分析，避免传统方式繁杂、冗余的方式，提高了产品设计工作的效率。2.虚拟人在虚拟维修仿真中的作用虚拟人作为虚拟维修系统的一部分，主要用于人机工效分析和演示标准维修动作流程。整个维修工作过程几乎需要虚拟人作为维修操作主体全程参与，虚拟人运动仿真也是整个维修仿真核心内容。虚拟维修仿真实现的快慢，及其自动化程度、逼真程度很大程度取决于虚拟人运动仿真实现的好坏。在虚拟维修仿真中考虑维修人员运动的仿真，主要有关键帧仿真、运动学仿真、动力学仿真、基于动捕数据仿真和维修操作规划仿真。3.沉浸式与非沉浸式虚拟维修仿真的特有技术优势沉浸式虚拟维修系统利用运动捕获设备实时获取操作人员的运动信息，用于控制虚拟环境中人体模型的运动；采用立体输出设备对场景进行立体显示，提高仿真的沉浸感；同时提供直接的交互手段用于场景中对象的选取、操作和运动控制，使操作人员获得维修难易的感性认识。非沉浸式虚拟维修系统应用生成人体动作和运动算法生成虚拟人的动作和运动，驱动虚拟人完成维修操作。仿真过程需要满足真实性要求，即必须满足4类约束：自然性和逼真性约束、附加空间约束、样机行为约束和任务约束。4.数据融合数据融合是综合处理多传感器或者多源的信息和数据，得到准确可信的结论。利用计算机技术，在一定准则下自动分析、综合基于时间获得的多个传感器的信息，完成需要决策和估计任务的信息处理过程。
技术实现思路
本专利技术的目的在于提供一种基于数据融合的虚拟维修仿真方法及装置，能更好地解决虚拟维修仿真效率低的问题。根据本专利技术的一个方面，提供了一种基于数据融合的虚拟维修仿真方法，包括：对维修任务进行分解，得到维修行为；根据所述维修行为的仿真要求，确定所述维修行为的仿真方式；根据所述维修行为的仿真方式，获取非沉浸式仿真数据和沉浸式动作捕捉数据；根据所述非沉浸式仿真数据和所述沉浸式动作捕捉数据，生成虚拟人对所述维修任务的虚拟维修行为。优选地，所述根据所述维修行为的仿真方式，获取非沉浸式仿真数据和沉浸式动作捕捉数据包括：若所述维修行为的仿真方式是非沉浸式仿真方式，则利用人体动作和运动生成算法，生成基于3D人体骨骼模型的非沉浸式仿真数据；若所述维修行为的仿真方式是沉浸式仿真方式，则利用动作捕捉系统获取基于实际操作人员的人体骨骼模型的沉浸式动作捕捉数据。优选地，所述根据所述非沉浸式仿真数据和所述沉浸式动作捕捉数据，生成虚拟人对所述维修任务的虚拟维修行为包括：对所述非沉浸式仿真数据和所述沉浸式动作捕捉数据进行时空协同处理，得到时空协同的非沉浸式仿真数据和沉浸式动作捕捉数据；利用所述时空协同的非沉浸式仿真数据和沉浸式动作捕捉数据，合成虚拟人对所述维修任务的虚拟维修行为。优选地，所述对所述非沉浸式仿真数据和所述沉浸式动作捕捉数据进行时空协同处理，得到时空协同的非沉浸式仿真数据和沉浸式动作捕捉数据包括：利用动态时间规整算法，将所述非沉浸式仿真数据和所述沉浸式动作捕捉数据的时间对齐；根据人体根节点坐标方位，将所述非沉浸式仿真数据和所述沉浸式动作捕捉数据的坐标空间对齐。优选地，在对所述非沉浸式仿真数据和所述沉浸式动作捕捉数据进行时空协同处理，得到时空协同的非沉浸式仿真数据和沉浸式动作捕捉数据之前，还包括：将所述非沉浸式仿真数据和所述沉浸式动作捕捉数据之一对应的人体骨骼模型作为模板，将另一数据对应的人体骨骼模型与所述模板对齐。优选地，所述利用所述时空协同的非沉浸式仿真数据和沉浸式动作捕捉数据，合成虚拟人对所述维修任务的虚拟维修行为包括：将所述非沉浸式仿真数据和所述沉浸式动作捕捉数据之一作为协同基准数据，将另一数据融合进基准数据中，得到融合数据，以便利用所述融合数据，合成虚拟人虚拟维修行为。优选地，在得到融合数据之后，还包括：对所述融合数据中的人体根节点空间位置和关节姿态角进行插值处理，得到使维修行为无缝链接的融合数据。根据本专利技术的另一方面，提供了一种基于数据融合的虚拟维修仿真装置，包括：任务分解模块，用于对维修任务进行分解，得到维修行为；方式确定模块，用于根据所述维修行为的仿真要求，确定所述维修行为的仿真方式；数据获取模块，用于根据所述维修行为的仿真方式，获取非沉浸式仿真数据和沉浸式动作捕捉数据；仿真合成模块，用于根据所述非沉浸式仿真数据和所述沉浸式动作捕捉数据，生成虚拟人对所述维修任务的虚拟维修行为。优选地，所述数据获取模块在所述维修行为的仿真方式是非沉浸式仿真方式时，利用人体动作和运动生成算法，生成基于3D人体骨骼模型的非沉浸式仿真数据，在所述维修行为的仿真方式是沉浸式仿真方式时，利用动作捕捉系统获取基于实际操作人员的人体骨骼模型的沉浸式动作捕捉数据。优选地，所述仿真合成模块对所述非沉浸式仿真数据和所述沉浸式动作捕捉数据进行时空协同处理，得到时空协同的非沉浸式仿真数据和沉浸式动作捕捉数据，并利用所述时空协同的非沉浸式仿真数据和沉浸式动作捕捉数据，合成虚拟人对所述维修任务的虚拟维修行为。与现有技术相比较，本专利技术的有益效果在于：本专利技术将非沉浸式仿真与沉浸式仿真有机结合，实现基于人体运动数据融合的快速虚拟维修仿真，具体的说，基于非沉浸式与沉浸式仿真中提供的人体运动数据，以快速运动仿真的实现为目标，分析面向维修任务仿真的人体维修行为，构建适用于维修仿真的虚拟人简化人体关节层次化模型，采用仿真数据与采集数据融合方式，通过两种数据源的对齐处理和维修行为的平滑过渡实现复杂维修过程仿真的快速生成。附图说明图1是本专利技术实施例提供的基于数据融合的虚拟维修仿真方法流程图；图2是本专利技术实施例提供的基于数据融合的虚拟维修仿真装置框图；图3是基于人体仿真数据和采集数据融合的维修仿真方法原理框图；图4a是简化后的人体关节结构模型示意图；图4b是简化后的人体肢体与关节结构层次关系示意图；图5是坐标空间整体对齐操作流程图；图6是两种数据源异步控制实现新运动合成的操作流程图；图7是两种数据源同步控制实现新运动合成的操作流程图；图8是不同维修行为无缝链接的算法流程图。具体实施方式以下结合附图对本专利技术的优选实施例进行详细说明，应当理解，以下所说明的优选实施例仅用于说明和解释本专利技术，并不用于限定本专利技术。图1是本专利技术实施例提供的基于数据融合的虚拟维修仿真方法流程图，如图1所示，步骤1、对维修任务进行分解，得到维修行为。步骤2、根据所述维修行为的仿真要求，确定所述维修行为的仿真方式。步骤3、根据所述维修行为的仿真方式，获取非沉浸式仿真数据和沉浸式动作捕捉数据。其中，如果是非沉浸式仿真方式，则利用人体动作和运动生成算法，生成基于3D人体骨骼模型的非沉浸本文档来自技高网...

【技术保护点】
一种基于数据融合的虚拟维修仿真方法，其特征在于，包括：对维修任务进行分解，得到维修行为；根据所述维修行为的仿真要求，确定所述维修行为的仿真方式；根据所述维修行为的仿真方式，获取非沉浸式仿真数据和沉浸式动作捕捉数据；根据所述非沉浸式仿真数据和所述沉浸式动作捕捉数据，生成虚拟人对所述维修任务的虚拟维修行为。

【技术特征摘要】
1.一种基于数据融合的虚拟维修仿真方法，其特征在于，包括：对维修任务进行分解，得到维修行为；根据所述维修行为的仿真要求，确定所述维修行为的仿真方式；根据所述维修行为的仿真方式，获取非沉浸式仿真数据和沉浸式动作捕捉数据；根据所述非沉浸式仿真数据和所述沉浸式动作捕捉数据，生成虚拟人对所述维修任务的虚拟维修行为。2.根据权利要求1所述的方法，其特征在于，所述根据所述维修行为的仿真方式，获取非沉浸式仿真数据和沉浸式动作捕捉数据包括：若所述维修行为的仿真方式是非沉浸式仿真方式，则利用人体动作和运动生成算法，生成基于3D人体骨骼模型的非沉浸式仿真数据；若所述维修行为的仿真方式是沉浸式仿真方式，则利用动作捕捉系统获取基于实际操作人员的人体骨骼模型的沉浸式动作捕捉数据。3.根据权利要求2所述的方法，其特征在于，所述根据所述非沉浸式仿真数据和所述沉浸式动作捕捉数据，生成虚拟人对所述维修任务的虚拟维修行为包括：对所述非沉浸式仿真数据和所述沉浸式动作捕捉数据进行时空协同处理，得到时空协同的非沉浸式仿真数据和沉浸式动作捕捉数据；利用所述时空协同的非沉浸式仿真数据和沉浸式动作捕捉数据，合成虚拟人对所述维修任务的虚拟维修行为。4.根据权利要求3所述的方法，其特征在于，所述对所述非沉浸式仿真数据和所述沉浸式动作捕捉数据进行时空协同处理，得到时空协同的非沉浸式仿真数据和沉浸式动作捕捉数据包括：利用动态时间规整算法，将所述非沉浸式仿真数据和所述沉浸式动作捕捉数据的时间对齐；根据人体根节点坐标方位，将所述非沉浸式仿真数据和所述沉浸式动作捕捉数据的坐标空间对齐。5.根据权利要求3或4所述的方法，其特征在于，在对所述非沉浸式仿真数据和所述沉浸式动作捕捉数据进行时空协同处理，得到时空协同的非沉浸式仿真数据和沉浸式动作捕捉数据之前，还包括：将所述...

【专利技术属性】
技术研发人员：耿杰，吕川，王冉冉，彭旭，周栋，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11