用于流体仿真的具有多模态信息机器人实验平台制造技术

本发明专利技术公开了一种用于流体仿真的具有多模态信息机器人实验平台，包括：场景搭建模块，用于根据输入或预先设置的场景素材搭建仿真场景；模型处理模块，用于在仿真场景中导入实验机器人模型并控制实验机器人模型进行实验；流体仿真模块，用于对实验机器人模型进行流体仿真，使实验机器人的粒子物理特性符合真实样本的条件；声音生成模块，用于对实验机器人进行仿真声音生成，使实验机器人的梅尔频谱特征符合真实样本的条件；网络通信模块，用于供平台使用者与仿真场景进行交互，以通过发送控制指令控制仿真场景的实验环境和实验机器人的仿真实验。本发明专利技术的技术方案能够免去了搭建真实机器人实验场景的繁琐工作，具有可扩展性强、真实度高等特点。真实度高等特点。真实度高等特点。

【技术实现步骤摘要】
用于流体仿真的具有多模态信息机器人实验平台


[0001]本专利技术涉及机器人仿真
，尤其涉及一种用于流体仿真的具有多模态信息机器人实验平台。

技术介绍

[0002]随着科技的快速发展，越来越多的自动化、智能化产品和设备进入了人类社会的各个领域。其中，服务机器人已经进入人们的日常生活，比如扫地机器人、快递配送机器人、医疗手术辅助机器人等，并且可以预见的是，越来越多不同种类、功能的机器人也会被研发出来提高人们的生活效率和生活质量。
[0003]很多与机器人相关的研究的准备工作和实验都非常繁琐和复杂，甚至实验过程会对机器人造成损坏，比如机器人强化学习就是其中的一个典型代表。所以很多与机器人相关的研发工作已经从实体机器人转移到虚拟的机器人仿真软件。但是，目前通用的一些机器人仿真平台还无法提供流体仿真、声音生成等功能，比如mujoco(Multi
‑
Joint dynamics with Contact，带接触的多关节动力学)、Gazebo(3D仿真器)，这就使得这些仿真软件与真实生活场景还有一些差距。
[0004]因此有必要设计开发一个可以进行流体仿真、声音生成的多模态机器人仿真平台，为下游的机器人研发工作提供基础条件。

技术实现思路

[0005]本专利技术的目的之一是为了克服现有技术中的不足，针对现有技术中存在的机器人仿真平台无法进行流体仿真、声音生成的问题，提供一种用于流体仿真的具有多模态信息机器人实验平台。
[0006]为实现以上目的，本专利技术通过以下技术方案实现：
[0007]第一方面，本专利技术提供了一种用于流体仿真的具有多模态信息机器人实验平台，所述平台包括场景搭建模块、模型处理模块、流体仿真模块、声音生成模块和网络通信模块；
[0008]所述场景搭建模块用于根据输入或预先设置的场景素材搭建仿真场景；
[0009]所述模型处理模块用于在所述仿真场景中导入实验机器人模型并控制所述实验机器人模型进行实验；
[0010]所述流体仿真模块用于对所述实验机器人模型进行流体仿真，使所述实验机器人的粒子物理特性符合真实样本的条件；
[0011]所述声音生成模块用于对所述实验机器人进行仿真声音生成，使所述实验机器人的梅尔频谱特征符合真实样本的条件；
[0012]网络通信模块用于供平台使用者与所述仿真场景进行交互，以通过发送控制指令控制所述仿真场景的实验环境和所述实验机器人的仿真实验。
[0013]在本申请的一个优选实施例中，所述场景搭建模块在搭建仿真场景时，通过绘制
符合现实生活场景的物品布局图，建立与整个仿真场景对应的根节点物体，利用所述物品布局图在所述根节点物体中规划并放置好各个物件的空物体并对空物体进行命名，在各个空物体下挂载预先设置的三维模型形成物体，为物体进行表面贴图，并赋予碰撞体，为仿真场景建立光源并对各个物体进行渲染。
[0014]在本申请的一个优选实施例中，所述模型处理模块在导入实验机器人模型时，先导入实验机器人模型的各个部分，再在各个部分之间建立父子关系，使所述实验机器人模型形成整体。
[0015]在本申请的一个优选实施例中，所述流体仿真模块包括流体粒子解析器和流体粒子发生器；
[0016]所述流体粒子解析器对所述仿真环境中的粘滞阻力、静止阈值、粒子的各向异性、粒子碰撞约束和粒子密度约束进行设置；
[0017]所述流体粒子发生器对所述仿真环境中的粒子进行设置，包括设置粒子池的大小、粒子分辨率和密度、粒子的表面张力、粒子的扩散速度。
[0018]在本申请的一个优选实施例中，所述声音生成模块包括前端的自回归生成模型和后端的声音转换器，所述自回归生成模型包括频谱生成器、周期性判别器和频谱判别器。
[0019]在本申请的一个优选实施例中，所述频谱生成器包括多个时序卷积块，每个时序卷积块在特征输出上相互串联，在生成结果上相互并联，并根据生成结果得到梅尔频谱特征。
[0020]在本申请的一个优选实施例中，所述周期性判别器通过时序卷积网络构建，所述时序卷积网络包括多个一维卷积层，每个卷积层的后方接有激活函数层，所述周期性判别器通过设置滑动窗口，在梅尔频谱特征的时间维度上滑动，判断当前的滑动窗口内的梅尔频谱特征在时间上是否符合真实样本的条件。
[0021]在本申请的一个优选实施例中，所述频谱判别器通过卷积神经网络搭建，所述卷积神经网络包括多个卷积层和多个全连接层，所述频谱判别器根据输入的梅尔频谱图，通过多个卷积层和多个全连接层的计算输出标量，根据标量的大小判断当前的梅尔频谱图在频率上是否符合真实样本的条件。
[0022]在本申请的一个优选实施例中，在所述网络通信模块中，平台使用者发送的控制指令包括场景控制指令、机器人控制指令、仿真控制指令和重置指令；
[0023]所述场景控制指令包括摄像头设置指令、仿真环境选择指令；
[0024]所述机器人控制指令包括实验机器人模型的关节角角度控制指令；
[0025]所述仿真控制指令包括流体粒子发生器设置指令、截图录像指令；
[0026]所述重置指令包括重置实验机器人模型关节角指令和重置流体发生指令。
[0027]本专利技术所公开的用于流体仿真的具有多模态信息机器人实验平台，能够进行流体仿真，并提供图像、声音、位置等多模态信息，使用者能自由搭建各种场景进行机器人仿真实验，免去了搭建真实机器人实验场景的繁琐工作，具有可扩展性强、真实度高等特点。
附图说明
[0028]本专利技术借助于以下附图进行描述：
[0029]图1是本专利技术中实施例的用于流体仿真的具有多模态信息机器人实验平台的模块
示意图；
[0030]图2是本专利技术中实施例的用于流体仿真的具有多模态信息机器人实验平台的仿真环境运行流程图；
[0031]图3是本专利技术中实施例的用于流体仿真的具有多模态信息机器人实验平台中，实验机器人模型各个部件的父子关系图；
[0032]图4是本专利技术中实施例的用于流体仿真的具有多模态信息机器人实验平台中，声音生成模块的声音生成流程图；
[0033]图5是本专利技术中实施例的用于流体仿真的具有多模态信息机器人实验平台中，自回归生成模型生成音频特征的过程示意图；
[0034]图6是本专利技术中实施例的用于流体仿真的具有多模态信息机器人实验平台中，频谱生成器的模型结构图；
[0035]图7是本专利技术中实施例的用于流体仿真的具有多模态信息机器人实验平台中，周期性判别器的工作示意图；
[0036]图8是本专利技术中实施例的用于流体仿真的具有多模态信息机器人实验平台中，频谱判别器的工作示意图。
具体实施方式
[0037]为了更好的理解本申请的技术方案，下面结合附图对本申请实施例进行详细描述。
[0038]应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于流体仿真的具有多模态信息机器人实验平台，其特征在于，所述平台包括场景搭建模块、模型处理模块、流体仿真模块、声音生成模块和网络通信模块；所述场景搭建模块用于根据输入或预先设置的场景素材搭建仿真场景；所述模型处理模块用于在所述仿真场景中导入实验机器人模型并控制所述实验机器人模型进行实验；所述流体仿真模块用于对所述实验机器人模型进行流体仿真，使所述实验机器人的粒子物理特性符合真实样本的条件；所述声音生成模块用于对所述实验机器人进行仿真声音生成，使所述实验机器人的梅尔频谱特征符合真实样本的条件；网络通信模块用于供平台使用者与所述仿真场景进行交互，以通过发送控制指令控制所述仿真场景的实验环境和所述实验机器人的仿真实验。2.根据权利要求1所述的实验平台，其特征在于，所述场景搭建模块在搭建仿真场景时，通过绘制符合现实生活场景的物品布局图，建立与整个仿真场景对应的根节点物体，利用所述物品布局图在所述根节点物体中规划并放置好各个物件的空物体并对空物体进行命名，在各个空物体下挂载预先设置的三维模型形成物体，为物体进行表面贴图，并赋予碰撞体，为仿真场景建立光源并对各个物体进行渲染。3.根据权利要求1所述的实验平台，其特征在于，所述模型处理模块在导入实验机器人模型时，先导入实验机器人模型的各个部分，再在各个部分之间建立父子关系，使所述实验机器人模型形成整体。4.根据权利要求1所述的实验平台，其特征在于，所述流体仿真模块包括流体粒子解析器和流体粒子发生器；所述流体粒子解析器对所述仿真环境中的粘滞阻力、静止阈值、粒子的各向异性、粒子碰撞约束和粒子密度约束进行设置；所述流体粒子发生器对所述仿真...

【专利技术属性】
技术研发人员：周洪钧，苏志成，尤鸣宇，
申请(专利权)人：无锡动视宫原科技有限公司，
类型：发明
国别省市：