【技术实现步骤摘要】
本专利技术涉及一种人工智能训练方法，尤其涉及一种机器人仿真训练方法。
技术介绍
1、本部分的描述仅提供与本专利技术公开相关的背景信息，而不构成现有技术。
2、机器人控制模型(例如，act(action chunking with transformer)算法)是一个端到端的深度学习模型，可以基于视觉信息和关节编码器信息作为观测值进行机器人实时控制，即可以从影像映射到动作，让机器人从视觉输入中学习和模仿执行特定动作。端到端深度学习模型通常需要借助仿真环境(如mujoco、gazebo)进行训练，并在仿真中验证性能。然而，仿真训练的模型难以直接应用于实际场景，需要额外的数据采集和训练，也就是说，从仿真到现实的迁移效率低，且真实场景的数据采集和训练成本高，限制了机器人智能模型的实际应用推广。
3、同时，进一步地，在训练中，由于机器人存在工作场景复杂，处理数据维度多样以及机器人结构性误差，现场光照条件变化等带来的干扰问题，造成机器人智能模型需要依赖更大量数据样本进行训练，而基于真实场景的数据采集工作则需要投入更多人力/物力，造成训练成本昂贵的问题。
4、应该注意，上面对技术背景的介绍只是为了方便对本专利技术的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本专利技术的
技术介绍
部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
技术实现思路
1、本专利技术的目的是为了能提供一种机器人仿真训练方法，可通过在对实景
2、为了实现上述目的，本专利技术公开了以下一种机器人仿真训练方法，所述机器人仿真训练方法包括：
3、提供视觉仿真器，并采集初始环境信息，所述视觉仿真器根据所述初始环境信息构建实景三维模型；
4、提供动力学仿真器，所述动力学仿真器生成实景孪生数字模型，将所述实景孪生数字模型与所述实景三维模型相绑定；
5、通过所述动力学仿真器在所述实景孪生数字模型中模拟仿真机器人的不同运动，并在模拟所述仿真机器人运动的过程中，所述动力学仿真器实时地将运动数据传递至所述视觉仿真器，以使得所述视觉仿真器实时地渲染所述实景三维模型的运动，根据不同位姿下所述实景三维模型渲染的图像数据及对应的所述实景孪生数字模型生成的动力学数据执行训练；
6、其中，所述视觉仿真器在根据所述初始环境信息和/或所述动力学仿真器提供的运动数据渲染所述实景三维模型的运动时，在渲染中通过不同的光线模拟向量，使得用于训练的不同位姿下所述实景三维模型渲染的图像数据中的多个模拟环境光照场景，其中，任一个所述模拟环境光照场景中的模拟环境信息与初始环境信息不完全相同。
7、作为上述技术方案的进一步描述，在步骤“提供视觉仿真器，并采集初始环境信息，所述视觉仿真器根据所述初始环境信息构建实景三维模型”中，所述实景三维模型包括基于点云的高斯模型；在步骤“在渲染中改变不同的光线模拟向量”中，设置包围所述高斯模型的光场，所述高斯模型的点云中的部分的点各自接受到等量的预设光线采集量后，各自映射出所述实景三维模型待渲染的图像中对应的rgb点，以形成一帧完整的所述实景三维模型渲染的图像。
8、作为上述技术方案的进一步描述，在一次所述仿真机器人的动作中，所述光场设置为唯一。
9、作为上述技术方案的进一步描述，在一次所述仿真机器人的动作中，所述光场设置为具有不同光线的多个。
10、作为上述技术方案的进一步描述，所述光场设置为沿水平方向包围所述高斯模型顶部的半球型。
11、作为上述技术方案的进一步描述，还包括控制器，所述控制器用于根据所述视觉仿真器生成的图像输出进行判断决策并将决策结果输入给动力学仿真器；所述动力学仿真器实时传输运动数据至所述视觉仿真器，所述视觉仿真器同步渲染所述实景三维模型的运动。
12、作为上述技术方案的进一步描述，所述控制器设置为键盘、vr、鼠标和模拟物中的至少一种。
13、作为上述技术方案的进一步描述，在步骤“根据不同位姿下所述实景三维模型渲染的图像数据及对应的所述实景孪生数字模型生成的动力学数据执行训练”中，对不同位姿下所述实景三维模型渲染的图像数据的特征提取采用卷积神经网络结构，并将所述特征与所述实景孪生数字模型生成的动力学数据对齐。
14、作为上述技术方案的进一步描述，基于所述特征与所述实景孪生数字模型生成的动力学数据对齐的关系，预测所述仿真机器人的运作动作。
15、本专利技术还公开一种机器人仿真控制装置，其中，所述装置包括存储器和处理器，所述存储器中存储有至少一条程序指令，所述处理器通过加载并执行所述至少一条程序指令以实现上述机器人仿真训练中的任一所述的方法。
16、借由以上的技术方案，本专利技术的有益效果如下：
17、本专利技术的机器人仿真训练方法，对现实场景中的初始环境信息进行采集，而后借助视觉仿真器建立实景三维模型，并绑定与之匹配的实景孪生数字模型，在动力学仿真器中对实景孪生数字模型进行仿真机器人的模拟运动，并同步反馈至视觉仿真器中，及时地生成运动的实景三维模型，再将运动的实景三维模型重新输入动力学仿真器中进行实景孪生数字模型的生成。在上述过程中仅需对现实场景中的初始环境信息进行一次性采集即可实现长期地训练，不需要大量地进行人工采集数据，成本和效率更优。
18、同时，本申请中在视觉仿真器生成实景三维模型的渲染环节中介入了融合可调光线，模拟现场光线变化干扰，高效且低成本地生成模型训练需要的大量数据集合
19、为使能更进一步了解本专利技术的特征及
技术实现思路
，请参阅以下有关本专利技术的详细说明与图式，然而所提供的图式仅用于提供参考与说明，并非用来对本专利技术加以限制。
【技术保护点】
1.一种机器人仿真训练方法，其特征在于，所述机器人仿真训练方法包括：
2.根据权利要求1所述的机器人仿真训练方法，其特征在于：在步骤“提供视觉仿真器，并采集初始环境信息，所述视觉仿真器根据所述初始环境信息构建实景三维模型”中，所述实景三维模型包括基于点云的高斯模型；在步骤“在渲染中改变不同的光线模拟向量”中，设置包围所述高斯模型的光场，所述高斯模型的点云中的部分的点各自接受到等量的预设光线采集量后，各自映射出所述实景三维模型待渲染的图像中对应的RGB点，以形成一帧完整的所述实景三维模型渲染的图像。
3.根据权利要求2所述的机器人仿真训练方法，其特征在于：在一次所述仿真机器人的动作中，所述光场设置为唯一。
4.根据权利要求2所述的机器人仿真训练方法，其特征在于：在一次所述仿真机器人的动作中，所述光场设置为具有不同光线的多个。
5.根据权利要求2所述的机器人仿真训练方法，其特征在于：所述光场设置为沿水平方向包围所述高斯模型顶部的半球型。
6.根据权利要求1所述的机器人仿真训练方法，其特征在于：还包括控制器，所述控制器用于根据
7.根据权利要求6所述的机器人仿真训练方法，其特征在于：所述控制器设置为键盘、VR、鼠标和模拟物中的至少一种。
8.根据权利要求1所述的机器人仿真训练方法，其特征在于：在步骤“根据不同位姿下所述实景三维模型渲染的图像数据及对应的所述实景孪生数字模型生成的动力学数据执行训练”中，对不同位姿下所述实景三维模型渲染的图像数据的特征提取采用卷积神经网络结构，并将所述特征与所述实景孪生数字模型生成的动力学数据对齐。
9.根据权利要求8所述的机器人仿真训练方法，其特征在于：基于所述特征与所述实景孪生数字模型生成的动力学数据对齐的关系，预测所述仿真机器人的运作动作。
10.一种机器人仿真控制装置，其特征在于，所述装置包括存储器和处理器，所述存储器中存储有至少一条程序指令，所述处理器通过加载并执行所述至少一条程序指令以实现如权利要求1至9任一所述的方法。
...【技术特征摘要】
1.一种机器人仿真训练方法，其特征在于，所述机器人仿真训练方法包括：
2.根据权利要求1所述的机器人仿真训练方法，其特征在于：在步骤“提供视觉仿真器，并采集初始环境信息，所述视觉仿真器根据所述初始环境信息构建实景三维模型”中，所述实景三维模型包括基于点云的高斯模型；在步骤“在渲染中改变不同的光线模拟向量”中，设置包围所述高斯模型的光场，所述高斯模型的点云中的部分的点各自接受到等量的预设光线采集量后，各自映射出所述实景三维模型待渲染的图像中对应的rgb点，以形成一帧完整的所述实景三维模型渲染的图像。
3.根据权利要求2所述的机器人仿真训练方法，其特征在于：在一次所述仿真机器人的动作中，所述光场设置为唯一。
4.根据权利要求2所述的机器人仿真训练方法，其特征在于：在一次所述仿真机器人的动作中，所述光场设置为具有不同光线的多个。
5.根据权利要求2所述的机器人仿真训练方法，其特征在于：所述光场设置为沿水平方向包围所述高斯模型顶部的半球型。
6.根据权利要求1所述的机器人仿真训练方法，其特征在于：还包括控制器，所述...
【专利技术属性】
技术研发人员：安健，叶晨阳，郭秋昊，
申请(专利权)人：苏州博特勒机器人有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。