【技术实现步骤摘要】
本专利技术属于机器人训练，具体涉及一种机器人数据生成方法、装置、设备及存储介质。
技术介绍
1、在双臂机器人控制中，基于模仿学习的算法需要采集大量的演示数据用于双臂机器人的动作训练。然而，现有的数据采集方式和方法费时费力，严重影响了双臂机器人的发展和进步，现有的方法主要可以分为以下几类：
2、基于示教器的数据采集方法：该方法需要搭建一套完全相同的示教器模型，并保证示教器的机械臂控制能精确反馈到机器人端；数据采集人员需要操作示教器完成相应的动作，比如叠衣服，倒咖啡等，在机器人端接收到示教器的动作控制的过程中，不同视角的相机完成图像数据的采集。
3、该方法存在以下缺点：这种数据采集方法比较直观，但是对硬件的成本较高，需要搭建一套示教器，并且采集的过程费时费力。
4、基于仿真器的数据生成方法：该方法需要在仿真器中搭建相应的场景，并对目标对象进行建模；由于在仿真场景中目标对象以及机械臂都可以精确控制，因此可以通过预设轨迹进行相应数据的生成。
5、该方法存在以下缺点：这种方法对不同目标进行建模会花费大量的精力，并且仿真生成的数据跟真实场景的数据之间有一定的差距，往往导致对真实的机械臂训练效果不佳。
6、基于vr(虚拟现实)/ar(增强现实)的数据采集方法：该方法基于日常生活中常见的带有陀螺仪的设备比如vr头盔和手机等搭建采集设备，并装配在数据采集人员的相应身体部位，由数据采集人员在完成动作的同时收集这些设备的实时图像数据和陀螺仪数据。
7、该方法存在以下缺点：需要额外
8、综上，现有的数据生成方法至少存在着以下问题：
9、1、数据采集费时费力，导致数据采集效率低；
10、2、仿真生成的数据的准确度较低，与真实场景的数据之间有一定的差距，导致对真实的机械臂训练效果不佳。
技术实现思路
1、本专利技术的目的是提供一种机器人数据生成方法、装置、设备及存储介质，用以解决现有数据生成方法存在着数据采集效率低以及数据准确度较低的问题。
2、为了实现上述目的，本专利技术采用以下技术方案：
3、第一方面，本专利技术提供了一种机器人数据生成方法，所述方法包括：
4、获取机器人执行预设动作任务的多视角视频，基于预设的轨迹提取算法对多视角视频进行轨迹提取，得到多视角样本轨迹；
5、对多视角样本轨迹进行编码，得到多视角样本轨迹特征；
6、获取机器人动作的模拟视频，对机器人动作的模拟视频进行预处理，得到多帧动作模拟图像；
7、对多帧动作模拟图像进行编码，得到模拟图像特征；
8、将多视角样本轨迹特征与模拟图像特征进行拼接融合，得到融合数据；
9、将融合数据作为预训练的注意力机制神经网络模型输入，所述注意力机制神经网络模型输出多视角样本视频。
10、优选地，所述多视角视频包括：头部视角视频、胸部视角视频、左手腕视角视频和右手腕视角视频。
11、优选地，所述头部视角视频由部署在机器人的头部上的第一图像采集装置进行采集；
12、所述胸部视角视频由部署在机器人的胸部上的第二图像采集装置进行采集；
13、所述左手腕视角视频由部署在机器人的左手腕上的第三图像采集装置进行采集；
14、所述右手腕视角视频由部署在机器人的右手腕上的第四图像采集装置进行采集。
15、优选地，所述多视角样本视频包括：头部视角样本视频、胸部视角样本视频、左手腕视角样本视频和右手腕视角样本视频。
16、优选地，所述机器人动作的模拟视频至少包括：第三方设备对机器人执行预设动作任务时所拍摄到的视频、互联网上的机器人动作视频和抓取任务的演示视频。
17、优选地，所述预设动作任务包括：机器人将预设初始位置上的目标对象抓取至预设目标位置。
18、优选地，所述方法还包括：构建融合数据的文本约束，所述文本约束用于扩展机器人抓取目标对象的类型；
19、构建融合数据的文本约束，包括：
20、基于大语言模型，为目标对象创建文本提示词；
21、基于本文编码器对文本提示词进行编码，得到文本特征；
22、基于文本特征，生成约束图像特征；
23、将约束图像特征加入到融合数据中。
24、第二方面，本专利技术提供了一种机器人数据生成装置，所述装置用于实现上述的机器人数据生成方法，其特征在于，所述装置包括：
25、轨迹提取模块，用于获取机器人执行预设动作任务的多视角视频，基于预设的轨迹提取算法对多视角视频进行轨迹提取，得到多视角样本轨迹；
26、轨迹编码模块，用于对多视角样本轨迹进行编码，得到多视角样本轨迹特征；
27、图像模拟模块，用于获取机器人动作的模拟视频，对机器人动作的模拟视频进行预处理，得到多帧动作模拟图像；
28、图像编码模块，用于对多帧动作模拟图像进行编码，得到模拟图像特征；
29、数据融合模块，用于将多视角样本轨迹特征与模拟图像特征进行拼接融合，得到融合数据；
30、样本输出模块，用于将融合数据作为预训练的注意力机制神经网络模型输入，所述注意力机制神经网络模型输出多视角样本视频。
31、第三方面，本专利技术提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的机器人数据生成方法。
32、第四方面，本专利技术提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的机器人数据生成方法。
33、有益效果：
34、1、本专利技术的数据采集过程简单方便，不需要额外的硬件和特定的硬件支持，采集过程可以做到无感采集；
35、2、本专利技术只需要采集少量的机器人执行预设动作任务的多视角视频，再结合大量的机器人动作的模拟视频，并将多视角样本轨迹特征与模拟图像特征进行拼接融合，再以深度学习算法完成多种所需的视角变换，可生成大量的能够直接用于机器人模仿学习的样本数据（即多视角样本视频），降低了样本数据的采集难度；
36、3、本专利技术收集了大量的模拟视频，因此，生成的样本数据更加接近真实环境中的真实数据，可以有效避免样本数据和真实环境之间的差异。
本文档来自技高网...【技术保护点】
1.一种机器人数据生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的机器人数据生成方法，其特征在于，所述多视角视频包括：头部视角视频、胸部视角视频、左手腕视角视频和右手腕视角视频。
3.根据权利要求2所述的机器人数据生成方法，其特征在于，所述头部视角视频由部署在机器人的头部上的第一图像采集装置进行采集；
4.根据权利要求2或3所述的机器人数据生成方法，其特征在于，所述多视角样本视频包括：头部视角样本视频、胸部视角样本视频、左手腕视角样本视频和右手腕视角样本视频。
5.根据权利要求1所述的机器人数据生成方法，其特征在于，所述机器人动作的模拟视频至少包括：第三方设备对机器人执行预设动作任务时所拍摄到的视频、互联网上的机器人动作视频和抓取任务的演示视频。
6.根据权利要求1所述的机器人数据生成方法，其特征在于，所述预设动作任务包括：机器人将预设初始位置上的目标对象抓取至预设目标位置。
7.根据权利要求6所述的机器人数据生成方法，其特征在于，所述方法还包括：构建融合数据的文本约束，所述文本约束用于扩展机器
8.一种机器人数据生成装置，所述装置用于实现权利要求1-7中任一项所述的机器人数据生成方法，其特征在于，所述装置包括：
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述的机器人数据生成方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述的机器人数据生成方法。
...【技术特征摘要】
1.一种机器人数据生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的机器人数据生成方法，其特征在于，所述多视角视频包括：头部视角视频、胸部视角视频、左手腕视角视频和右手腕视角视频。
3.根据权利要求2所述的机器人数据生成方法，其特征在于，所述头部视角视频由部署在机器人的头部上的第一图像采集装置进行采集；
4.根据权利要求2或3所述的机器人数据生成方法，其特征在于，所述多视角样本视频包括：头部视角样本视频、胸部视角样本视频、左手腕视角样本视频和右手腕视角样本视频。
5.根据权利要求1所述的机器人数据生成方法，其特征在于，所述机器人动作的模拟视频至少包括：第三方设备对机器人执行预设动作任务时所拍摄到的视频、互联网上的机器人动作视频和抓取任务的演示视频。
6.根据权利要求1所...
【专利技术属性】
技术研发人员：闵伟，闫科利，周怡兵，
申请(专利权)人：杭州影身智能技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。