【技术实现步骤摘要】
本专利技术涉及具身智能技术、人工智能，具体涉及一种基于边端协同大模型的具身智能执行与训练方法及装置。
技术介绍
1、当今社会智能机器人已经涉及人类生活的各个方面，在高端制造以及精细加工方面发挥着越来越重要的作用。如何提高机器人的响应速度，实现实时性响应，成为机器人发展的重要方向。
2、目前，现有技术方案中，机器人调用的大语言模型或多模态大模型都部署在云端，机器人实际执行过程中，根据网络情况，数据上传、推理结果回传都存在通信延时，影响执行响应的实时性。另一方面，用户原始数据需要上传到云端，数据安全隐私得不到良好保障。同时，传统机器人控制技术，依赖于确定性的固定代码操作流程，只能处理简单任务。现有的云端部署大模型控制机器人的方案在控制大数量基数的机器人时必然造成算力负担与调用拥堵，而且机器人终端不方便在硬件层面提供算力支持。与此同时，机器人终端不具备基于人工智能大模型训练的自学习能力。
3、因此，如何专利技术一种具身智能大模型的机器人执行与训练方法，成为亟需解决的问题。
技术实现思路
1、为此，本专利技术提供基于边端协同大模型的具身智能执行与训练方法，能够通过本地边缘侧多模态大模型输出全局任务规划，机器人本体执行任务时进行局部规划，边端协同，提高整个系统的效率。同时，有效降低大模型推理时延和成本，降低云服务器负载，同时用户原始数据不离开本地，提升数据安全和隐私性。
2、为了实现上述目的，本专利技术提供如下技术方案：基于边端协同大模型的具身智能执行与训
3、向机器人本体发送语音指令，机器人本体接收到所述语音指令并将所述语音指令转换为文本指令；
4、机器人本体通过感知系统获取机器视觉反馈及视觉图像；机器人本体将所述文本指令、所述机器视觉反馈及所述视觉图像发送至边缘侧单元；所述边缘侧单元中设有训练好的多模态大模型；
5、所述多模态大模型将所述文本指令、所述机器视觉反馈及所述视觉图像进行推理，推理后获得所述文本指令的意图；所述多模态大模型根据所述文本指令的意图，生成任务分解指令，并将所述任务分解指令发送至机器人本体；
6、机器人本体根据所述任务分解指令，调用底盘移动api及原子技能库api，完成目标任务；
7、当目标任务完成后，机器人本体向所述边缘侧单元反馈过程算法数据与执行成效；所述边缘侧单元根据所述过程算法数据与执行成效进行后训练升级。
8、作为基于边端协同大模型的具身智能执行与训练方法的优选方案，所述多模态大模型为针对特定场景的垂直大模型，包括：通用基模型、家庭场景大模型、仓储场景大模型、工业场景大模型。
9、作为基于边端协同大模型的具身智能执行与训练方法的优选方案，所述底盘移动api与所述原子技能库api中的api是以字符串格式呈现的python函数代码块，由python解释器执行，从而驱动机器人的行走和动作。
10、作为基于边端协同大模型的具身智能执行与训练方法的优选方案，在所述边缘侧单元根据所述过程算法数据与执行成效进行后训练升级的过程中，若任务完成过程中存在训练提升内容，所述边缘侧单元将分配硬件算力，以反馈的所述过程算法数据和机器人终端传感模块反馈的数据为语料库，进行后训练升级。
11、作为基于边端协同大模型的具身智能执行与训练方法的优选方案，所述边缘侧单元的后训练包括：对齐训练和微调训练。
12、本专利技术还提供基于边端协同大模型的具身智能执行与训练装置，基于以上基于边端协同大模型的具身智能执行与训练方法，包括：
13、语音指令接收转换模块，用于向机器人本体发送语音指令，机器人本体接收到所述语音指令并将所述语音指令转换为文本指令；
14、文本指令上传模块，用于机器人本体通过感知系统获取机器视觉反馈及视觉图像；机器人本体将所述文本指令、所述机器视觉反馈及所述视觉图像发送至边缘侧单元；所述边缘侧单元中设有训练好的多模态大模型；
15、多模态大模型处理模块，用于所述多模态大模型将所述文本指令、所述机器视觉反馈及所述视觉图像进行推理，推理后获得所述文本指令的意图；所述多模态大模型根据所述文本指令的意图，生成任务分解指令，并将所述任务分解指令发送至机器人本体；
16、目标任务执行模块，用于机器人本体根据所述任务分解指令，调用底盘移动api及原子技能库api，完成目标任务；
17、多模态大模型后训练升级模块，用于当目标任务完成后，机器人本体向所述边缘侧单元反馈过程算法数据与执行成效；所述边缘侧单元根据所述过程算法数据与执行成效进行后训练升级。
18、作为基于边端协同大模型的具身智能执行与训练装置的优选方案，所述文本指令上传模块中，所述多模态大模型为针对特定场景的垂直大模型，包括：通用基模型、家庭场景大模型、仓储场景大模型、工业场景大模型。
19、作为基于边端协同大模型的具身智能执行与训练装置的优选方案，所述目标任务执行模块中，所述底盘移动api与所述原子技能库api中的api是以字符串格式呈现的python函数代码块，由python解释器执行，从而驱动机器人的行走和动作。
20、作为基于边端协同大模型的具身智能执行与训练装置的优选方案，所述多模态大模型后训练升级模块中，在所述边缘侧单元根据所述过程算法数据与执行成效进行后训练升级的过程中，若任务完成过程中存在训练提升内容，所述边缘侧单元将分配硬件算力，以反馈的所述过程算法数据和机器人终端传感模块反馈的数据为语料库，进行后训练升级。
21、作为基于边端协同大模型的具身智能执行与训练装置的优选方案，所述多模态大模型后训练升级模块中，所述边缘侧单元的后训练包括：对齐训练和微调训练。
22、本专利技术具有如下优点：向机器人本体发送语音指令，机器人本体接收到所述语音指令并将所述语音指令转换为文本指令；机器人本体通过感知系统获取机器视觉反馈及视觉图像；机器人本体将所述文本指令、所述机器视觉反馈及所述视觉图像发送至边缘侧单元；所述边缘侧单元中设有训练好的多模态大模型；所述多模态大模型将所述文本指令、所述机器视觉反馈及所述视觉图像进行推理，推理后获得所述文本指令的意图；所述多模态大模型根据所述文本指令的意图，生成任务分解指令，并将所述任务分解指令发送至机器人本体；机器人本体根据所述任务分解指令，调用底盘移动api及原子技能库api，完成目标任务；当目标任务完成后，机器人本体向所述边缘侧单元反馈过程算法数据与执行成效；所述边缘侧单元根据所述过程算法数据与执行成效进行后训练升级。本专利技术通过本地边缘侧多模态大模型输出全局任务规划，机器人本体执行任务时进行局部规划，边端协同，提高整个系统的效率。同时，为机器人提供感知与决策能力，从而使机器人在面对复杂任务时能像人类一样思考解决方案。本专利技术提出的边端结合的具身智能大模型布置方案既能在硬件层面保障推理算力需求，又能提供机器人工作一线场景的训练数据更新，即机器人自学习能力。轻量化、小型化本文档来自技高网...
【技术保护点】
1.基于边端协同大模型的具身智能执行与训练方法，其特征在于，包括：
2.根据权利要求1所述的基于边端协同大模型的具身智能执行与训练方法，其特征在于，所述多模态大模型为针对特定场景的垂直大模型，包括：通用基模型、家庭场景大模型、仓储场景大模型、工业场景大模型。
3.根据权利要求2所述的基于边端协同大模型的具身智能执行与训练方法，其特征在于，所述底盘移动API与所述原子技能库API中的API是以字符串格式呈现的Python函数代码块，由Python解释器执行，从而驱动机器人的行走和动作。
4.根据权利要求3所述的基于边端协同大模型的具身智能执行与训练方法，其特征在于，在所述边缘侧单元根据所述过程算法数据与执行成效进行后训练升级的过程中，若任务完成过程中存在训练提升内容，所述边缘侧单元将分配硬件算力，以反馈的所述过程算法数据和机器人终端传感模块反馈的数据为语料库，进行后训练升级。
5.根据权利要求4所述的基于边端协同大模型的具身智能执行与训练方法，其特征在于，所述边缘侧单元的后训练包括：对齐训练和微调训练。
6.基于边端协同大
7.根据权利要求6所述的基于边端协同大模型的具身智能执行与训练装置，其特征在于，所述文本指令上传模块中，所述多模态大模型为针对特定场景的垂直大模型，包括：通用基模型、家庭场景大模型、仓储场景大模型、工业场景大模型。
8.根据权利要求7所述的基于边端协同大模型的具身智能执行与训练装置，其特征在于，所述目标任务执行模块中，所述底盘移动API与所述原子技能库API中的API是以字符串格式呈现的Python函数代码块，由Python解释器执行，从而驱动机器人的行走和动作。
9.根据权利要求8所述的基于边端协同大模型的具身智能执行与训练装置，其特征在于，所述多模态大模型后训练升级模块中，在所述边缘侧单元根据所述过程算法数据与执行成效进行后训练升级的过程中，若任务完成过程中存在训练提升内容，所述边缘侧单元将分配硬件算力，以反馈的所述过程算法数据和机器人终端传感模块反馈的数据为语料库，进行后训练升级。
10.根据权利要求9所述的基于边端协同大模型的具身智能执行与训练装置，其特征在于，所述多模态大模型后训练升级模块中，所述边缘侧单元的后训练包括：对齐训练和微调训练。
...【技术特征摘要】
1.基于边端协同大模型的具身智能执行与训练方法，其特征在于，包括：
2.根据权利要求1所述的基于边端协同大模型的具身智能执行与训练方法，其特征在于，所述多模态大模型为针对特定场景的垂直大模型，包括：通用基模型、家庭场景大模型、仓储场景大模型、工业场景大模型。
3.根据权利要求2所述的基于边端协同大模型的具身智能执行与训练方法，其特征在于，所述底盘移动api与所述原子技能库api中的api是以字符串格式呈现的python函数代码块，由python解释器执行，从而驱动机器人的行走和动作。
4.根据权利要求3所述的基于边端协同大模型的具身智能执行与训练方法，其特征在于，在所述边缘侧单元根据所述过程算法数据与执行成效进行后训练升级的过程中，若任务完成过程中存在训练提升内容，所述边缘侧单元将分配硬件算力，以反馈的所述过程算法数据和机器人终端传感模块反馈的数据为语料库，进行后训练升级。
5.根据权利要求4所述的基于边端协同大模型的具身智能执行与训练方法，其特征在于，所述边缘侧单元的后训练包括：对齐训练和微调训练。
6.基于边端协同大模型的具身智能执行与训练装置，采用权利要求1-5任一项所述的基于边端协同...
【专利技术属性】
技术研发人员：刘福运，安君逸，武秀恒，许多，
申请(专利权)人：立物北京科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。