【技术实现步骤摘要】
本专利技术涉及脑机接口，尤其涉及一种基于大型语言模型辅助语义纠错的脑控机器人方法。
技术介绍
1、脑机接口（brain computer interface，bci），指在人或动物大脑与外部设备之间创建的直接连接，实现脑与设备的信息交换。
2、机器人控制技术是指用于管理和操控机器人的一系列技术和方法。这些技术允许机器人执行各种任务。其中包括但不限于导航与定位，运动控制，人机交互等方面。
3、目前大部分的脑机接口技术多使用稳态视觉诱发范式传递大脑信号，从而实现对于机器人预设动作的操控。针对现实生活中丰富的使用场景和丰富的交互物体，用户的需求呈现多样化趋势，更加倾向于使用自然语言来发布自己的指令，而机器人有限的预设动作无法满足丰富的人机交互需求。用户使用脑机接口拼写自然语言指令时会遇到以下问题：其一是，使用脑机接口进行文字解码时会因用户自身脑电信号激发或信号解码算法的原因出现指令字符的错误，导致指令无法准确下达。其二是仅通过预先编程的机器人控制程序难以满足丰富的人机交互需求，针对复杂的语义场景，难以准确识别语义自动调用自身设备、组合程序完成多样任务的方法。
技术实现思路
1、有鉴于此，本专利技术的目的在于提出一种基于大型语言模型辅助语义纠错的脑控机器人方法，以解决现有脑机接口文字解码容易出现错误以及复杂语义场景难以识别的问题。
2、基于上述目的，本专利技术提供了一种基于大型语言模型辅助语义纠错的脑控机器人方法，包括以下步骤：
3、向用户发
4、使用fbcca算法对脑电信号进行分类；
5、对fbcca算法分类后的结果进行文字命令识别，依照时序采集完整的英文字符串命令；
6、通过人工提示工程对大型语言模型进行提示和引导，得到语言模型生成程序；
7、通过语言模型生成程序对英文字符串命令进行纠错和语义理解，生成控制机器人所需要的代码；
8、其中人工提示工程具体步骤包括：
9、通过使用标准的python语法，编写导入大型语言模型已经拥有的python库函数的语句，以此作为大型语言模型解析自然语言命令或生成函数时调用的第三方库函数；
10、根据目标机器人的感知模块和控制模块，将基本的感知函数接口和机器人的基本运动函数的作为大型语言模型调用的第一方库函数；
11、设定提示模板作为大型语言模型的提示，以此建立语言模型生成程序；
12、其中使用fbcca算法对脑电信号进行分类包括：
13、从原始脑电信号中提取子带分量的带通滤波器是零相位切比雪夫 i 型无限脉冲响应滤波器；
14、使用matlab中的filtfilt() 函数实现滤波；
15、将典型相关分析过程分别应用于每个滤波后的子带分量，得到子带分量与所有刺激频率对应的预定义参考信号之间的相关向量，对于第k个参考信号，由n个相关值组成的相关向量定义如下：
16、；
17、其中表示下x,y的相关系数，为使以下相关系数取最大值的矩阵：
18、；
19、计算得到所有子带分量对应的相关值的加权平方和：
20、；
21、其中n是子带的索引，w（n）为自带分量的权重，定义为：
22、；
23、其中，a 和 b 是最大化分类性能的常数；
24、将具有最大的参考信号的频率被认为是ssvep的输入频率，即得到用户输入的字符。
25、优选地，语言模型生成程序建立为多个，包括文字纠错模块、用于进行语义理解任务的语义理解模块和用于生成控制机器人所需的代码的代码生成模块。
26、优选地，提示模板的设计方法包括：
27、在提示语句中包含调用感知模块接口函数和控制模块接口函数的python语句，并将感知返回的物体名称加入到新的提示中作为可交互物体，将其定义为可解析对象，以在后续的操作中进行属性解析和机器人动作交互；
28、为语言模型生成程序进行提示，使用多个示例以实现大型语言模型的语义理解任务中对于不同分级任务的解析。
29、优选地，每个所述示例均满足以下要求：
30、进行操作的每一个变量与函数有意义明确的命名以帮助大型语言模型在语义层面理解变量,若返回值是第三方库的数据类型，或者调用了第三方库的函数，则附加该库名的缩写后缀，提示其调用的是第三方库；
31、函数和变量以控制流的方式进行交互，以提示大型语言模型各个函数和变量的作用并规范大型语言模型生成的代码以控制流形式输出，每个模块均是以字符串注释为输入，以保证每个模块可以接受自然语言命令输入；
32、允许在示例中使用不在第一方或第三方库内函数或变量，加入python控制流。
33、优选地，不同分级任务包括解析物体属性、解析物体名称、解析位置关系和解析问题；
34、示例模板以以下问答对形式输入：
35、；
36、解析物体属性任务包含以下问题示例：
37、询问满足某种位置关系的物体名称，使用解析位置关系的模块，返回物体名称；
38、询问满足某种属性的物体名称，利用感知模块返回的特征进行处理，返回物体名称；
39、询问满足某种位置，某种属性的物体名称，运用感知模块和解析位置关系的模块，生成控制流并返回物体名称；
40、解析位置关系任务包含以下问题示例：
41、询问某个物体的位置，返回解析物体属性的模块返回的位置；
42、询问不同物体之间的距离，利用感知模块和解析物体名称模块返回的特征进行处理，构造控制流判断，返回距离；
43、询问如何找到构造特定形状的端点，使用控制流调用第三方解析形状的库，返回一系列点的位置；
44、解析问题任务包含以下问题示例：
45、询问某个物体是否满足某种属性条件，允许使用常识直接回答；
46、询问某个物体是否满足某种属性条件， 利用解析物体属性的模块返回是或者否；
47、询问围绕某个物体，其他物体是否满足某种位置关系，利用解析物体属性和解析位置关系返回是或否。
48、优选地，解析物体属性任务、所述解析物体名称任务、所述解析位置关系任务和所述解析问题任务之间能够相互调用。
49、优选地，大型语言模型选用openai大型语言模型gpt-3.5。
50、本专利技术的有益效果：
51、1、本专利技术相对于大多数时候基于稳态视觉诱导的脑机接口只能命令机器人做出预设的几类动作，或者对于复杂任务需要反复进行输入，本方案允许用户使用脑机接口输入一段英文字符串以完成发布相应的自然语言指令。通过大语言模型的文字理解能力纠正对于指令输入过程中由于用户自身脑电信号激发以及解码算法缘故出现的错误，保证了指令的正确性的同时允许用本文档来自技高网...
【技术保护点】
1.一种基于大型语言模型辅助语义纠错的脑控机器人方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的基于大型语言模型辅助语义纠错的脑控机器人方法，其特征在于，所述语言模型生成程序建立为多个，包括文字纠错模块、用于进行语义理解任务的语义理解模块和用于生成控制机器人所需的代码的代码生成模块。
3.根据权利要求2所述的基于大型语言模型辅助语义纠错的脑控机器人方法，其特征在于，所述提示模板的设计方法包括：
4.根据权利要求3所述的基于大型语言模型辅助语义纠错的脑控机器人方法，其特征在于，每个所述示例均满足以下要求：
5.根据权利要求4所述的基于大型语言模型辅助语义纠错的脑控机器人方法，其特征在于，所述不同分级任务包括解析物体属性、解析物体名称、解析位置关系和解析问题；
6.根据权利要求5所述的基于大型语言模型辅助语义纠错的脑控机器人方法，其特征在于，所述解析物体属性任务、所述解析物体名称任务、所述解析位置关系任务和所述解析问题任务之间能够相互调用。
7.根据权利要求1所述的基于大型语言模型辅助语义纠错的
...【技术特征摘要】
1.一种基于大型语言模型辅助语义纠错的脑控机器人方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的基于大型语言模型辅助语义纠错的脑控机器人方法，其特征在于，所述语言模型生成程序建立为多个，包括文字纠错模块、用于进行语义理解任务的语义理解模块和用于生成控制机器人所需的代码的代码生成模块。
3.根据权利要求2所述的基于大型语言模型辅助语义纠错的脑控机器人方法，其特征在于，所述提示模板的设计方法包括：
4.根据权利要求3所述的基于大型语言模型辅助语义纠错的脑控机器人方法，其特征在于，每个所述...
【专利技术属性】
技术研发人员：宋军，钟骏佳，齐家伟，朱子铭，余锦杰，何舒平，
申请(专利权)人：安徽大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。