【技术实现步骤摘要】
本专利技术涉及脑科学、人工智能、关键点检测领域，具体来说涉及一种基于脑机接口和脸部关键点识别的机器手控制方法。
技术介绍
1、脑机接口（brain computer interface，bci），指在人或动物大脑与外部设备之间创建的直接连接，实现脑与设备的信息交换。ssvep是一种通过视觉刺激引发大脑电活动的方法；在ssvep中，用户通过注视闪烁频率不同的光源或图案，从而引发特定频率的电位响应，运动想象是指通过想象特定的运动动作来激活大脑区域。
2、深度神经网络在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题，表现出了良好的智能特性。
3、关键点检测，人脸关键点检测是指在给定的人脸图像中，自动定位并标记出人脸的关键点。这些关键点通常包括眉毛、眼睛、鼻子、嘴巴和脸部轮廓等部位的点。
4、目前的脑控机器手大多采用运动想象控制，其抓取目标选择到目标放置过程需要用户高度集中并重复想象，抓取效率低下，且无法做到针对放置位置选择的快速响应。
技术实现思路
1、本专利技术的目的在于提供一种基于ssvep-mi和脸部关键点检测融合的脑控机器手方法，以解决上述
技术介绍
中提出的问题，使用目标检测模型使得用户在使用场景中快速识别物体并叠加闪烁，能够通过ssvep快速选择需要的物品；同时将根据物品姿态调用灵巧抓取算法，提升抓取效率；设计asm的脸部动作控制系统，增加响应更加迅速准确，功能的多样性，用来控制机
2、为实现上述目的，本专利技术提供如下技术方案：基于ssvep-mi和脸部关键点检测的机器手控制方法，该控制方法包括如下步骤：
3、s1、机器手识别物体：目标检测算法进行识别可抓取物品，对物品区域叠加闪烁，即对识别的具体物品区域叠加不同频率的闪烁，从而构成ssvep刺激范式设计；
4、s2、通过led显示呈现给用户，脑机接口采集用户产生的ssvep信号，信号预处理模块与抓取物品选择模块接收ssvep信号并进行分类，根据分类结果实施灵巧抓取，机械手自动执行抓取策略；
5、s3、机器手移动控制：脑机接口采集用户的mi信号，特征处理模块对采集的信号进行特征提取和特征选择，
6、将完成的结果送到信号分类模块进行分类，
7、根据信号分类的结果制定移动控制命令控制机器手系统的移动；
8、s4、脸部动作控制抓取：由摄像头采集用户的用户脸部样本，根据基于asm的脸部模型匹配方法先构建形状向量，
9、再用进行训练集对齐，匹配结束后即可实现ear/lar算法，并传递到系统锁定/抓取模块中执行锁定/抓取命令，实现脸部动作控制机器手的操作；
10、s5、ear算法通过眨眼动作进行ear值的计算，将计算好的ear值传递到系统锁定模块控制机器手系统的锁定解锁和关闭；
11、lar算法通过唇部动作进行lar值以及相关变量的计算，将计算好的数据传递到系统抓取模块，控制机器手系统进行抓取和释放的操作。
12、所述ssvep刺激范式设计使用目标检测算法中的目标检测模型owl-vit来检测和跟踪具体物品，通过接收图像和具体物品描述，并输出具体物品的分割遮罩，对识别的具体物品通过led显示叠加不同ssvep刺激范式，并让用户专注于具体物品8到10秒钟，
13、通过信号预处理模块进行带通滤波、小波变换和抓取物品选择进行rls-cca分类，识别出正在关注的具体物品，根据不同的物品制定不同的抓取策略。
14、进一步的，ssvep刺激范式为6hz、7.5hz、9hz 、11hz中的其中一种。
15、优选的，基于asm的脸部动作控制机器手使用摄像头搜集用户脸部样本构建形状向量，
16、再构建一个训练集，采用procrustes方法对训练集实行对齐操作，
17、结束之后通过ear/lar算法计算出眼镜和嘴唇的宽度和高度，并设定一个阈值用来判断是否进行眨眼和张嘴以及各项的次数，从而精准地控制机器手系统的锁定解锁/关闭/抓取和释放的功能。
18、进一步的，所述特征处理模块包括先进行特征提取再使用卡方检验进行特征选择，卡方检验特征𝑡和类别𝑐之间的chi值计算公式如下所示：
19、
20、n表示所有样本个数，a表示包含特征属于类别c的样本数，b表示包含特征不属于类别c的样本数，c表示不包含特征t但属于类别c的样本数，d表示不包含特征t也不属于类别c的样本数。
21、优选的，信号分类模块先采用递归最小二乘(rls)方法提取自发脑电信号与ssvep之间的差异，通过提取这一诱发特征，增强ssvep特征，再使用改进后的cca-rls方法应用在特征处理当中，具体过程为观察固定输入信号的自适应系数的输出误差信号在一段时间内的平均功率，将最小平均功率作为评判自适应系统是否最优的标准，公式如下 ：
22、
23、公式表示递归最小二乘法中权重向量 w的更新规则，wnew(n)表示是第n次迭代后的权重向量，wold(n-1)表示是上一次迭代的权重向量deltaw(n)表示是根据误差信号调整的修正项；
24、
25、 j( n) 是平均功率误差，表示期望获得的纯净 ssvep 信号与滤波后输出的误差的平方的期望， d( n): 枕区含噪信号，即预期响应， u( n): 非枕区信号，是自发脑电信号， ε( n): 输出误差信号，即期望信号与实际输出信号之间的差异， w是滤波权值向量的最小二乘估计。
26、进一步的，通过眼部坐标计算出眼睛的宽度和高度的纵横比ear
27、
28、再计算左右眼纵横比的平均值 ear：
29、
30、通过唇部的坐标计算出嘴唇的宽度和高度的纵横比lar
31、
32、与现有技术相比，本专利技术具有以下有益效果：
33、（1）本专利技术提供的一ssvep-mi和脸部关键点检测融合的脑控机器手方法，通过ssvep进行目标识别，mi控制机器手的移动，脸部动作控制机器手的抓取、锁定和解锁、关闭这类任务，与传统的脑机接口机器手相比，采用了混合范式，不同信号之间的分工更加明确，提高了抓取效率。
34、（2）本专利技术提供的一种基于owl-vit目标检测模型进行物体的检测从而在目标本文档来自技高网...
【技术保护点】
1.基于SSVEP-MI和脸部关键点检测的机器手控制方法，其特征在于：该控制方法包括如下步骤：
2.根据权利要求1所述基于SSVEP-MI和脸部关键点检测的机器手控制方法，其特征在于：所述SSVEP刺激范式设计使用目标检测算法中的目标检测模型OWL-VIT来检测和跟踪具体物品，通过接收图像和具体物品描述，并输出具体物品的分割遮罩，对识别的具体物品通过LED显示叠加不同SSVEP刺激范式，并让用户专注于具体物品8到10秒钟，
3.根据权利要求2所述基于SSVEP-MI和脸部关键点检测的机器手控制方法，其特征在于：SSVEP刺激范式为6Hz、7.5Hz、9Hz 、11Hz中的其中一种。
4.根据权利要求3所述基于SSVEP-MI和脸部关键点检测的机器手控制方法，其特征在于：基于ASM的脸部动作控制机器手使用摄像头搜集用户脸部样本构建形状向量，
5.根据权利要求3所述基于SSVEP-MI和脸部关键点检测的机器手控制方法，其特征在于：所述特征处理模块包括先进行特征提取再使用卡方检验进行特征选择，卡方检验特征𝑡和类别𝑐之间的CHI值计算公
6.根据权利要求3所述基于SSVEP-MI和脸部关键点检测的机器手控制方法，其特征在于：信号分类模块先采用递归最小二乘(RLS)方法提取自发脑电信号与SSVEP之间的差异，通过提取这一诱发特征，增强SSVEP特征，再使用改进后的CCA-RLS方法应用在特征处理当中，具体过程为观察固定输入信号的自适应系数的输出误差信号在一段时间内的平均功率，将最小平均功率作为评判自适应系统是否最优的标准，公式如下 ：
7.根据权利要求3所述基于SSVEP-MI和脸部关键点检测的机器手控制方法，其特征在于：通过眼部坐标计算出眼睛的宽度和高度的纵横比EAR
...【技术特征摘要】
1.基于ssvep-mi和脸部关键点检测的机器手控制方法，其特征在于：该控制方法包括如下步骤：
2.根据权利要求1所述基于ssvep-mi和脸部关键点检测的机器手控制方法，其特征在于：所述ssvep刺激范式设计使用目标检测算法中的目标检测模型owl-vit来检测和跟踪具体物品，通过接收图像和具体物品描述，并输出具体物品的分割遮罩，对识别的具体物品通过led显示叠加不同ssvep刺激范式，并让用户专注于具体物品8到10秒钟，
3.根据权利要求2所述基于ssvep-mi和脸部关键点检测的机器手控制方法，其特征在于：ssvep刺激范式为6hz、7.5hz、9hz 、11hz中的其中一种。
4.根据权利要求3所述基于ssvep-mi和脸部关键点检测的机器手控制方法，其特征在于：基于asm的脸部动作控制机器手使用摄像头搜集用户脸部样本构建形状向量，<...
【专利技术属性】
技术研发人员：宋军，沈杰，张群煜，钟骏佳，宋嘉欢，齐家伟，任乘乘，何舒平，
申请(专利权)人：安徽大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。