一种基于无监督域适应的长期稳定脑机接口系统和方法技术方案

本发明专利技术公开了一种基于无监督域适应的长期稳定脑机接口系统和方法，脑机接口系统包括能够根据神经信号进行运动控制的运动控制模型；所述运动控制模型包括域适应观测模块、分类模块以及运动解码模块，其中，所述域适应观测模块用于对目标域神经信号进行编码以提取隐藏特征，所述分类模块用于根据隐藏特征预测运动方向，所述运动解码模块用于根据隐藏特征经过解码预测运动轨迹；所述域适应观测模块能够根据目标域神经信号采用无监督域适应学习方式进行参数优化更新，以保证运动控制模型长期稳定的运动控制。期稳定的运动控制。期稳定的运动控制。

【技术实现步骤摘要】
一种基于无监督域适应的长期稳定脑机接口系统和方法


[0001]本专利技术属于侵入式动作电位神经信号分析领域，具体涉及一种基于无监督域适应的长期稳定脑机接口系统和方法。

技术介绍

[0002]脑机接口(Brain Machine Interface，BMI)通过解码神经活动中的运动意图来实现从大脑对外部设备的直接控制，BCI具有实现运动康复和神经假肢的潜力。目前运动相关的神经信号，包括从背侧前运动皮质(PMd)和初级运动皮质(M1)采集到的神经信号，被证明与肌肉运动的准备和执行密切相关，已经被广泛应用于成熟的脑机接口实验中，甚至已被用于神经假体成功模拟了受试者的肢体运动。
[0003]神经信号的动力学特征(dynamics)。目前已有多项研究利用观测到的神经元数据对大脑内部的动力系统进行建模，提取去噪的低维隐状态作为神经信号的动力学特征，并试图根据动力学特征估计与运动有关的参数，推断运动意图。这种基于线性动力系统(LDS)的方法假设当前的隐状态可以被模拟为过去隐状态的线性变换。采用这种基于LDS的方法，神经信号的内在特征被描述为平滑的隐状态，一些方法实现了更准确和鲁棒的脑机接口算法。
[0004]无监督域适应(unsupervised domain adaptation，UDA)是一个具有广泛应用前景的问题，并且可以用于实现脑机接口的长期鲁棒性。脑机接口在长期使用中由于一些不可避免的问题(例如，大脑内组织的随机流动，脑内神经元坏死和电极阵列移位等)存在随时间推移的不稳定性，时间越久的脑机接口其运动预测能力越差，这限制了脑机接口从实验室向实际应用的推广。
[0005]目前流行的UDA方法可以大致分为距离最小化方法和对抗性域适应方法。基于距离的方法采用各种域距离度量，并通过降低域间距离来尽量减少这种域差异。对抗性域适应方法是基于深度神经网络的，它引入了一个额外的判别器来混淆不同领域的特征。对于神经信号的域偏移，一些相关的工作通过有监督再训练或使用不同类型的辅助信息再训练来完成脑机接口的重新校准。这些方法得到的脑机借口算法仍然会面临随着时间长久算法鲁棒性下降的问题。
[0006]目前尚未有基于神经信号的动力学特征进行无监督域适应，训练得到长期稳定的脑机接口系统。

技术实现思路

[0007]鉴于上述，本专利技术的目的是提供一种基于无监督域适应的长期稳定脑机接口系统和方法，实现依据神经信号进行长期稳定的运动控制。
[0008]为实现上述专利技术目的，实施例提供了一种基于无监督域适应的长期稳定脑机接口系统，所述脑机接口系统包括能够根据神经信号进行运动控制的运动控制模型；
[0009]所述运动控制模型包括域适应观测模块、分类模块以及运动解码模块，其中，所述
域适应观测模块用于对目标域神经信号进行编码以提取隐藏特征，所述分类模块用于根据隐藏特征预测运动方向，所述运动解码模块用于根据隐藏特征经过解码预测运动轨迹；
[0010]所述域适应观测模块能够根据目标域神经信号采用无监督域适应学习方式进行参数优化更新，以保证运动控制模型长期稳定的运动控制。
[0011]优选地，所述运动控制模型的构建过程为：
[0012]构建包含源域观测模块、分类模块、运动解码模块的预训练模型，所述源域观测模块用于对源域神经信号进行编码以提取隐藏特征；
[0013]根据源域神经信号样本并采用监督学习方式对预训练模型进行参数优化；
[0014]提取参数优化的源域观测模块辅助域适应观测模块的训练，固定预训练模型参数不变，根据源域神经信号样本和目标域神经信号样本，并采用无监督预适应学习方式对域适应观测模块通过跨域对齐特征空间概率分来进行参数优化；
[0015]提取参数优化后的域适应观测模块、分类模块以及运动解码模块组成运动控制模型。
[0016]优选地，所述源域观测模块和域适应观测模块采用相同结构，包括多层感知机。
[0017]优选地，所述分类模块包括多层感知机和多分类激活层。
[0018]优选地，所述运动解码模块包括线性动力系统、解码单元，所述线性动力系统依据隐藏特征提取连续的运动学特征，所述解码单元依据运动学特征进行解码以得到运动轨迹预测结果。
[0019]优选地，所述解码单元包括递归神经网络、全连接层以及Tanh激活函数。
[0020]优选地，采用监督学习方式对预训练模型进行参数优化时，采用的损失函数包括分类模块输出的运动方向预测结果与真实运动方向标签的交叉熵损失、运动解码模块输出的运动轨迹预测结果与真实运动轨迹标签的重建损失、基于线性动力系统参数构架的正则化损失。
[0021]优选地，采用无监督预适应学习方式对训练架构中的域适应观测模块通过跨域对齐特征空间概率分来进行参数优化时，采用的损失函数包括边际分布对齐约束损失和条件分布对齐约束损失；
[0022]边际分布对齐约束损失L
m
表示为：
[0023]L
m
＝||E[φ(h
s
)]‑
E[φ(h
t
)]||
[0024]条件分布对齐约束损失L
CD
表示为：
[0025][0026]其中，h
s
表示源域观测模块根据源域神经信号样本提取的隐藏特征，h
t
表示域适应观测模块根据目标域神经信号样本提取的隐藏特征，φ(
·
)则表示采用核方法将隐藏特征映射到再生核希尔伯特空间的映射操作，E(
·
)表示期望，||
·
||表示距离，k表示运动方向的分类索引，l
s
表示源域神经信号样本的运动方向，l
t
′
表示目标域神经信号样本的运动方向，表示运动方向为k的源域神经信号样本对应的隐藏特征，表示运动方向为k的目标域神经信号样本对应的隐藏特征。
[0027]优选地，所述目标域神经信号样本的运动方向l
t
′
＝k是通过分类模块输出的运动
方向预测结果，通过对分类模块的运动方向预测结果进行置信度评估，筛选高置信度的运动方向预测结果及其对应的目标域神经信号样本来进行域适应观测模块的参数优化。
[0028]为实现上述专利技术目的，实施例提供了一种基于无监督域适应的长期稳定脑机接口方法，所述方法应用上述脑机接口系统，包括以下步骤：
[0029]采集目标域神经信号，利用运动控制模型对目标域神经信号进行运动控制，包括：利用域适应观测模块对目标域神经信号进行编码以提取隐藏特征，利用分类模块根据隐藏特征预测运动方向，利用运动解码模块根据隐藏特征经过解码预测运动轨迹；
[0030]根据目标域神经信号采用无监督域适应学习方式对域适应观测模块的参数优化更新，以保证运动控制模型长期稳定的运动控制。
[0031]与现有技术相比，本专利技术具有的有益效果至少包括：
[0032]通过域适应对齐并固定运动皮层的潜在动本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无监督域适应的长期稳定脑机接口系统，其特征在于，所述脑机接口系统包括能够根据神经信号进行运动控制的运动控制模型；所述运动控制模型包括域适应观测模块、分类模块以及运动解码模块，其中，所述域适应观测模块用于对目标域神经信号进行编码以提取隐藏特征，所述分类模块用于根据隐藏特征预测运动方向，所述运动解码模块用于根据隐藏特征经过解码预测运动轨迹；所述域适应观测模块能够根据目标域神经信号采用无监督域适应学习方式进行参数优化更新，以保证运动控制模型长期稳定的运动控制。2.根据权利要求1所述的基于无监督域适应的长期稳定脑机接口系统，其特征在于，所述运动控制模型的构建过程为：构建包含源域观测模块、分类模块、运动解码模块的预训练模型，所述源域观测模块用于对源域神经信号进行编码以提取隐藏特征；根据源域神经信号样本并采用监督学习方式对预训练模型进行参数优化；提取参数优化的源域观测模块辅助域适应观测模块的训练，固定预训练模型参数不变，根据源域神经信号样本和目标域神经信号样本，并采用无监督预适应学习方式对域适应观测模块通过跨域对齐特征空间概率分来进行参数优化；提取参数优化后的域适应观测模块、分类模块以及运动解码模块组成运动控制模型。3.根据权利要求2所述的基于无监督域适应的长期稳定脑机接口系统，其特征在于，所述源域观测模块和域适应观测模块采用相同结构，包括多层感知机。4.根据权利要求1或2所述的基于无监督域适应的长期稳定脑机接口系统，其特征在于，所述分类模块包括多层感知机和多分类激活层。5.根据权利要求1或2所述的基于无监督域适应的长期稳定脑机接口系统，其特征在于，所述运动解码模块包括线性动力系统、解码单元，所述线性动力系统依据隐藏特征提取连续的运动学特征，所述解码单元依据运动学特征进行解码以得到运动轨迹预测结果。6.根据权利要求5所述的基于无监督域适应的长期稳定脑机接口系统，其特征在于，所述解码单元包括递归神经网络、全连接层以及Tanh激活函数。7.根据权利要求5所述的基于无监督域适应的长期稳定脑机接口系统，其特征在于，采用监督学习方式对预训练模型进行参数优化时，采用的损失函数包括分类模块输出的运动方向预测结果与真实运动方向标签的交叉熵损失、运动解码模块输出的运动轨迹预测结果与真实运动轨迹标签的重建损失、基于线性动力系统参数构架的正则化损失。8.根据权利要求2所述的...

【专利技术属性】
技术研发人员：潘纲，方涛，郑乾，祁玉，
申请(专利权)人：浙江大学，
类型：发明
国别省市：