本发明专利技术公开了一种联合脑电和混合现实显示的术中引导方法及引导装置，方法包括如下步骤：步骤1、对病灶信息进行混合现实显示；步骤2、采集操作者的脑电信号；步骤3、对步骤2采集到的脑电信号做预处理；步骤4、利用分类算法提取关键解剖结构对应脑电信号；步骤5、经过步骤4分类后的脑电信号作重点标注处理；步骤6、针对不同手术对脑电信号循环进行分类标注。装置包括：信号采集模块、信号处理模块和混合现实显示模块。本发明专利技术利用脑电信号分类方法，通过对关键解剖结构的脑电信号进行识别，根据医生的脑电信号自动识别关键解剖结构从而进行视觉预警反馈，从而达到指导医生手术、减少医生手术误触、提升手术效果的目的。提升手术效果的目的。提升手术效果的目的。
【技术实现步骤摘要】
一种联合脑电和混合现实显示的术中引导方法及引导装置
[0001]本专利技术涉及手术导航
，尤其是一种联合脑电和混合现实显示的术中引导方法及引导装置。
技术介绍
[0002]在临床诊断和手术的过程中，医疗安全是非常重要的，只有结合临床应用的开发才是有价值的人工智能产品。在医生手术的过程中，复杂的解剖结构只能通过医生的经验进行识别，受血水等影响，会出现判断错误或者误伤其他组织等情况，将会致使病人瘫痪甚至死亡。
[0003]对于现有的X光片、CT等影像学资料，并不能够完全直观地展示人体的解剖结构，同时现有的影像学对于复杂的外科手术难以起到指导作用，临床上依然通过三维可视化的方式进行诊断及术前规划。另外，临床手术中，医生对于解剖结构的识别往往依靠经验或者影像学，但是对于复杂的手术，混合现实技术的术中导航也往往难以起到提醒作用。因此如何利用混合现实显示技术和脑机接口相结合，能够使医生在术前对组织的相对位置有足够明确的了解，并且能过够在手术过程中提醒医生误伤其他组织。
[0004]这种单纯依靠视觉层面上的导航往往也存在一定的安全问题，例如，三维重建影像与病人的体位不能够完整的配准，这将导致误差的产生，同时也会造成医生的过度信任，完全丧失了对解剖结构的识别，无形中增加了手术的危险程度。如何在手术过程中不仅能够引导医生手术，而且还能提醒医生周围组织结构，成为临床手术解决的一个重要问题。因此，在临床上的外科手术中急需要一种能够在基于混合现实显示技术进行术中导航的同时提醒医生防止误伤其他组织的系统去减少手术风险，从而提高手术成功的机率。
技术实现思路
[0005]本专利技术所要解决的技术问题在于，提供一种联合脑电和混合现实显示的术中引导方法及引导装置，利用脑电信号分类方法，通过对关键解剖结构的脑电信号进行识别，根据医生的脑电信号自动识别关键解剖结构从而进行视觉预警反馈，从而达到指导医生手术、减少医生手术误触、提升手术效果的目的。
[0006]为解决上述技术问题，本专利技术提供一种联合脑电和混合现实显示的术中引导方法，包括如下步骤：
[0007]步骤1、对病灶信息进行混合现实显示；
[0008]步骤2、采集操作者的脑电信号；
[0009]步骤3、对步骤2采集到的脑电信号做预处理；
[0010]步骤4、利用分类算法提取关键解剖结构对应脑电信号；
[0011]步骤5、经过步骤4分类后的脑电信号作重点标注处理；
[0012]步骤6、针对不同手术对脑电信号循环进行分类标注。
[0013]优选的，步骤1中，对病灶信息进行混合现实显示具体为：将病灶信息以三维重建
的方式实现由二维图像至三维可视解剖结构的直观呈现，利用混合现实显示技术，实现虚拟和现实的结合，将三维病灶信息以可视可触的方式放置于手术操作台病人对应部位。
[0014]优选的，步骤2中，操作者头戴脑电采集帽，采集操作者在手术过程中位于视觉皮层的脑电信号。
[0015]优选的，步骤3中，将采集到的脑电信号利用降噪、滤波以及去眼电方式进行实时处理，得到预处理的脑电信号；通过eeglab软件对脑电信号进行预处理，将获取到的信号导入，定位视觉皮层的通道信息和位置信息的电极；在采集数据过程中剔除掉可能携带部分无关的通道信息，并对信号进行滤波，滤波范围为0.1
‑
100Hz，对原始信号进行降采样率操作，随后进行独立主成分分析，剔除坏段，并且将噪音以及眼电等不相关的信号滤除，最终得到预处理后的信号，并进行保存。
[0016]优选的，步骤4中，利用分类算法提取关键解剖结构对应脑电信号具体包括如下步骤：
[0017]步骤41、对脑电信号进行一次特征提取并降采样处理：预处理后的脑电信号作为输入，依次经过四个卷积核大小为3
×
3的卷积层，特征维度即通道数控制在32，第一次特征提取过后，利用核大小为2
×
2的降采样层对信号进行降采样处理；
[0018]步骤42、对一次降采样处理后的信号进行二次特征提取并降采样处理：依次特征提取的脑电信号经过两个核大小为3
×
3的卷积层，为了感受脑电信号更深层次、更精细的特征，这次将特征维度即通道数升至64，进行二次特征提取，此后再通过一个核大小为2
×
2的降采样层进行二次降采样；
[0019]步骤43、对第二次降采样处理后的信号进行三次特征提取并降采样处理：第二次降采样处理后的信号经过一个特征维度为大小为64，核大小为3
×
3的卷积层进行特征提取，随经和核大小为2
×
2的降采样层进行降采样；
[0020]步骤44、对经第三次降采样后的信号进行分类处理：第三次降采样处理后的信号经过一个自注意力机制和LSTM模块感知时序信息，然后经过通道大小为512的全卷积处理后得到最终的感知信号强度，得出分类结果。
[0021]优选的，步骤5中，得出分类结果后，即得到关键解剖部位的操作者脑电信号，在手术中对此类脑电信号予以视觉反馈，在混合现实显示呈现中添加醒目提醒和震动反馈，达到术中实时提醒的目的。
[0022]优选的，步骤6中，步骤1至步骤5为一次手术流程的术中提醒，针对不同手术循环进行步骤1至步骤5即可完成不同手术的术中提醒。
[0023]相应的，一种联合脑电和混合现实显示的术中引导装置，包括：信号采集模块、信号处理模块和混合现实显示模块；信号采集模块采集操作者在手术过程中位于视觉皮层的脑电信号，信号处理模块对信号采集模块采集到的脑电信号进行处理，得到分类结果后，在混合现实显示模块上进行显示，达到术中实时提醒的效果。
[0024]优选的，信号处理模块对信号进行预处理，利用分类算法提取关键解剖结构对应的脑电信号。
[0025]优选的，针对不同手术对脑电信号循环进行分类标注在混合现实显示模块进行显示，完成不同手术的术中提醒。
[0026]本专利技术的有益效果为：本专利技术结合脑电信号和混合现实显示技术对术中操作进行
引导，利用混合现实显示技术实现病灶信息直观呈现，对脑电进行分类识别关键解剖结构信息并反馈至混合现实显示界面，对作重要提示，达到引导医生防止误触、提升手术效果的目的。
附图说明
[0027]图1为本专利技术的方法流程示意图。
[0028]图2为本专利技术的脑电信号分类算法示意图。
具体实施方式
[0029]如图1所示，一种联合脑电和混合现实显示的术中引导方法，包括如下步骤：
[0030]步骤1、对病灶信息进行混合现实显示；将病灶信息以三维重建的方式实现由二维图像至三维可视解剖结构的直观呈现，利用混合现实显示技术，实现虚拟和现实的结合，将三维病灶信息以可视可触的方式放置于手术操作台病人对应部位。
[0031]步骤2、采集操作者的脑电信号；操作者头戴脑电采集帽，采集操作者在手术过程中位于视觉皮层的脑电信号。
[0032]步骤3、对步骤2采集到的脑电本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种联合脑电和混合现实显示的术中引导方法，其特征在于，包括如下步骤：步骤1、对病灶信息进行混合现实显示；步骤2、采集操作者的脑电信号；步骤3、对步骤2采集到的脑电信号做预处理；步骤4、利用分类算法提取关键解剖结构对应脑电信号；步骤5、经过步骤4分类后的脑电信号作重点标注处理；步骤6、针对不同手术对脑电信号循环进行分类标注。2.如权利要求1所述的联合脑电和混合现实显示的术中引导方法，其特征在于，步骤1中，对病灶信息进行混合现实显示具体为：将病灶信息以三维重建的方式实现由二维图像至三维可视解剖结构的直观呈现，利用混合现实显示技术，实现虚拟和现实的结合，将三维病灶信息以可视可触的方式放置于手术操作台病人对应部位。3.如权利要求1所述的联合脑电和混合现实显示的术中引导方法，其特征在于，步骤2中，操作者头戴脑电采集帽，采集操作者在手术过程中位于视觉皮层的脑电信号。4.如权利要求1所述的联合脑电和混合现实显示的术中引导方法，其特征在于，步骤3中，将采集到的脑电信号利用降噪、滤波以及去眼电方式进行实时处理，得到预处理的脑电信号；通过eeglab软件对脑电信号进行预处理，将获取到的信号导入，定位视觉皮层的通道信息和位置信息的电极；在采集数据过程中剔除掉可能携带部分无关的通道信息，并对信号进行滤波，滤波范围为0.1
‑
100Hz，对原始信号进行降采样率操作，随后进行独立主成分分析，剔除坏段，并且将噪音以及眼电等不相关的信号滤除，最终得到预处理后的信号，并进行保存。5.如权利要求1所述的联合脑电和混合现实显示的术中引导方法，其特征在于，步骤4中，利用分类算法提取关键解剖结构对应脑电信号具体包括如下步骤：步骤41、对脑电信号进行一次特征提取并降采样处理：预处理后的脑电信号作为输入，依次经过四个卷积核大小为3
×
3的卷积层，特征维度即通道数控制在32，第一次特征提取过后，利用核大小为2
×
2的降采样层对信号进行降采样处理；步骤42、对一次降采样处理后的信号进行二次特征提取并降采样处理：依次特...
【专利技术属性】
技术研发人员：徐天泽，杜庆节，张赛楠，曹治，韩浩杰，陈芳，张道强，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。