一种适用于低视力患者的智能仿生眼镜及其控制方法技术

本发明专利技术公开了一种适用于低视力患者的智能仿生眼镜及控制方法，眼镜包括：实时采集图像的图像采集模块，采集、监测视障患者脑电波信号的脑电控制模块，接收图像信息和脑电波信息的信息处理模块，实时接收图像采集模块图像信息的图像处理系统，连接于信息处理模块并展示处理后画面的图像显示模块；眼镜采集视障患者脑电波信号，将信号转换为命令值，来控制助视器直接显示患者想要的图像结果，降低低视力患者的操作风险；本发明专利技术的控制方法通过深度学习模型来更好的调整学习算法参数，调整权重输入维度，更好更流畅的进行脑电控制调节，实现让有视力障碍的人能更好的调节眼前所看物体的图像特征，模拟人眼被动调节功能，方便患者的生活。的生活。的生活。

【技术实现步骤摘要】
一种适用于低视力患者的智能仿生眼镜及其控制方法


[0001]本专利技术涉及医疗辅助设备，特别是一种适用于低视力患者的智能仿生眼镜及其控制方法。

技术介绍

[0002]对于人类来说，80％的环境信息要通过眼睛获取，足见双眼的重要性。但遗憾的是，视觉障碍如今仍然是全球范围内没有完全解决的难题。
[0003]世界卫生组织(WHO)2019年发布的《世界视力报告》指出，全球至少有22亿人正在承受视力受损或失明的痛苦，盲人数量每年增加700万。其中至少10亿人本可以预防或通过必要的医疗或护理服务来解决近视、远视、青光眼、白内障等问题。
[0004]根据低视力临床研究表现，现阶段的低视力人群康复手段主要通过助视器来获得视觉训练或者视觉重建。然而目前市面上助视器的大多数控制方式局限于手柄、手势、语音等控制方式，不跟普通人一样可以通过眼睛进一步的确认效果，对于其视力存在障碍的患者来说，在很多场景下，很难触发其想实现的操作，容易发生误操作或者操作流程过长。
[0005]随着技术的发展，目前国内外陆续发布实现了人造眼球，通过手术植入的方式，将患者的人眼替换为人造眼球，通过人造眼球底部的实现类似视网膜的图像捕捉，然而由于该技术太过超前，产品并未投入真正使用，本身也不具备批量化生产的能力，高昂的手术花费让大多数视力残疾人根本无法承受，且手术本身存在较大风险，大多数患者仍然无法接受。
[0006]市场需要一种非植入式的仿生眼镜，区别于原先的助视器手动使用形态，专门面向有视力障碍的残障人士专门打造的增强现实眼镜，让有视力障碍的人能更好的调节眼前所看物体的图像特征，模拟人眼被动调节功能，以便更好生活，本专利技术解决这样的问题。

技术实现思路

[0007]为解决现有技术的不足，本专利技术的目的在于提供一种适用于低视力患者的智能仿生眼镜及其控制方法，能够让有视力障碍的人能更好的调节眼前所看物体的图像特征，模拟人眼的被动调节节奏，达到仿生眼镜的效果。
[0008]为了实现上述目标，本专利技术采用如下的技术方案：
[0009]一种适用于低视力患者的智能仿生眼镜，包括：实时采集图像的图像采集模块，采集、监测视障患者脑电波信号的脑电控制模块，接收图像信息和脑电波信息的信息处理模块，实时接收图像采集模块图像信息的图像处理系统，连接于信息处理模块并展示处理后画面的图像显示模块。
[0010]前述的一种适用于低视力患者的智能仿生眼镜，图像采集模块包括：设置于仿生眼镜上的RGB摄像头，设置于仿生眼镜上的红外摄像头。
[0011]前述的一种适用于低视力患者的智能仿生眼镜，脑电控制模块包括：置于人脑后部衬垫的棉絮层周边并用于采集脑电波信息的软性采集片，位于衬垫中心的脑电发射单
元，连接于软性采集片和脑电发射单元的脑电监测芯片。
[0012]前述的一种适用于低视力患者的智能仿生眼镜，软性采集片包括：位于脑后端的6个EEG信号电极片，处于头部左右两端的2个SEMG信号电极片。
[0013]前述的一种适用于低视力患者的智能仿生眼镜，脑电控制模块还包括：连接于脑电监测芯片的硬质调节器。
[0014]前述的一种适用于低视力患者的智能仿生眼镜，图像显示模块为模态显示屏。
[0015]一种适用于低视力患者的智能仿生眼镜的控制方法，
[0016]步骤一，在多个场景下进行训练，建立回归模型参数：
[0017]患者进入各个场景，重复实行以下步骤：
[0018]患者带上设备后，软件采集片贴在脑后，此时处于训练模式下，眼镜的显示屏上显示眼镜的默认展示设定好的命令集，同步该模式下画面展示内容为特定图形界面，让患者进行跟随练习，同时通过多个EEG信号电极片和SEMG信号电极片记录患者的EEG和SEMG信号，通过电极片之间的协同工作将信号进行放大并转换为数字信号，将数字信号传给信息处理模块后，信息处理模块对患者的脑电信号进行多频带滤波后，提取脑电的特征参数，筛查出特征波的周期、振幅、相位信息，训练好眼部控制时的反馈信息，经过训练后，建立场景下的脑电命令回归模型，用确定性自回归模型(FAR)和自适应自回归模型(AAR)提取脑电特征；
[0019]设备使用时，系统内自动建立自回归频谱，训练时的结果作为命令的触发条件并保存在信息处理模块中，训练完成后，比较触发脑电信息的特征来响应患者命令；
[0020]步骤二，佩戴智能仿生眼镜后确定场景，与原先训练时建立的数据集相比较，计算特征波的置信区间：
[0021]佩戴智能仿生眼镜后，眼镜的图像采集模块开始实时采集外界图像信息，并输出到图像显示模块，同步信息处理模块对当前图像进行场景分析，辨别当前所处环境，当场景识别返回结果存在多个置信结果时，患者可以手动选择；
[0022]场景确定完成后，患者对于眼前画面质量进行主观评断，脑电采集片采集脑部信息后，进行特征参数提取，筛查出特征波的周期、振幅、相位信息，与原先训练时建立的数据集相比较，计算特征波的置信区间；
[0023]步骤三，深度学习训练模型训练步骤包括：
[0024]首先当脑电采集系统监测到脑电控制命令时，开始执行操作，其中执行操作后患者情绪的波动情况，通过类别进行标记，P＝+1，M＝0，N＝
‑
1；
[0025]当患者脑电命令触发后，对于后续命令执行效果，进行情绪波动后；
[0026]若识别到积极或中性，未接受到下一次脑电命令时，则当前结果为递归截止条件，以情绪标记累积当前值，在深度模型中记录当前情绪表达效果和当前映射关系；
[0027]若情绪波动捕捉为消极时，进行下一阶权值递归，同时触发第二级命，二阶递归结果为积极或中性时，标记此情绪及识别路径，记为映射方案，强化深度模型，表示当患者发生此种情绪时，更希望从之前状态跳转至当前，以当前结果为递归截止条件；
[0028]若情绪波动为消极时，重新进行下一阶递归序列，依次类推，直至患者情绪转为积极或中性；
[0029]模型6阶后视为训练使用完成，若此时患者情绪偏向于中性，则此次结果以前5次
映射为有效记录，最后一次认为人为情绪因素中断或终止训练，不计为有效数据。
[0030]前述的一种适用于低视力患者的智能仿生眼镜的控制方法，
[0031]步骤一中，用确定性自回归模型(FAR)和自适应自回归模型(AAR)提取脑电特征的计算方法包括如下内容：
[0032]选用Marple算法得到FAR特征系数和最小均方误差(LMS)算法，具体参数模型如下：
[0033][0034]输入为白噪声的线性系统，输入u(n)和输出x(n)，模型为在n时刻的输出是n时刻的输入u(n)和p个过去的输出x(n
‑
k)的加权和；
[0035]前述的一种适用于低视力患者的智能仿生眼镜的控制方法，
[0036]步骤二中，计算特征波的置信区间的方法包括如下内容：
[0037]优先计算周期、振幅、相位的系列偏离度，置信度计算公式如本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适用于低视力患者的智能仿生眼镜，其特征在于，包括：实时采集图像的图像采集模块，采集、监测视障患者脑电波信号的脑电控制模块，接收图像信息和脑电波信息的信息处理模块，实时接收图像采集模块图像信息的图像处理系统，连接于信息处理模块并展示处理后画面的图像显示模块。2.根据权利要求1所述的一种适用于低视力患者的智能仿生眼镜，其特征在于，所述图像采集模块包括：设置于仿生眼镜上的RGB摄像头，设置于仿生眼镜上的红外摄像头。3.根据权利要求1所述的一种适用于低视力患者的智能仿生眼镜，其特征在于，所述脑电控制模块包括：置于人脑后部衬垫的棉絮层周边并用于采集脑电波信息的软性采集片，位于衬垫中心的脑电发射单元，连接于软性采集片和脑电发射单元的脑电监测芯片。4.根据权利要求3所述的一种适用于低视力患者的智能仿生眼镜，其特征在于，所述软性采集片包括：位于脑后端的6个EEG信号电极片，处于头部左右两端的2个SEMG信号电极片。5.根据权利要求3所述的一种适用于低视力患者的智能仿生眼镜，其特征在于，所述脑电控制模块还包括：连接于脑电监测芯片的硬质调节器。6.根据权利要求1所述的一种适用于低视力患者的智能仿生眼镜，其特征在于，所述图像显示模块为模态显示屏。7.一种适用于低视力患者的智能仿生眼镜的控制方法，其特征在于，步骤一，在多个场景下进行训练，建立回归模型参数：患者进入各个场景，重复实行以下步骤：患者带上设备后，软件采集片贴在脑后，此时处于训练模式下，眼镜的显示屏上显示眼镜的默认展示设定好的命令集，同步该模式下画面展示内容为特定图形界面，让患者进行跟随练习，同时通过多个EEG信号电极片和SEMG信号电极片记录患者的EEG和SEMG信号，通过电极片之间的协同工作将信号进行放大并转换为数字信号，将数字信号传给信息处理模块后，信息处理模块对患者的脑电信号进行多频带滤波后，提取脑电的特征参数，筛查出特征波的周期、振幅、相位信息，训练好眼部控制时的反馈信息，经过训练后，建立场景下的脑电命令回归模型，用确定性自回归模型(FAR)和自适应自回归模型(AAR)提取脑电特征；设备使用时，系统内自动建立自回归频谱，训练时的结果作为命令的触发条件并保存在信息处理模块中，训练完成后，比较触发脑电信息的特征来响应患者命令；步骤二，佩戴智能仿生眼镜后确定场景，与原先训练时建立的数据集相比较，计算特征波的置信区间：佩戴智能仿生眼镜后，眼镜的图像采集模块开始实时采集外界图像信息，并输出到图像显示模块，同步信息处理模块对当前图像进行场景分析，辨别...

【专利技术属性】
技术研发人员：章晓聪，童晓煜，陈达，徐默，顾钊铨，
申请(专利权)人：无锡集沁智能科技有限公司，
类型：发明
国别省市：