【技术实现步骤摘要】
本专利技术涉及可穿戴设备，具体为基于自适应视力矫正和多模态交互的智能眼镜系统及其实现方法。
技术介绍
1、智能眼镜是一种将先进技术与眼镜相结合的可穿戴设备，它融合了光学、电子、计算机等多领域技术，旨在为用户提供便捷、高效的信息交互和功能体验。智能眼镜可以实现多种功能，如显示信息、拍照录像、导航定位等，为人们的生活和工作带来了极大的便利。但现有的智能眼镜在实际使用时仍存在以下缺点：一是无法满足视力有缺陷用户的需求，导致用户需额外佩戴矫正眼镜，因此使用起来不够便捷；二是只能监测有限的生理参数，因此无法提供全面的健康管理；三是需要通过触摸按键或者使用特定语音来操作，因此在人机交互方面不够自然流畅；四是缺乏对用户情绪状态的感知，无法提供个性化的情绪管理服务；五是显示参数不能根据用户的眼动特征进行智能调整，因此容易造成眼部疲劳；六是只能提供简单的导航功能，无法满足用户对丰富体验的需求；七是采用传统的电池供电方式，导致续航时间较短，需要频繁充电，给用户带来不便。
技术实现思路
1、本专利技术的目的在于提供基于自适应视力矫正和多模态交互的智能眼镜系统及其实现方法，以解决上述
技术介绍
中提出的问题。
2、为实现上述目的，本专利技术提供如下技术方案：基于自适应视力矫正和多模态交互的智能眼镜系统，包括镜架、扬声器、太阳能供电模块、液晶可变焦镜片、储能模块、数据采集模块和数据处理模块，所述镜架上安装有数据处理模块，数据处理模块电性连接有扬声器、太阳能供电模块、液晶可变焦镜片和数据采集模块，且扬
3、优选的，所述数据采集模块包括波前传感器、生物传感器、前置摄像头、后置摄像头、麦克风、眼动传感器和光照传感器，生物传感器包括心电传感器、光电容积脉搏波传感器、皮肤电传感器和温度传感器。
4、优选的，所述数据处理模块包括视力检测与矫正单元、多模态健康监控单元、人机交互单元、情感识别与管理单元、智能防疲劳单元、增强现实单元和能量管理模块。
5、优选的，所述人机交互单元包括手势识别子单元、语音内容识别子单元和指令融合子单元，情感识别与管理单元包括面部表情识别子单元、语音情感识别子单元、情绪状态确定子单元和情绪管理建议子单元。
6、优选的，所述增强现实单元包括实时导航子单元、实时翻译子单元和物体识别子单元。
7、基于自适应视力矫正和多模态交互的智能眼镜系统的实现方法，包括步骤一，数据采集；步骤二，视力检测与矫正；步骤三，多模态健康监控；步骤四，人机交互；步骤五，情感识别与管理；步骤六，智能防疲劳；步骤七，增强现实；步骤八，能量管理；
8、其中上述步骤一中，利用数据采集模块采集人体数据和环境数据；
9、其中上述步骤二中，数据采集模块将波前传感器采集的波前数据传输给视力检测与矫正单元，视力检测与矫正单元自动调整液晶可变焦镜片的折射率；
10、其中上述步骤三中，数据采集模块将生物传感器采集的心电信号、脉搏波信号、皮肤电信号和体温传输给多模态健康监控单元，多模态健康监控单元自动输出健康状态评估结果；
11、其中上述步骤四中，数据采集模块将后置摄像头采集的手部图像和麦克风采集的语音信号传输给人机交互单元，手势识别子单元分析手部图像，识别手势指令，语音内容识别子单元分析语音信号，识别语音指令，指令融合子单元融合识别出的手势和语音指令，控制系统的功能；
12、其中上述步骤五中，数据采集模块将前置摄像头采集的面部图像和麦克风采集的语音信号传输给情感识别与管理单元，面部表情识别子单元分析面部图像，识别面部表情，语音情感识别子单元分析语音信号，识别语音情感，情绪状态确定子单元将面部表情和语音情感进行加权融合识别，输出情绪识别结果，情绪管理建议子单元根据情绪识别结果生成情绪管理建议；
13、其中上述步骤六中，数据采集模块将眼动传感器采集的眼球位置和瞳孔直径数据传输给智能防疲劳单元，智能防疲劳单元判断疲劳程度，并根据疲劳程度调整显示亮度和蓝光强度；
14、其中上述步骤七中，数据采集模块将后置摄像头采集的图像数据传输给增强现实单元，实时导航子单元分析图像数据，更新三维点云地图，实时翻译子单元分析图像数据，识别文本区域，输出翻译结果，物体识别子单元分析图像数据，识别物体，输出物体类别和位置边界框；
15、其中上述步骤八中，数据采集模块将光照传感器采集的光照强度数据传输给能量管理模块，能量管理模块预测太阳能供电模块的输出psolar(t)，并实时监控各模块功耗pi(t)，同时采用优化算法动态调整各模块的能量供应，解决以下问题：
16、
17、约束条件为：
18、ptotal(t)≤psolar(t)+pbattery(t)。
19、其中，ptotal(t)为总能耗，pbattery(t)为储能模块存储的电能。
20、优选的，所述步骤二中，视力检测与矫正单元利用泽尼克多项式对波前像差进行拟合计算，公式如下：
21、
22、其中，ρ和θ为极坐标，为泽尼克多项式，为对应系数；
23、焦距公式如下：
24、
25、其中，f为焦距，n(v)为驱动电压v对应的折射率，r为镜片曲率半径。
26、优选的，所述步骤三中，多模态健康监控单元从心电信号、脉搏波信号、皮肤电信号和体温中提取心率、血氧饱和度和皮肤电导率变化率，再利用多参数融合算法融合取心率、血氧饱和度、皮肤电导率变化率和体温，得到特征向量，最后将特征向量输入支持向量机中进行健康状况分类；
27、心率hr计算公式为：
28、
29、其中，为平均r-r间期；
30、血氧饱和度spo2使用脉搏波信号的红光和红外光比值r计算：
31、spo2＝a-b×r
32、其中，a和b为校准系数；
33、皮肤电导率变化率δgsr计算公式如下：
34、
35、其中，gsr(t)为皮肤电信号。
36、优选的，所述步骤六中，智能防疲劳单元智能防疲劳单元提取眨眼频率和眼球运动速度，通过阈值判断疲劳程度；
37、眨眼频率fblink计算公式为：
38、
39、眼球运动速度vt计算公式为：
40、
41、显示亮度l计算公式为：
42、l＝l0×(1-αf)
43、蓝光强度b计算公式为：
44、b＝b0×(1-βf)
45、其中，α和β为调整系数。
46、优选的，所述步骤八中，能量管理模块采用的充放电策略为：
47、当psolar(t)＞ptotal(t)时，太阳能供电模块给储能模块充电；
48、当psolar(t)＜ptotal(t)时，由储能模块供电。
本文档来自技高网...【技术保护点】
1.基于自适应视力矫正和多模态交互的智能眼镜系统，包括镜架(1)、扬声器(11)、太阳能供电模块(12)、液晶可变焦镜片(13)、储能模块(14)、数据采集模块(2)和数据处理模块(3)，其特征在于：所述镜架(1)上安装有数据处理模块(3)，数据处理模块(3)电性连接有扬声器(11)、太阳能供电模块(12)、液晶可变焦镜片(13)和数据采集模块(2)，且扬声器(11)、太阳能供电模块(12)、液晶可变焦镜片(13)和数据采集模块(2)均安装于镜架(1)上。
2.根据权利要求1所述的基于自适应视力矫正和多模态交互的智能眼镜系统，其特征在于：所述数据采集模块(2)包括波前传感器(21)、生物传感器(22)、前置摄像头(23)、后置摄像头(24)、麦克风(25)、眼动传感器(26)和光照传感器(27)，生物传感器(22)包括心电传感器(221)、光电容积脉搏波传感器(222)、皮肤电传感器(223)和温度传感器(224)。
3.根据权利要求1所述的基于自适应视力矫正和多模态交互的智能眼镜系统，其特征在于：所述数据处理模块(3)包括视力检测与矫正单元(31)、多模
4.根据权利要求3所述的基于自适应视力矫正和多模态交互的智能眼镜系统，其特征在于：所述人机交互单元(33)包括手势识别子单元(331)、语音内容识别子单元(332)和指令融合子单元(333)，情感识别与管理单元(34)包括面部表情识别子单元(341)、语音情感识别子单元(342)、情绪状态确定子单元(343)和情绪管理建议子单元(344)。
5.根据权利要求3所述的基于自适应视力矫正和多模态交互的智能眼镜系统，其特征在于：所述增强现实单元(36)包括实时导航子单元(361)、实时翻译子单元(362)和物体识别子单元(363)。
6.基于自适应视力矫正和多模态交互的智能眼镜系统的实现方法，包括步骤一，数据采集；步骤二，视力检测与矫正；步骤三，多模态健康监控；步骤四，人机交互；步骤五，情感识别与管理；步骤六，智能防疲劳；步骤七，增强现实；步骤八，能量管理；其特征在于：
7.根据权利要求6所述的基于自适应视力矫正和多模态交互的智能眼镜系统的实现方法，其特征在于：所述步骤二中，视力检测与矫正单元(31)利用泽尼克多项式对波前像差进行拟合计算，公式如下：
8.根据权利要求6所述的基于自适应视力矫正和多模态交互的智能眼镜系统的实现方法，其特征在于：所述步骤三中，多模态健康监控单元(32)从心电信号、脉搏波信号、皮肤电信号和体温中提取心率、血氧饱和度和皮肤电导率变化率，再利用多参数融合算法融合取心率、血氧饱和度、皮肤电导率变化率和体温，得到特征向量，最后将特征向量输入支持向量机中进行健康状况分类；
9.根据权利要求6所述的基于自适应视力矫正和多模态交互的智能眼镜系统的实现方法，其特征在于：所述步骤六中，智能防疲劳单元(35)智能防疲劳单元(35)提取眨眼频率和眼球运动速度，通过阈值判断疲劳程度；
10.根据权利要求6所述的基于自适应视力矫正和多模态交互的智能眼镜系统的实现方法，其特征在于：所述步骤八中，能量管理模块(37)采用的充放电策略为：
...【技术特征摘要】
1.基于自适应视力矫正和多模态交互的智能眼镜系统，包括镜架(1)、扬声器(11)、太阳能供电模块(12)、液晶可变焦镜片(13)、储能模块(14)、数据采集模块(2)和数据处理模块(3)，其特征在于：所述镜架(1)上安装有数据处理模块(3)，数据处理模块(3)电性连接有扬声器(11)、太阳能供电模块(12)、液晶可变焦镜片(13)和数据采集模块(2)，且扬声器(11)、太阳能供电模块(12)、液晶可变焦镜片(13)和数据采集模块(2)均安装于镜架(1)上。
2.根据权利要求1所述的基于自适应视力矫正和多模态交互的智能眼镜系统，其特征在于：所述数据采集模块(2)包括波前传感器(21)、生物传感器(22)、前置摄像头(23)、后置摄像头(24)、麦克风(25)、眼动传感器(26)和光照传感器(27)，生物传感器(22)包括心电传感器(221)、光电容积脉搏波传感器(222)、皮肤电传感器(223)和温度传感器(224)。
3.根据权利要求1所述的基于自适应视力矫正和多模态交互的智能眼镜系统，其特征在于：所述数据处理模块(3)包括视力检测与矫正单元(31)、多模态健康监控单元(32)、人机交互单元(33)、情感识别与管理单元(34)、智能防疲劳单元(35)、增强现实单元(36)和能量管理模块(37)。
4.根据权利要求3所述的基于自适应视力矫正和多模态交互的智能眼镜系统，其特征在于：所述人机交互单元(33)包括手势识别子单元(331)、语音内容识别子单元(332)和指令融合子单元(333)，情感识别与管理单元(34)包括面部表情识别子单元(341)、语音情感识别子单元(342)、情绪状态...
【专利技术属性】
技术研发人员：禇克庆，田玮，郑兆启，魏巍，魏言春，
申请(专利权)人：吉林云投莱森购数字科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。