一种基于MR智能眼镜的内容交互方法技术

本发明专利技术公开了一种基于MR智能眼镜的内容交互方法，涉及智能交互技术领域，包括判断用户的状态和用户的需求属性，并获取视觉注视点区域的局部图像；对获取的图像内容进行人工智能处理，根据处理结果，对相关应用、服务和信息的通知图标进行优先度排序；根据用户的需求属性和优先度排序，检索数据库获取答案或打开相关应用，并在光学显示器上呈现。提供更准确的内容交互体验，实现目标检测、语义分割等功能，提高对图像的理解和识别能力，提高了注意力判断的准确性和效率，使用户能够快速获取所需信息。引入多模态数据库和相似度搜索技术，加速匹配和查询过程，提高了内容检索的效率。提高了内容检索的效率。提高了内容检索的效率。

【技术实现步骤摘要】
一种基于MR智能眼镜的内容交互方法


[0001]本专利技术涉及智能交互
，特别是一种基于MR智能眼镜的内容交互方法。

技术介绍

[0002]目前，业内常用的现有技术为，全息影像的解释，全息影像是指在机器（近眼显示设备、智能眼镜）生成的虚拟对象通过智能眼镜的光学显示器看到的虚拟影像。交互式世界包含真实内容（与物理环境中的真实对象相关联） 和虚拟内容的任何组合，在最普遍的意义上，修改现实技术可以产生这样一个互动的世界。AR技术和MR技术提供了交互式世界，其包括作为基础的物理环境的展示，其中添加了任何类型的虚拟对象。虚拟对象可以包括文本，图标，视频，图形用户界面演示，静态场景元素，动画角色等。V技术提供完全由虚拟内容组成的交互式世界。近眼显示设备是一款集成眼动追踪技术、脑电波感应技术、图像识别技术与近眼光学成像等技术的智能设备，未来它能够代替手机成为新一代智能计算终端设备。它可以帮助人们在日常生活中便利地解决许多问题，它将成为人们离不开的智能工具。
[0003]目前AR/VR智能眼镜的交互技术有手势识别、语音识别、眼动追踪、脑机接口、控制手柄这几种交互技术，其中眼动追踪是其使用过程中最重要的交互方式之一。当然眼动追踪交互方式具有移动选择快、隐私性强、消耗体力少、方便快捷等无可取代的优势。当通过注视目标一定时长、双目眨眼、单目眨眼、眼球运动方向（眼球往上看、往左右看等）等一系列的眼睛行为与近眼显示设备或者显示器中所呈现的虚拟影像进行交互时（交瓦包括选择确认、点击、翻页滑动、属性弹出等，包括但不限于上述交互行为）需要人在主观意识层面上付出巨大的认知和精力去协调眼睛对近眼显示设备界面的交互。以上的交互方式不像是在使用鼠标在点击左右键的时候，人的主观意识不需要过多的参与到操作中来，而目前的眼动交互行为，例如眼睛眨眼“点击确定”需要人付出人的一定主观精力，并且影响视线，因此单纯的眼动追踪交互方式不是一个好的人机交互方式。
[0004]为了在使用MR智能眼镜时，判断用户的状态和需求属性，对获取的图像内容进行处理，并确定相关应用、服务和信息的优先度排序，根据用户的需求属性和优先度排序，检索数据库获取答案或打开相关应用，并在光学显示器上呈现，我们设计了一种基于MR智能眼镜的内容交互方法。

技术实现思路

[0005]鉴于上述和/或现有的一种基于MR智能眼镜的内容交互方法中存在的问题，提出了本专利技术。
[0006]因此，本专利技术所要解决的问题是：如何根据用户的需求属性和优先度排序检索数据库获取答案或打开相关应用，并在光学显示器上呈现。
[0007]为解决上述技术问题，本专利技术提供如下技术方案：一种基于MR智能眼镜的内容交互方法，包括，判断用户的状态和用户的需求属性，并获取视觉注视点区域的局部图像；对获取的图像内容进行人工智能处理，根据处理结果，对相关应用、服务和信息的通知图标进
行优先度排序；根据用户的需求属性和优先度排序，检索数据库获取答案或打开相关应用，并在光学显示器上呈现。
[0008]作为本专利技术所述一种基于MR智能眼镜的内容交互方法的一种优选方案，其中：所述判断用户的状态包括，根据用户的眼动行为和脑电判断用户状态，判断用户注意力是否集中在智能眼镜，若用户注意力集中在智能眼镜，则获取视觉注视点区域的局部图像，若用户注意力未集中在智能眼镜，则通过语音提示、震动方式提醒用户重新集中注意力，若用户注意力重新集中，则获取视觉注视点区域的局部图像。
[0009]作为本专利技术所述一种基于MR智能眼镜的内容交互方法的一种优选方案，其中：所述用户的眼动行为包括，通过眼动跟踪技术监测和记录眼睛在观察过程中的运动轨迹，根据分析运动轨迹，判断用户注意力是否集中在智能眼镜；所述脑电包括，通过分析脑电信号，获取关于用户的认知状态、情绪和注意力水平的信息，判断用户注意力是否集中在智能眼镜；所述用户的需求属性包括，根据面部肌肉指令识别和注视点位置的图像信息判断用户的需求属性。
[0010]作为本专利技术所述一种基于MR智能眼镜的内容交互方法的一种优选方案，其中：所述判断用户注意力是否集中在智能眼镜包括数据预处理、特征提取、特征选择与降维、注意力评估模型及注意力分数计算；所述数据预处理包括眼动数据预处理和脑电信号预处理；所述眼动数据预处理包括去除噪声和插值处理，去除噪声使用滤波器去除由于眼动仪器误差引起的异常注视点，插值处理对存在缺失的注视点数据使用插值方法填补空白区域；所述脑电信号预处理包括去除伪迹、运动伪迹去除及滤波，去除伪迹使用伪迹去除技术，去除头皮上的伪迹信号，运动伪迹去除使用陀螺仪进行运动伪迹修正，消除头部运动对脑电信号的影响，滤波使用滤波器以去除高频和低频噪声；所述特征提取包括眼动数据特征提取及脑电信号特征提取；所述眼动数据特征提取包括注视点密度和注视点持续时间，注视点密度包括，将屏幕划分为网格，计算每个网格内的注视点数量，注视点持续时间计算连续注视某个点的时长；所述脑电信号特征提取包括计算信号的均值、方差、斜度及峰度统计量；所述特征选择与降维包括，使用相关性分析和信息增益方法选择最具有区分性的眼动数据和脑电信号特征，使用主成分分析降维技术减少特征维度；所述注意力评估模型为训练支持向量机学习模型，将眼动数据和脑电信号的特征向量作为输入，将注意力状态作为目标标签进行训练；所述注意力分数计算根据注意力评估模型的决策函数，将特征向量输入到模型中，并得到一个注意力分数，根据输出的距离来表示用户集中注意力的程度。
[0011]作为本专利技术所述一种基于MR智能眼镜的内容交互方法的一种优选方案，其中：所述视觉注视点区域的局部图像包括，若用户注视智能眼镜所呈现的全息影像，则智能眼镜检测用户的注视方向和焦点位置，根据用户的注视点确定区域，发送指令给全息投影系统，调整全息内容突出用户的注视点，智能眼镜的摄像头会捕捉到用户注视的全息影像，进行人工智能处理；若用户注视现实场景中的真实对象，智能眼镜的摄像头捕捉用户注视的真实场景图像，利用注视点信息确定区域，并截取区域图像。
[0012]作为本专利技术所述一种基于MR智能眼镜的内容交互方法的一种优选方案，其中：所述人工智能处理包括图像识别、图像理解、功能分类及数据库匹配；所述图像识是指别使用深度学习算法和卷积神经网络进行目标检测和语义分割，结合迁移学习和自适应学习方法，通过对特定领域或任务进行微调；所述图像理解是指在进行多任务学习时，同时进行情
感识别、动作识别、属性识别多个任务，并进行关联，结合自然语言处理技术，将图像内容与文本语义进行对齐；所述功能分类是指引入层次化功能分类，将功能标签根据不同粒度进行组织和关联；所述数据库匹配包括，构建复杂的多模态数据库，将图像内容、语义信息、空间信息多个维度的数据进行关联和索引，运用图数据库技术，对数据库中的实体和关系进行建模和表达，入相似度搜索技术，处理大规模数据库中的高维数据。
[0013]作为本专利技术所述一种基于MR智能眼镜的内容交互方法的一种优选方案，其中：所述优先度根据图像处理结果中与应用、服务和信息相关的特征，通知图标的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于MR智能眼镜的内容交互方法，其特征在于：包括，判断用户的状态和用户的需求属性，并获取视觉注视点区域的局部图像；对获取的图像内容进行人工智能处理，根据处理结果，对相关应用、服务和信息的通知图标进行优先度排序；根据用户的需求属性和优先度排序，检索数据库获取答案或打开相关应用，并在光学显示器上呈现。2.如权利要求1所述的一种基于MR智能眼镜的内容交互方法，其特征在于：所述判断用户的状态包括，根据用户的眼动行为和脑电判断用户状态，判断用户注意力是否集中在智能眼镜，若用户注意力集中在智能眼镜，则获取视觉注视点区域的局部图像，若用户注意力未集中在智能眼镜，则通过语音提示、震动方式提醒用户重新集中注意力，若用户注意力重新集中，则获取视觉注视点区域的局部图像。3.如权利要求2所述的一种基于MR智能眼镜的内容交互方法，其特征在于：所述用户的眼动行为包括，通过眼动跟踪技术监测和记录眼睛在观察过程中的运动轨迹，根据分析运动轨迹，判断用户注意力是否集中在智能眼镜；所述脑电包括，通过分析脑电信号，获取关于用户的认知状态、情绪和注意力水平的信息，判断用户注意力是否集中在智能眼镜；所述用户的需求属性包括，根据面部肌肉指令识别和注视点位置的图像信息判断用户的需求属性。4.如权利要求3所述的一种基于MR智能眼镜的内容交互方法，其特征在于：所述判断用户注意力是否集中在智能眼镜包括数据预处理、特征提取、特征选择与降维、注意力评估模型及注意力分数计算；所述数据预处理包括眼动数据预处理和脑电信号预处理；所述眼动数据预处理包括去除噪声和插值处理，去除噪声使用滤波器去除由于眼动仪器误差引起的异常注视点，插值处理对存在缺失的注视点数据使用插值方法填补空白区域；所述脑电信号预处理包括去除伪迹、运动伪迹去除及滤波，去除伪迹使用伪迹去除技术，去除头皮上的伪迹信号，运动伪迹去除使用陀螺仪进行运动伪迹修正，消除头部运动对脑电信号的影响，滤波使用滤波器以去除高频和低频噪声；所述特征提取包括眼动数据特征提取及脑电信号特征提取；所述眼动数据特征提取包括注视点密度和注视点持续时间，注视点密度包括，将屏幕划分为网格，计算每个网格内的注视点数量，注视点持续时间计算连续注视某个点的时长；所述脑电信号特征提取包括计算信号的均值、方差、斜度及峰度统计量；所述特征选择与降维包括，使用相关性分析和信息增益方法选择最具有区分性的眼动数据和脑电信号特征，使用主成分分析降维技术减少特征维度；所述注意力评估模型为训练支持向量机学习模型，将眼动数据和脑电信号的特征向量作为输入，将注意力状态作为目标标签进行训练；...

【专利技术属性】
技术研发人员：魏春玲，何斌，魏萌，
申请(专利权)人：中物联讯北京科技有限公司，
类型：发明
国别省市：