一种视觉交互方法、系统和设备技术方案

本发明专利技术公开了一种视觉交互方法、系统和设备，所述方法包括以下步骤：步骤一、对用户眼球图片进行识别，通过图片预处理，定位出图片中瞳孔中心位置；步骤二、标定，屏幕中依次出现几个亮点，每个亮点出现的时候，使用者注视这个点，系统拍摄此时眼球的图片；将每个亮点的位置坐标和观测该点时的瞳孔位置图片建立对应关系，以实现在屏幕中实时显示瞳孔注视的位置，实现视觉追踪；步骤三、识别瞳孔在屏幕上的映射位置与屏幕中的交互图标位置是否重叠，进而判断是否将该图标激活。本发明专利技术可以实现的技术效果是：能够提高用户在虚拟现实交互体验中的体验效果，提升计算机反应速度，采用使用者视线选择UI图标，提高了交互界面的画面质感。

A visual interaction method, system, and equipment

The invention discloses a visual interactive method, system and device, the method comprises the following steps: step one, for users of the eye image recognition, the image preprocessing, locate the pupil center position in the picture; step two, calibration, there are few bright spots in the screen, each spot, the user is watching at this point, the eye picture shooting system; the position coordinates each bright spot and the observation of the pupil position of the picture when the relationship is established, in order to achieve real-time display on the screen at the pupil position, realize visual tracking; mapping position and screen step three, recognize the pupil on the screen in the interactive icon position overlap, and then determine whether it will activate the icon. The technical effect that the invention can achieve is that it can improve user's experience effect in virtual reality interaction experience, improve the reaction speed of computer, and select the UI icon with user's view to improve the screen texture of the interactive interface.

【技术实现步骤摘要】
一种视觉交互方法、系统和设备
本专利技术属于虚拟现实方法
，具体涉及一种视觉交互方法、系统和设备。
技术介绍
现有技术中的虚拟现实(VR)体验中，有一部分采用了视觉追踪技术，当用户的目光注视交互界面上某处时，会产生如同鼠标光标的类似标记以便于用户设备进行交互操控时，选择图标。然而，由于VR图像的变化会产生很大的数据运算量，导致计算机处理时间过长，并且在视觉交互时，UI(即交互界面)屏幕内产生的鼠标光标图像不稳定，画面抖动，降低用户的体验效果。
技术实现思路
本专利技术要解决的技术问题，提供一种虚拟现实视觉交互方法、系统和设备，可以减少视觉交互过程中计算机的运算量，提高反应速度；并取消了现有技术中屏幕内的鼠标光标，直接通过用户视线进行交互过程中的选取操控。为解决上述问题，本专利技术采用如下技术方案：一种视觉交互方法，其特征在于，包括以下步骤：步骤一、对用户眼球图片进行识别，通过图片预处理，定位出图片中瞳孔中心位置；步骤二、标定，屏幕中依次出现几个亮点，每个点出现的时候，使用者注视这个点，系统拍摄此时眼球的图片。将每个点的位置坐标和观测该点时的瞳孔位置图片建立对应关系，以实现在屏幕中实时显示瞳孔注视的位置，实现视觉追踪；步骤三、识别瞳孔在屏幕上的映射位置与屏幕中的交互图标位置是否重叠，进而判断是否将该图标激活。图标激活的方式可以是点亮图标或其它任何可以通过人体感官判断出的信息提示，如图标放大，文字提示、语音提示等。优选的，所述步骤二的标定环节，使用帧差法实现视觉追踪；优选的，对用户视觉的追踪，识别瞳孔注视位置包括如下步骤：1)对有效部分滤波处理，去除噪声对瞳孔识别的干扰；所述有效部分，是指在预处理过程中，使用9张图片使用帧差法分离出背景部分和用户视线关注的部分，进行瞳孔识别的时候是不需要处理背景部分数据的，以此提高效率和识别精度，减少不必要的计算；2)将滤波后的帧数据进行阈值处理；3)获得帧数据XY轴直方图分布图；4)分别获取XY轴直方图峰值，得到用户瞳孔位置；5)以球状模型对获得的位置进行坐标转换，获得屏幕上瞳孔注视的区域。优选的，所述瞳孔注视的区域与屏幕上UI交互界面图标的坐标位置重叠，则点亮所述区域内的UI交互界面图标。优选的，对有效部分的滤波处理采用区域最小值或最大值滤波法。一种视觉交互系统，采用上述视觉交互方法。一种视觉交互装置，采用上述视觉交互方法。其工作原理是：通过红外摄像机高速拍摄人眼睛部位的图片，拍摄的同时将图片进行传输，识别出图片中瞳孔的位置，通过算法，实时对应到屏幕上的注视区域，实现视觉追踪。而由于高速拍摄会生成大类图片(每秒钟可达120张)，因此在运算时会生成大量无效数据。本专利技术通过在视觉追踪之前对拍摄图片进行预处理，删除瞳孔注视区域之外的无效背景图像，保留有效区域，再通过算法，实时对应到屏幕上的注视区域，实现视觉追踪，极大地减少了计算机处理的数据量，提高反应速度。同时，本专利技术取消了交互界面中的鼠标光标，直接采用视觉控制，通过对瞳孔注视的区域与UI交互界面图标的坐标位置是否重叠进行判断，如果坐标重叠，则激活所述区域内的UI交互界面图标，完成图标选择操控。本专利技术可以实现的技术效果是：能够提高用户在虚拟现实交互体验中的体验效果，提升计算机反应速度，无抖动光标，提高了交互界面的画面质感。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一种虚拟现实视觉交互方法的流程示意图。具体实施方式参阅图1所示的一种虚拟现实视觉交互方法流程示意图，本专利技术采用如下技术方案：一种视觉交互方法，其特征在于，包括以下步骤：步骤一、对用户眼球图片进行识别，通过图片预处理，定位出图片中瞳孔中心位置；步骤二、标定，屏幕中依次出现几个(可以选择设置1-9个)亮点，每个点出现的时候，使用者注视这个点，系统拍摄此时眼球的图片。将每个点的位置坐标和观测该点时的瞳孔位置图片建立对应关系，以实现在屏幕中实时显示瞳孔注视的位置，实现视觉追踪；步骤三、识别瞳孔在屏幕上的映射位置与屏幕中的交互图标位置是否重叠，进而判断是否将该图标激活。图标激活的方式可以是点亮图标或其它任何可以通过人体感官判断出的信息提示，如图标放大，文字提示、语音提示等。优选的，所述步骤二的标定环节，使用帧差法实现视觉追踪，确定用户眼球图片中不发生变化的背景部分，以剔除背景对算法的影响。优选的，对用户视觉的追踪，识别瞳孔注视位置包括如下步骤：1)对有效部分滤波处理，去除噪声对瞳孔识别的干扰：所述有效部分，是指在预处理过程中，使用9张图片使用帧差法分离出背景部分和用户视线关注的部分，进行瞳孔识别的时候是不需要处理背景部分数据的，以此提高效率和识别精度，减少不必要的计算；2)将滤波后的帧数据进行阈值处理；3)获得帧数据XY轴直方图分布图；4)分别获取XY轴直方图峰值，得到用户瞳孔位置；5)以球状模型对获得的位置进行坐标转换，获得屏幕上瞳孔注视的区域。优选的，所述瞳孔注视的区域与屏幕上UI交互界面图标的坐标位置重叠，则点亮所述区域内的UI交互界面图标。优选的，对有效部分的滤波处理采用区域最小值或最大值滤波法。一种视觉交互系统，采用上述视觉交互方法。一种视觉交互装置，采用上述视觉交互方法。在本实施例中，采用局部区域最小值或最大值滤波方法，所述滤波方法可以采用下述方案：假设区域窗口Q大小为k*k，图像I大小为m*n，单位均为像素。其步骤如下(以最小值为例)：第一步，单通道图像转化若图像I为多通道彩色图像，取通道间最小值，得到单通道图像S。第二步，图像扩充对m，n按如下公式进行调整m＝m-m％k+k(2)n＝n-n％k+k(3)第三步，局部区域最小值图像提取建立大小为m*n的四幅单通道图像A，B，C，D，其所有像素的初始像素值均为255。按照以下公式对A，B，C，D中像素进行操作：第四步，局部区域最小值比较对区域Q，假设左上角坐标为(x，y)，其最小值求取如下：若为求取最大值，步骤名称中最小值min均替换为最大值max。第三步中像素点初始像素值为0。公式(1)，(4)，(5)，(6)，(7)，(8)中所用的取最小值操作均替换为取最大值操作。将滤波后的得到的数据进行阈值处理，建立XY轴直方图分布图。再分别获取XY轴直方图的峰值，得到用户瞳孔位置。最后将眼球简化为球状模型，进行坐标转换，可以将瞳孔位置转换为注视屏幕的区域，根据区域，点亮该区域内UI元素，实现无光标视觉控制。其工作原理是：通过红外摄像机高速拍摄人眼睛部位的图片，拍摄的同时将图片进行传输，识别出图片中瞳孔的位置，通过算法，实时对应到屏幕上的注视区域，实现视觉追踪。而由于高速拍摄会生成大类图片(每秒钟可达120张)，因此在运算时会生成大量无效数据。本专利技术通过在视觉追踪之前对拍摄图片进行预处理，删除瞳孔注视区域之外的无效背景图像，保留有效区域，再通过算法，实时对应到屏幕上的注视区域，实现视觉追踪，极大地减少了计算机处理的数据量，提高反应速度。同时，本专利技术取消了交互界面中的鼠标光标，直接采用视觉控本文档来自技高网...

【技术保护点】
一种视觉交互方法，其特征在于，包括以下步骤：步骤一、对用户眼球图片进行识别，通过图片预处理，定位出图片中瞳孔中心位置；步骤二、标定，屏幕中依次出现几个亮点，每个亮点出现的时候，使用者注视这个点，系统拍摄此时眼球的图片；将每个亮点的位置坐标和观测该点时的瞳孔位置图片建立对应关系，以实现在屏幕中实时显示瞳孔注视的位置，实现视觉追踪；步骤三、识别瞳孔在屏幕上的映射位置与屏幕中的交互图标位置是否重叠，进而判断是否将该图标激活。

【技术特征摘要】
1.一种视觉交互方法，其特征在于，包括以下步骤：步骤一、对用户眼球图片进行识别，通过图片预处理，定位出图片中瞳孔中心位置；步骤二、标定，屏幕中依次出现几个亮点，每个亮点出现的时候，使用者注视这个点，系统拍摄此时眼球的图片；将每个亮点的位置坐标和观测该点时的瞳孔位置图片建立对应关系，以实现在屏幕中实时显示瞳孔注视的位置，实现视觉追踪；步骤三、识别瞳孔在屏幕上的映射位置与屏幕中的交互图标位置是否重叠，进而判断是否将该图标激活。2.根据权利要求1所述的一种视觉交互方法，其特征在于，所述步骤二的标定环节中，使用帧差法实现视觉追踪。3.根据权利要求1所述的视觉交互方法，其特征在于：对用户视觉的追踪，识别瞳孔注视位置包括如下步骤：1)对有效部分滤波处理，去除噪声...

【专利技术属性】
技术研发人员：栗明，
申请(专利权)人：深圳纬目信息技术有限公司，
类型：发明
国别省市：广东,44