一种增强现实设备的图像处理方法和增强现实设备技术

本发明专利技术实施例公开了一种增强现实设备的图像处理方法和增强现实设备。增强现实设备(AR)的图像处理方法包括：采集人眼图像，并通过人眼图像获取人眼在初始点云中的注视范围，对比位于注视范围内的更新点云与目标点云，以确定该注视范围内的目标点云中是否包含残影；其中，更新点云为获取的更新图像在注视范围内的点云，目标点云为初始点云在注视范围内的点云。本发明专利技术实施例解决了现有技术中去除AR设备中残影的方案，由于运算量非常大且耗时较长，增加了AR设备的运算负担的问题。

An Image Processing Method and Augmented Reality Equipment for Augmented Reality Equipment

【技术实现步骤摘要】
一种增强现实设备的图像处理方法和增强现实设备
本申请涉及但不限于增强现实
，尤指一种增强现实设备的图像处理方法和增强现实设备。
技术介绍
增强现实(AugmentedReality，简称为：AR)技术可以在显示屏上把虚拟世界套在现实世界并进行互动。基于AR设备的互动效果和娱乐性，已逐步应用到人们生活娱乐中。AR设备强调虚拟与现实融合，实现用户与环境的实时交互，当需要在空间中确定位置添加虚拟物体的时候，则需要调用已经建好的空间地图，确定虚拟物体在空间中的位置。因此，AR设备离不开空间定位和环境建图技术，其核心要求是定位和建图算法的小型化和轻量级。现有AR设备通常采用空间定位和环境建图(SimultaneousLocalizationAndMapping，简称为：SLAM)算法构建环境空间模型，但是该SLAM算法对移动物体会形成虚假的残影。现有改进方案中针对上述残影的去除方式，运算量非常大且耗时较长，增加了AR设备的运算负担。
技术实现思路
为了解决上述技术问题，本专利技术实施例提供了一种增强现实设备的图像处理方法和增强现实设备，以解决现有技术中去除AR设备中残影的方案，由于运算量非常大且耗时较长，增加了AR设备的运算负担的问题。本专利技术实施例提供一种增强现实设备的图像处理方法，包括：采集人眼图像，并通过所述人眼图像获取人眼在初始点云中的注视范围；对比位于所述注视范围内的更新点云与目标点云，以确定所述注视范围内的所述目标点云中是否包含残影；其中，所述更新点云为获取的更新图像在所述注视范围内的点云，所述目标点云为所述初始点云在所述注视范围内的点云。可选地，如上所述的增强现实设备的图像处理方法中，所述通过所述人眼图像获取人眼在初始点云中的注视范围，包括：通过所述人眼图像计算所述人眼的左、右瞳孔中心点的坐标；根据已建立的人眼成像模型和所述左、右瞳孔中心点的坐标，计算所述左右瞳孔在虚拟成像面上的交点的坐标；根据光学模组的左、右出瞳中心点的中心位置和所述交点的坐标，获取所述人眼在所述初始点云中的注视范围。可选地，如上所述的增强现实设备的图像处理方法中，所述计算所述左右瞳孔在虚拟成像面上的交点坐标，包括：将所述左、右瞳孔中心点的坐标代入所述人眼成像模型，计算出所述人眼在所述光学模组的左成像面上的左注视点的坐标和右成像面上的右注视点的坐标；根据左注视线和右注视线在所述虚拟成像面上的交点，得到所述交点的坐标；其中，所述左注视线为通过左出瞳中心点和所述左成像面上的左注视点确定的，所述右注视线为通过右出瞳中心点和所述右成像面上的右注视点确定的。可选地，如上所述的增强现实设备的图像处理方法中，所述获取人眼在初始点云中的注视范围，包括：以所述左、右出瞳中心点的中心位置和所述交点的连线为轴线，以角度为顶角做视线圆锥，其中，所述左、右出瞳中心点的中心位置为所述视线圆锥的顶点，所述角度的初始值在15度到30度之间，所述视线圆锥为所述注视范围。可选地，如上所述的增强现实设备的图像处理方法中，还包括：通过所述光学模组实时采集所述更新图像；将所述更新图像所形成的点云与所述视线圆锥进行匹配，获取所述点云位于所述视线圆锥内的更新点云；将所述初始点云与所述视线圆锥进行匹配，获取所述初始点云位于所述视线圆锥内的所述目标点云。可选地，如上所述的增强现实设备的图像处理方法中，所述对比位于所述注视范围内的更新点云与目标点云，以确定所述注视范围内的所述目标点云中是否包含残影，包括：计算所述左、右出瞳中心点的中心位置与所述更新点云中每个点的平均距离d2；计算所述左、右出瞳中心点的中心位置与所述目标点云中每个点的平均距离d3；根据所述d2和所述d3，确定所述视线圆锥内的目标点云是否包含残影。可选地，如上所述的增强现实设备的图像处理方法中，所述根据所述d2和所述d3，确定注视范围内的目标点云中是否包含残影，包括：在所述d2与s的乘积大于所述d3时，确定出所述注视范围内的所述目标点云中包含残影，其中，所述s为小于1的比例系数。可选地，如上所述的增强现实设备的图像处理方法中，所述方法还包括：建立所述人眼成像模型；所述建立所述人眼成像模型，包括：在所述光学模组的虚拟成像面上选取X个注视点，第i个注视点所在虚拟成像面与坐标原点的距离为di，所述i为大于或等于1、且小于或等于X的正整数；根据所述X个注视点的坐标，以及所述X个注视点在所述光学模组上的左右出瞳中心点，确定所述X个注视点在所述光学模组的左、右成像面上的X组成像坐标；采集人眼注视所述X个注视点时的人眼图像，并获取人眼注视所述X个注视点的X组左、右瞳孔中心点的坐标；根据所述X组成像坐标，所述X组左、右瞳孔中心点的坐标和成像标准模型，建立所述人眼成像模型，建立的所述人眼成像模型包括左眼成像模型和右眼成像模型。可选地，如上所述的增强现实设备的图像处理方法中，在确定出所述注视范围内的所述目标点云中包含残影之后，所述方法还包括：去除所述初始点云中的残影；所述去除所述初始点云中的残影，包括：采用所述更新点云替换所述目标点云。可选地，如上所述的增强现实设备的图像处理方法中，在确定出所述注视范围内的所述目标点云中包含残影之后，所述方法还包括：更新所述视线圆锥，根据更新后的视线圆锥再次对比更新点云和目标点云，以确定所述更新后的视线圆锥内的目标点云是否包含残影。可选地，如上所述的增强现实设备的图像处理方法中，所述更新所述视线圆锥，包括：将所述角度设置为初始值的n倍，所述n大于1、且小于或等于4。本专利技术实施例还提供一种增强现实设备包括：光学模组，被配置为采集环境图像和更新图像；人眼摄像模组，被配置为采集人眼图像；存储器，被配置为保存可执行指令；处理器，被配置为在执行所述存储器保存的所述可执行指令时实现如上述任一项所述的增强现实设备的图像处理方法。本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有可执行指令，所述可执行指令被处理器执行时实现如上述任一项所述的增强现实设备的图像处理方法。本专利技术实施例提供的增强现实设备的图像处理方法和增强现实设备，可以通过AR设备内部配置的摄像头采集人眼图像，并通过眼球追踪技术和所采集的人眼图像获取人眼在初始点云中的注视范围，从而对比该注视范围内的更新点云与目标点云，以确定该注视范围内的目标点云中是否包含残影，其中，更新点云为更新图像在上述注视范围内的点云，目标点云为初始点云在注视范围内的点云。与现有AR设备中去除残影的方案中将环境地图作为去除残影的目标范围相比，本专利技术实施例提供的上述AR设备的图像处理方法，将通过采集人眼图像得到的注视范围作为后续去除残影的目标范围，在该注视范围内对环境地图进行优化更新，有针对性的优化环境地图中需要去除残影的区域，可以极大地减轻优化环境地图所需要的计算量，保持环境地图的实时更新性和可用性，并且具有计算量小和计算速度快等优点。附图说明附图用来提供对本专利技术技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本专利技术的技术方案，并不构成对本专利技术技术方案的限制。图1为本专利技术实施例提供的一种AR设备的图像处理方法的流程图；图2为本专利技术实施例提供的另一种AR设备的图像处理方法的流程图；图3为本专利技术实施例提供的AR设备的图像处理方法中一种本文档来自技高网...

【技术保护点】
1.一种增强现实设备的图像处理方法，其特征在于，包括：采集人眼图像，并通过所述人眼图像获取人眼在初始点云中的注视范围；对比位于所述注视范围内的更新点云与目标点云，以确定所述注视范围内的所述目标点云中是否包含残影；其中，所述更新点云为获取的更新图像在所述注视范围内的点云，所述目标点云为所述初始点云在所述注视范围内的点云。

【技术特征摘要】
1.一种增强现实设备的图像处理方法，其特征在于，包括：采集人眼图像，并通过所述人眼图像获取人眼在初始点云中的注视范围；对比位于所述注视范围内的更新点云与目标点云，以确定所述注视范围内的所述目标点云中是否包含残影；其中，所述更新点云为获取的更新图像在所述注视范围内的点云，所述目标点云为所述初始点云在所述注视范围内的点云。2.根据权利要求1所述的增强现实设备的图像处理方法，其特征在于，所述通过所述人眼图像获取人眼在初始点云中的注视范围，包括：通过所述人眼图像计算所述人眼的左、右瞳孔中心点的坐标；根据已建立的人眼成像模型和所述左、右瞳孔中心点的坐标，计算所述左右瞳孔在虚拟成像面上的交点的坐标；根据光学模组的左、右出瞳中心点的中心位置和所述交点的坐标，获取所述人眼在所述初始点云中的注视范围。3.根据权利要求2所述的增强现实设备的图像处理方法，其特征在于，所述计算所述左右瞳孔在虚拟成像面上的交点坐标，包括：将所述左、右瞳孔中心点的坐标代入所述人眼成像模型，计算出所述人眼在所述光学模组的左成像面上的左注视点的坐标和右成像面上的右注视点的坐标；根据左注视线和右注视线在所述虚拟成像面上的交点，得到所述交点的坐标；其中，所述左注视线为通过左出瞳中心点和所述左成像面上的左注视点确定的，所述右注视线为通过右出瞳中心点和所述右成像面上的右注视点确定的。4.根据权利要求2所述的增强现实设备的图像处理方法，其特征在于，所述获取人眼在初始点云中的注视范围，包括：以所述左、右出瞳中心点的中心位置和所述交点的连线为轴线，以角度为顶角做视线圆锥，其中，所述左、右出瞳中心点的中心位置为所述视线圆锥的顶点，所述角度的初始值在15度到30度之间，所述视线圆锥为所述注视范围。5.根据权利要求4所述的增强现实设备的图像处理方法，其特征在于，还包括：通过所述光学模组实时采集所述更新图像；将所述更新图像所形成的点云与所述视线圆锥进行匹配，获取所述点云位于所述视线圆锥内的更新点云；将所述初始点云与所述视线圆锥进行匹配，获取所述初始点云位于所述视线圆锥内的所述目标点云。6.根据权利要求5所述的增强现实设备的图像处理方法，其特征在于，所述对比位于所述注视范围内的更新点云与目标点云，以确定所述注视范围内的所述目标点云中是否包含残影，包括：计算所述左、右出瞳中心点的中心位置与所述更新点云中每个点的平均距离d2；计算所述左、右出瞳中心点的中心位置与所述目标点云中每个点的平均距离d3；根据所述d2和所...

【专利技术属性】
技术研发人员：崔利阳，孙建康，陈丽莉，张浩，
申请(专利权)人：京东方科技集团股份有限公司，北京京东方光电科技有限公司，
类型：发明
国别省市：北京,11