基于视觉关注点识别物体的方法技术

本发明专利技术提供了一种基于视觉关注点识别物体的方法，所述的方法包括：S1：采用眼动仪设备获取人眼视线方向向量(a,b,c)；S2：计算视线方向向量(a,b,c)在场景图像中的位置P(x,y)；S3：把P点周围的局部图像IM进行放大；S4：在IM的所有原始子图像中发现识别对象。本发明专利技术结合视觉关注技术和人工智能技术，解决在人机交互、智能监控与行为评价等应用系统中场景物体的识别率问题。别率问题。别率问题。

【技术实现步骤摘要】
基于视觉关注点识别物体的方法


[0001]本专利技术涉及VR/AR
，具体涉及基于视觉关注点识别物体的方法。

技术介绍

[0002]在VR/AR系统中，操作者识别物体的方式，完全取决于操作者的视角，而操作者的视角等同于摄像头的视角，操作者离物体的距离越远，摄像头的视角范围就越大，视角范围内的可识别物体就会越多，这就导致当操作者远离识别物体时，无法精准识别场景中的物体。
[0003]现有技术中，对于上述远距离物体的识别，一般采用以下两种方式：
[0004]1)将视角范围内的全部物体显示出来，由操作者进行手动选择；
[0005]2)不显示距离过远的物体，操作者只能主动靠近识别物体后才能识别。
[0006]上述两种方式，均不能直接读取操作者的识别意图，将识别物体直接标注出来。

技术实现思路

[0007]为了解决上述问题，本申请提供了AR系统中增强呈现方式的方法，通过视线方向向量获取人对交互场景中的关注点，再将该关注点所在的局部图像放大进行识别。本专利技术公开了如下技术方案：
[0008]本专利技术实施例提供了基于视觉关注点识别物体的方法，所述的方法包括：
[0009]S1：获取人眼视线方向向量(a,b,c)；
[0010]S2：计算视线方向向量(a,b,c)在场景图像中的位置P(x,y)；
[0011]S3：把P点周围的局部图像IM进行放大；
[0012]S4：在IM的所有原始子图像中发现识别对象。
[0013]进一步的，步骤S2的具体实现过程为：
[0014]构建视线方向向量(a,b,c)在场景图像中位置的映射关系；
[0015]分别计算x、y的坐标。
[0016]进一步的，采用眼动仪设备或者现有公知的眼球视线跟踪方法来获取人眼视线方向向量。
[0017]进一步的，视线方向向量(a,b,c)在场景图像中位置的映射关系为：
[0018][0019]其中，f
x
、f
y
分别表示场景摄像机沿水平和垂直方向的焦距，m、n分别表示场景摄像机沿水平和垂直方向的偏移量,R是相机的旋转矩阵，t是相机的平移向量，T代表转置矩阵。f
x
、f
y
、m、n是场景摄像机的内部参数，R、t是场景摄像机的外部参数，可以通过张正友相机标定方法获取摄像机的内部参数和外部参数。
[0020]进一步的，x、y的坐标为：
[0021][0022][0023]进一步的，步骤S3的具体实现方法为：
[0024]把场景图像分为M
×
N个子图像块；
[0025]依次选取P所在图像块的8k(k＝1,2,
…
)邻域作为原始子图像进行缩放。
[0026]进一步，步骤S4中发现识别对象的原理为：对IM的所有原始子图像采用深度卷积神经网络进行训练，对原始子图像中感兴趣的对象进行识别。
[0027]本专利技术的有益效果：
[0028]相比于现有技术中不能识别或识别对象过多的问题，本申请可以将视角方向的关注点直接转换为场景图像中的位置坐标，将视角变成视点，实现对物体的精准定位，对于识别对象与操作者距离过远的问题，本申请可以将视点周围的局部图像IM进行放大，从放大的图像中精准获取识别对象。
附图说明
[0029]图1为本专利技术方法实施例的流程图。
具体实施方式
[0030]为使本专利技术要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。本领域技术人员应当知晓，下述具体实施例或具体实施方式，是本专利技术为进一步解释具体的
技术实现思路
而列举的一系列优化的设置方式，而该些设置方式之间均是可以相互结合或者相互关联使用的，除非在本专利技术明确提出了其中某些或某一具体实施例或实施方式无法与其他的实施例或实施方式进行关联设置或共同使用。同时，下述的具体实施例或实施方式仅作为最优化的设置方式，而不作为限定本专利技术的保护范围的理解。
[0031]如图1所示，本专利技术实施例提供了基于视觉关注点识别物体的方法，所述的方法包括以下步骤：
[0032]1)采用眼动仪设备获取人眼视线方向向量(a,b,c)。
[0033]该步骤具体操作时，可以在室内设置一个固定摄像机获取场景图像；在戴在头上的支架上设置一个微型摄像机获取眼动数据，采用公知的视线跟踪软件或方法获取人眼视线方向向量。
[0034]2)计算视线方向向量(a,b,c)在场景图像中的位置P(x,y)。
[0035]为了实现P(x,y)的计算，首先要构建视线方向向量(a,b,c)在场景图像中位置的映射关系为：
[0036]其中，f
x
、f
y
分别表示场景摄像机沿水平和垂直方向的焦距，m、n分别表示场景摄像机沿水平和垂直方向的偏移量,R是相机的旋转矩阵，t是相机的平移向量，T代表转置矩阵。f
x
、f
y
、m、n是场景摄像机的内部参数，R、t是场景摄像机的外部参数，可以通过张正友相机标
定方法获取摄像机的内部参数和外部参数。
[0037]然后，分别计算x、y的坐标为：
[0038][0039][0040]3)把P点周围的局部图像IM进行放大。
[0041]对于图像的放大处理，一种优选的实现方法为：
[0042]把场景图像分为M
×
N个子图像块；
[0043]依次选取P所在图像块的8k(k＝1,2,
…
)邻域作为原始子图像进行缩放。
[0044]4)在IM的所有原始子图像中发现识别对象。
[0045]结合人工智能技术发现识别对象的原理为：对IM的所有原始子图像采用深度卷积神经网络进行训练，对原始子图像中感兴趣的对象进行识别。
[0046]例如，可以把场景图像分为25
×
25的子块，采用8邻域生成原始子图像，利用目标检测深度学习卷积神经网络(CNN)Yolov5对原始子图像分别放大到5倍、20倍进行训练，构建识别模型。
[0047]以上为本申请实现的技术原理，在具体操作时，可以利用场景摄像机和人眼摄像机分别获取人操作的场景图像和人眼图像等信息，摄像机数据通过有线或无线(云处理)方式传输到计算设备进行实时处理。
[0048]场景摄像机既可以设置于支架上，也可以固定于实验场景中，还可以将人眼摄像机和场景摄像机布置在一个环形支架上，该环形支架可以戴在额头上。
[0049]应当指出，以上所述具体实施方式可以使本领域的技术人员更全面地理解本专利技术的具体结构，但不以任何方式限制本专利技术创造。因此，尽管说明书及附图和实施例对本专利技术创造已进行了详细的说明，但是，本领域技术人员应当理解，仍然可以对本专利技术创造进行修改或者等同替换；而一切不脱离本专利技术创造的精神和范围的技术方案及其改进，其均涵盖在本专利技术创造专利的保护范围当中。
...

【技术保护点】

【技术特征摘要】
1.基于视觉关注点识别物体的方法，其特征在于，所述的方法包括：S1：获取人眼视线方向向量(a,b,c)；S2：计算视线方向向量(a,b,c)在场景图像中的位置P(x,y)；S3：把P点周围的局部图像IM进行放大；S4：在IM的所有原始子图像中发现识别对象。2.根据权利要求1所述的基于视觉关注点识别物体的方法，其特征在于，步骤S2的具体实现过程为：构建视线方向向量(a,b,c)在场景图像中位置的映射关系；分别计算x、y的坐标。3.根据权利要求1所述的基于视觉关注点识别物体的方法，其特征在于，采用眼动仪设备获取人眼视线方向向量。4.根据权利要求1所述的基于视觉关注点识别物体的方法，其特征在于，采用现有公知的眼球视线跟踪方法获取人眼视线方向向量。5.根据权利要求2所述的基于视觉关注点识别物体的方法，其特征在于，视线方向向量(a,b,c)在场景图像中位置的映射关系为：其中，f
x

【专利技术属性】
技术研发人员：冯志全，
申请(专利权)人：济南大学，
类型：发明
国别省市：