视线追踪系统、眼动仪、视线追踪方法、设备及介质技术方案

本发明专利技术公开了一种视线追踪系统、眼动仪、视线追踪方法、设备及介质，一实施例的视线追踪系统包括眼镜式头戴装置、定位装置和控制器，其中眼镜式头戴装置，包括设置在其上的定位标识、用于采集佩戴用户左眼图像和右眼图像的第二眼部图像采集器；定位装置与外部显示装置对应设置，用于采集眼镜式头戴装置的位姿图像的位姿图像采集器；控制器根据定位装置采集的位姿图像和定位标识获取眼镜式头戴装置基于世界坐标系的位姿坐标，根据眼镜式头戴装置采集的左眼图像、右眼图像和定位标识分别获取基于头戴坐标系的左眼和右眼瞳孔坐标，将位姿坐标、左眼和右眼瞳孔坐标进行坐标融合，并根据预设视线获取模型获取佩戴用户注视外部显示装置的视线位置。

【技术实现步骤摘要】
视线追踪系统、眼动仪、视线追踪方法、设备及介质
本专利技术涉及虚拟现实交互领域，特别是涉及一种视线追踪系统、眼动仪、视线追踪方法、设备及介质。
技术介绍
现有技术的视线追踪装置使用距离受限，并且用户佩戴对应的头戴设备后的头动范围有限，在进行视线追踪的过程中，现有的视线追踪装置的视线追踪精度并不准确。另一方面，当前市场上的视线追踪装置的价格昂贵，基本造价在一万以上，更高的价格甚至达到了10-30万。
技术实现思路
为了解决上述问题至少之一，本专利技术第一个实施例提供一种视线追踪系统，包括眼镜式头戴装置、定位装置和控制器，其中：所述眼镜式头戴装置，包括设置在其上的定位标识、用于采集佩戴用户左眼图像的第一眼部图像采集器、以及用于采集所述佩戴用户右眼图像的第二眼部图像采集器；所述定位装置，与外部显示装置对应设置，包括用于采集所述眼镜式头戴装置的位姿图像的至少两个位姿图像采集器；所述控制器，用于根据所述定位装置采集的位姿图像和所述定位标识获取所述眼镜式头戴装置基于世界坐标系的位姿坐标，根据所述眼镜式头戴装置采集的左眼图像、右眼图像和所述定位标识分别获取基于头戴坐标系的左眼瞳孔坐标和右眼瞳孔坐标，将所述位姿坐标、左眼瞳孔坐标和右眼瞳孔坐标进行坐标融合，并根据预设置的视线获取模型获取所述佩戴用户注视所述外部显示装置的视线位置。进一步的，所述眼镜式头戴装置，包括对应左眼的第一镜框、对应右眼的第二镜框和镜架，其中，所述第一镜框包括第一框体、设置在所述第一框体上的第一定位标识、设置在所述第一框体上的第一支架和固定在所述第一支架上的所述第一眼部图像采集器，所述第二镜框包括第二框体、设置在所述第二框体上的第二定位标识、设置在所述第二框体上的第二支架和固定在所述第二支架上的所述第二眼部图像采集器，所述镜架包括鼻梁桥和设置在所述鼻梁桥上的第三定位标识，所述头戴坐标系的坐标原点为所述第三定位标识的中心点；其中所述第一眼部图像包括所述第一定位标识和第三定位标识，所述第二眼部图像包括所述第二定位标识和第三定位标识。进一步的，所述定位装置设置在所述外部显示装置的底部，包括第一位姿图像采集器、与所述第一位姿图像采集器对应设置的第一灯组、第二位姿图像采集器、以及与所述第二位姿图像采集器对应设置的第二灯组；其中所述第一位姿图像采集器与所述第一框体对应设置，所述世界坐标系的坐标原点为所述第一位姿图像采集器的中心点；所述第二位姿图像采集器与所述第二框体对应设置，并且所述第一位姿图像采集器和第二位姿图像采集器相对于所述外部显示装置对称设置。进一步的，所述第一位姿图像采集器和第二位姿图像采集器为第一红外相机，具有第一分辨率和第一帧速，所述第一灯组和第二灯组为红外灯组；所述第一眼部图像采集器和第二眼部图像采集器为第二红外相机，具有第二分辨率和第二帧速，所述第一定位标识、第二定位标识和第三定位标识为黑色；其中所述第一分辨率大于等于所述第二分辨率，所述第一帧速小于等于第二帧速。进一步的，所述控制器包括坐标融合单元和模型标定单元，其中所述坐标融合单元，包括坐标转换矩阵，用于将基于所述头戴坐标系的左眼瞳孔坐标和右眼瞳孔坐标分别转换为基于所述世界坐标系的左眼瞳孔转换坐标和右眼瞳孔转换坐标；所述模型标定单元，用于根据预设数量的瞳孔标定坐标调整所述视线获取模型的参数，所述瞳孔标定坐标为根据所述外部显示装置显示的预设数量的标定点得到的基于所述世界坐标系的左眼瞳孔转换坐标和右眼瞳孔转换坐标。本专利技术第二个实施例提供一种眼动仪，包括如上述的视线追踪系统。本专利技术第三个实施例提供一种利用上述视线追踪系统的进行视线追踪的方法，包括：接收定位装置的至少两个位姿图像采集器采集的位姿图像，根据所述位姿图像和眼镜式头戴装置上的定位标识获取眼镜式头戴装置基于世界坐标系的位姿坐标；接收所述眼镜式头戴装置的第一眼部图像采集器采集的左眼图像、以及所述眼镜式头戴装置的第二眼部图像采集器采集的右眼图像，根据所述左眼图像、右眼图像和所述眼镜式头戴装置上的定位标识分别获取基于头戴坐标系的左眼瞳孔坐标和右眼瞳孔坐标；将所述位姿坐标、左眼瞳孔坐标和右眼瞳孔坐标进行坐标融合，并根据预设置的视线获取模型获取所述佩戴用户注视所述外部显示装置的视线位置。进一步的，所述眼镜式头戴装置，包括对应左眼的第一镜框、对应右眼的第二镜框和镜架，其中，所述第一镜框包括第一框体、设置在所述第一框体上的第一定位标识、设置在所述第一框体上的第一支架和固定在所述第一支架上的所述第一眼部图像采集器，所述第二镜框包括第二框体、设置在所述第二框体上的第二定位标识、设置在所述第二框体上的第二支架和固定在所述第二支架上的所述第二眼部图像采集器，所述镜架包括鼻梁桥和设置在所述鼻梁桥上的第三定位标识，所述头戴坐标系的坐标原点为所述第三定位标识的中心点；其中所述第一眼部图像包括所述第一定位标识和第三定位标识，所述第二眼部图像包括所述第二定位标识和第三定位标识；所述定位装置设置在所述外部显示装置的底部，包括第一位姿图像采集器、与所述第一位姿图像采集器对应设置的第一灯组、第二位姿图像采集器、以及与所述第二位姿图像采集器对应设置的第二灯组；其中所述第一位姿图像采集器与所述第一框体对应设置，所述世界坐标系的坐标原点为所述第一位姿图像采集器的中心点；所述第二位姿图像采集器与所述第二框体对应设置，并且所述第一位姿图像采集器和第二位姿图像采集器相对于所述外部显示装置对称设置；所述眼镜式头戴装置基于世界坐标系的位姿坐标进一步包括所述眼镜式头戴装置基于世界坐标系的三维坐标和偏航角，所述接收定位装置的至少两个位姿图像采集器采集的位姿图像，根据所述位姿图像和眼镜式头戴装置上的定位标识获取眼镜式头戴装置基于世界坐标系的位姿坐标进一步包括：对第一位姿图像采集器采集的第一位姿图像进行图像处理；根据所述第三定位标识的形状和面积从图像处理后的第一位姿图像中识别并筛选所述第三定位标识，获取所述第一位姿图像中所述第三定位标识的第一相对坐标、以及该第三定位标识基于世界坐标系的第一三维坐标；从图像处理后的第一位姿图像中识别所述第一定位标识的第一轮廓并获取所述第一轮廓的第一边界的第一相对坐标组；根据所述第一相对坐标组和第一位姿图像采集器的分辨率获取所述第一镜框与定位装置的第一距离；对第二位姿图像采集器采集的第二位姿图像进行图像处理；根据所述第三定位标识的形状和面积从图像处理后的第二位姿图像中识别并筛选所述第三定位标识，获取所述第二位姿图像中所述第三定位标识的第二相对坐标、以及该第三定位标识基于世界坐标系的第二三维坐标；从图像处理后的第二位姿图像中识别所述第二定位标识的第二轮廓并获取所述第二轮廓的第二边界的第二相对坐标组；根据所述第二相对坐标组和第二位姿图像采集器的分辨率获取所述第二镜框与定位装置的第二距离；根据所述第一相对坐标组获取所述第一镜框的宽度，再根据所述本文档来自技高网...

【技术保护点】
1.一种视线追踪系统，其特征在于，包括眼镜式头戴装置、定位装置和控制器，其中：/n所述眼镜式头戴装置，包括设置在其上的定位标识、用于采集佩戴用户左眼图像的第一眼部图像采集器、以及用于采集所述佩戴用户右眼图像的第二眼部图像采集器；/n所述定位装置，与外部显示装置对应设置，包括用于采集所述眼镜式头戴装置的位姿图像的至少两个位姿图像采集器；/n所述控制器，用于根据所述定位装置采集的位姿图像和所述定位标识获取所述眼镜式头戴装置基于世界坐标系的位姿坐标，根据所述眼镜式头戴装置采集的左眼图像、右眼图像和所述定位标识分别获取基于头戴坐标系的左眼瞳孔坐标和右眼瞳孔坐标，将所述位姿坐标、左眼瞳孔坐标和右眼瞳孔坐标进行坐标融合，并根据预设置的视线获取模型获取所述佩戴用户注视所述外部显示装置的视线位置。/n

【技术特征摘要】
1.一种视线追踪系统，其特征在于，包括眼镜式头戴装置、定位装置和控制器，其中：
所述眼镜式头戴装置，包括设置在其上的定位标识、用于采集佩戴用户左眼图像的第一眼部图像采集器、以及用于采集所述佩戴用户右眼图像的第二眼部图像采集器；
所述定位装置，与外部显示装置对应设置，包括用于采集所述眼镜式头戴装置的位姿图像的至少两个位姿图像采集器；
所述控制器，用于根据所述定位装置采集的位姿图像和所述定位标识获取所述眼镜式头戴装置基于世界坐标系的位姿坐标，根据所述眼镜式头戴装置采集的左眼图像、右眼图像和所述定位标识分别获取基于头戴坐标系的左眼瞳孔坐标和右眼瞳孔坐标，将所述位姿坐标、左眼瞳孔坐标和右眼瞳孔坐标进行坐标融合，并根据预设置的视线获取模型获取所述佩戴用户注视所述外部显示装置的视线位置。


2.根据权利要求1所述的视线追踪系统，其特征在于，所述眼镜式头戴装置，包括对应左眼的第一镜框、对应右眼的第二镜框和镜架，其中，
所述第一镜框包括第一框体、设置在所述第一框体上的第一定位标识、设置在所述第一框体上的第一支架和固定在所述第一支架上的所述第一眼部图像采集器，
所述第二镜框包括第二框体、设置在所述第二框体上的第二定位标识、设置在所述第二框体上的第二支架和固定在所述第二支架上的所述第二眼部图像采集器，
所述镜架包括鼻梁桥和设置在所述鼻梁桥上的第三定位标识，所述头戴坐标系的坐标原点为所述第三定位标识的中心点；其中
所述第一眼部图像包括所述第一定位标识和第三定位标识，所述第二眼部图像包括所述第二定位标识和第三定位标识。


3.根据权利要求2所述的视线追踪系统，其特征在于，所述定位装置设置在所述外部显示装置的底部，包括第一位姿图像采集器、与所述第一位姿图像采集器对应设置的第一灯组、第二位姿图像采集器、以及与所述第二位姿图像采集器对应设置的第二灯组；其中
所述第一位姿图像采集器与所述第一框体对应设置，所述世界坐标系的坐标原点为所述第一位姿图像采集器的中心点；
所述第二位姿图像采集器与所述第二框体对应设置，并且所述第一位姿图像采集器和第二位姿图像采集器相对于所述外部显示装置对称设置。


4.根据权利要求3所述的视线追踪系统，其特征在于，
所述第一位姿图像采集器和第二位姿图像采集器为第一红外相机，具有第一分辨率和第一帧速，所述第一灯组和第二灯组为红外灯组；
所述第一眼部图像采集器和第二眼部图像采集器为第二红外相机，具有第二分辨率和第二帧速，所述第一定位标识、第二定位标识和第三定位标识为黑色；其中
所述第一分辨率大于等于所述第二分辨率，所述第一帧速小于等于第二帧速。


5.根据权利要求1-4中任一项所述的视线追踪系统，其特征在于，所述控制器包括坐标融合单元和模型标定单元，其中
所述坐标融合单元，包括坐标转换矩阵，用于将基于所述头戴坐标系的左眼瞳孔坐标和右眼瞳孔坐标分别转换为基于所述世界坐标系的左眼瞳孔转换坐标和右眼瞳孔转换坐标；
所述模型标定单元，用于根据预设数量的瞳孔标定坐标调整所述视线获取模型的参数，所述瞳孔标定坐标为根据所述外部显示装置显示的预设数量的标定点得到的基于所述世界坐标系的左眼瞳孔转换坐标和右眼瞳孔转换坐标。


6.一种眼动仪，其特征在于，包括如权利要求1-5中任一项所述的视线追踪系统。


7.一种利用权利要求1-5中任一项所述的视线追踪系统的视线追踪方法，其特征在于，包括：
接收定位装置的至少两个位姿图像采集器采集的位姿图像，根据所述位姿图像和眼镜式头戴装置上的定位标识获取眼镜式头戴装置基于世界坐标系的位姿坐标；
接收所述眼镜式头戴装置的第一眼部图像采集器采集的左眼图像、以及所述眼镜式头戴装置的第二眼部图像采集器采集的右眼图像，根据所述左眼图像、右眼图像和所述眼镜式头戴装置上的定位标识分别获取基于头戴坐标系的左眼瞳孔坐标和右眼瞳孔坐标；
将所述位姿坐标、左眼瞳孔坐标和右眼瞳孔坐标进行坐标融合，并根据预设置的视线获取模型获取所述佩戴用户注视所述外部显示装置的视线位置。


8.根据权利要求7所述的视线追踪方法，其特征在于，
所述眼镜式头戴装置，包括对应左眼的第一镜框、对应右眼的第二镜框和镜架，其中，所述第一镜框包括第一框体、设置在所述第一框体上的第一定位标识、设置在所述第一框体上的第一支架和固定在所述第一支架上的所述第一眼部图像采集器，所述第二镜框包括第二框体、设置在所述第二框...

【专利技术属性】
技术研发人员：薛亚冲，张浩，陈丽莉，孙建康，闫桂新，吕耀宇，张梦蕾，李鑫恺，
申请(专利权)人：北京京东方光电科技有限公司，京东方科技集团股份有限公司，
类型：发明
国别省市：北京;11