一种投影显示场景的激光无线鼠标交互控制方法、系统、装置及介质制造方法及图纸

本发明专利技术公开了一种投影显示场景的激光无线鼠标交互控制方法、系统、装置及介质，包括：对采集到实时图像进行畸变校正，获取矫正图像；并基于目标检测算法对激光笔光斑位置进行目标检测，最终得到矫正后的光斑坐标；对矫正后的光斑坐标进行透视变换，获得在矫正图像中的光斑的位置，将在矫正图像中的光斑映射到计算机屏幕中的位置；基于激光光斑位置控制鼠标，完成激光光斑与鼠标的实时同步。本发明专利技术采用图像识别技术，检测定位激光光斑位置，控制鼠标的移动；用户不受位置限制自由使用鼠标控制系统，进行PPT标注、手写、控制等复杂交互操作，具有自然、简洁、直接的特点，在课堂教学、讲座报告等场景和领域均有着广泛的应用前景。座报告等场景和领域均有着广泛的应用前景。座报告等场景和领域均有着广泛的应用前景。

【技术实现步骤摘要】
一种投影显示场景的激光无线鼠标交互控制方法、系统、装置及介质


[0001]本专利技术属于投影仪控制
，涉及一种投影显示场景的激光无线鼠标交互控制方法、系统、装置及介质。

技术介绍

[0002]在投影显示场景中，激光笔作为主要交互方式，得到了广泛的应用。激光笔使用激光作为指示，通过红外装置实现翻页等简单操作，使用者可手持激光笔自由走动完成操作，不拘束于讲台，与听众开展互动。但其可实现的功能比较单一，无法满足对PPT标注、手写、控制等复杂操作。空中飞鼠内置了陀螺仪，可以感知方向和速度的变化，实现对鼠标的控制，但操作方式较为复杂，且不符合人的使用习惯，精度和灵敏度不足。红外触摸框和电磁幕可以提供触摸控制，但成本较高，且尺寸大小、精度都有一定限制，且无法在使用过程中自由走动，拘于讲台。现有的激光笔不具有鼠标操作功能，用户必须回到电脑前进行鼠标操作，操作麻烦，且因中断演讲而容易影响观众的集中力。

技术实现思路

[0003]本专利技术的目的在于解决现有技术中激光笔无法对页面进行复杂操作的问题，提供一种投影显示场景的激光无线鼠标交互控制方法、系统、装置及介质。
[0004]为达到上述目的，本专利技术采用以下技术方案予以实现：
[0005]一种投影显示场景的激光无线鼠标交互控制方法，包括：
[0006]采集投影显示的实时图像并对采集到实时图像进行畸变校正，获取矫正图像；
[0007]基于目标检测算法对激光笔光斑位置进行目标检测，得到激光笔光斑位置的模型参数；
[0008]基于目标检测模型和激光笔光斑位置的模型参数判定激光笔光斑位置，实时输出矫正后的光斑坐标；
[0009]对矫正后的光斑坐标进行透视变换，获得在矫正图像中的光斑的位置，将在矫正图像中的光斑映射到计算机屏幕中的位置；
[0010]基于激光光斑位置控制鼠标，完成激光光斑与鼠标的实时同步。
[0011]本专利技术的进一步改进在于：
[0012]进一步的，对采集到实时图像进行畸变校正，获取矫正图像，具体为：
[0013]基于标定法获取摄像头内参矩阵和畸变参数；
[0014]确定待检测画面区域范围，并通过相机内参矩阵与畸变参数进行矩阵计算对获得的画面进行矫正，得到矫正后的画面。
[0015]进一步的，基于标定法获取摄像头内参矩阵和畸变参数，具体为：通过摄像头在不同角度拍摄具有一定特征的标定板，标定板上有规则的角点经由摄像机识别，对于每张图片均以基于一个角点获得若干角点真实物理坐标，根据一组真实物理坐标与实际像素坐标
的映射关系，得到相机内参矩阵和畸变参数。
[0016]进一步的，确定待检测画面区域范围，并通过相机内参矩阵与畸变参数进行矩阵计算对获得的画面进行矫正，得到矫正后的画面，具体为：
[0017]所述获取摄像头内参矩阵之前需要确定像素坐标系、图像坐标系、相机坐标系和世界坐标系；将图像从像素坐标系依次映射到世界坐标系；最终的转化方式为：
[0018][0019][X
W
Y
W
Z
W
]为世界坐标，[uv]为对应的像素坐标，R为旋转矩阵，T为平移矩阵，其中等号右侧第二个矩阵为内参矩阵；
[0020]所述畸变包括径向畸变与切向畸变，径向畸变表示为下式：
[0021][0022]其中，(x，y)为理想坐标，x
dr
和y
dr
是畸变后的像素坐标，r2＝x2+y2，
[0023]所述切向畸变为：
[0024][0025]畸变参数定义为[k1k2k3p1p2]。
[0026]进一步的，基于目标检测算法对激光笔光斑位置进行目标检测，得到识别激光笔光斑位置的模型参数，具体为：采用YOLOv5的目标检测算法，将摄像机成像后的原图进行标注后放入训练模型，将训练好的模型实时识别摄像机获取到的画面，识别到激光笔光标的位置。
[0027]进一步的，将在矫正图像中的光斑映射到计算机屏幕中的位置，具体为：将矫正图像按照与计算机屏幕的大小的比例，映射得到激光笔所指示的地方对应于计算机屏幕中的位置。
[0028]进一步的，基于激光光斑位置控制鼠标，完成激光光斑与鼠标的实时同步，具体为：所述鼠标中包括处理器、微型电动机、滚轮、左按键和右按键，所述激光笔在移动时候发送信号给鼠标中的处理器，所述处理器根据激光笔所发送的移动方位发送指令给微型电动机带动鼠标进行移动；所述激光笔发送放大及缩小页面指令给处理器，所述处理器根据激光笔所发送的指令带动微型电动机进行滚轮向前或向后滚动；所述激光笔下发书写指令给处理器，所述处理器根据激光笔所发送的指令带动微型电动机下拉左按键或右按键进行移动。
[0029]一种投影显示场景的激光无线鼠标交互控制系统，包括：
[0030]畸变校正模块，所述畸变校正模块采集投影显示的实时图像并对采集到实时图像进行畸变校正，获取矫正图像；
[0031]目标检测训练模块，所述目标检测训练模块基于目标检测算法对激光笔光斑位置进行目标检测，得到激光笔光斑位置的模型参数；
[0032]判定模块，所述判定模块基于目标检测模型和激光笔光斑位置的模型参数判定激光笔光斑位置，实时输出矫正后的光斑坐标；
[0033]透视变换模块，所述透视变换模块对矫正后的光斑坐标进行透视变换，获得在矫正图像中的光斑的位置，将在矫正图像中的光斑映射到计算机屏幕中的位置；
[0034]控制模块，所述控制模块基于激光光斑位置控制鼠标，完成激光光斑与鼠标的实时同步。
[0035]一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
[0036]一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
[0037]与现有技术相比，本专利技术具有以下有益效果：
[0038]本专利技术采集到实时图像进行畸变校正，获取矫正图像；并基于目标检测算法对激光笔光斑位置进行目标检测训练，最终得到矫正后的光斑坐标；然后对矫正后的光斑坐标进行透视变换，获得在矫正图像中的光斑的位置，将在矫正图像中的光斑映射到计算机屏幕中的位置；基于激光笔控制鼠标，完成激光笔与鼠标的实时同步。本专利技术采用图像识别技术，检测定位激光光斑位置，控制鼠标的移动；用户不受位置限制自由使用鼠标控制系统，进行PPT标注、手写、控制等复杂交互操作，具有自然、简洁、直接的特点，在课堂教学、讲座报告等场景和领域均有着广泛的应用前景。
[0039]进一步的，本专利技术与以往传统目标检测算法和经典机器学习等算法相比较，检测精度高、检测速度快、延迟低，具有更好的检测效果。
附图说明
[0040]为了更清楚的说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种投影显示场景的激光无线鼠标交互控制方法，其特征在于，包括：采集投影显示的实时图像并对采集到实时图像进行畸变校正，获取矫正图像；基于目标检测算法对激光笔光斑位置进行目标检测，得到激光笔光斑位置的模型参数；基于目标检测模型和激光笔光斑位置的模型参数判定激光笔光斑位置，实时输出矫正后的光斑坐标；对矫正后的光斑坐标进行透视变换，获得在矫正图像中的光斑的位置，将在矫正图像中的光斑映射到计算机屏幕中的位置；基于激光光斑位置控制鼠标，完成激光光斑与鼠标的实时同步。2.根据权利要求1所述的投影显示场景的激光无线鼠标交互控制方法，其特征在于，所述对采集到实时图像进行畸变校正，获取矫正图像，具体为：基于标定法获取摄像头内参矩阵和畸变参数；确定待检测画面区域范围，并通过相机内参矩阵与畸变参数进行矩阵计算对获得的画面进行矫正，得到矫正后的画面。3.根据权利要求2所述的投影显示场景的激光无线鼠标交互控制方法，其特征在于，所述基于标定法获取摄像头内参矩阵和畸变参数，具体为：通过摄像头在不同角度拍摄具有一定特征的标定板，标定板上有规则的角点经由摄像机识别，对于每张图片均以基于一个角点获得若干角点真实物理坐标，根据一组真实物理坐标与实际像素坐标的映射关系，得到相机内参矩阵和畸变参数。4.根据权利要求3所述的投影显示场景的激光无线鼠标交互控制方法，其特征在于，所述确定待检测画面区域范围，并通过相机内参矩阵与畸变参数进行矩阵计算对获得的画面进行矫正，得到矫正后的画面，具体为：所述获取摄像头内参矩阵之前需要确定像素坐标系、图像坐标系、相机坐标系和世界坐标系；将图像从像素坐标系依次映射到世界坐标系；最终的转化方式为：[X
W
Y
W
Z
W
]为世界坐标，[uv]为对应的像素坐标，R为旋转矩阵，T为平移矩阵，其中等号右侧第二个矩阵为内参矩阵；所述畸变包括径向畸变与切向畸变，径向畸变表示为下式：其中，(x，y)为理想坐标，x
dr
和y
dr
是畸变后的像素坐标，r2＝x2+y2，所述切向畸变为：
畸变参数定义为[k1k2k3p1p2]。5.根据权利要求4所述的投影显示场景的激光无线鼠标交互控制方法，其特征在于，所述基于目标检测算法对激光笔光...

【专利技术属性】
技术研发人员：覃遵颖，李国栋，雷向犇，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：