一种屏幕定位控制方法，①参考图像的获取：实时获取或预先收集至少一个屏幕参考图像，并将该屏幕参考图像作为图像识别中的标准图像；②屏幕图像的采集：将本发明专利技术中的定位控制装置指向屏幕，定位控制装置内部的图像采集单元将屏幕图像数字化，得到一系列的屏幕采集图像；③图像识别，它包含：A、提取参考特征集：从屏幕参考图像中提取参考特征集，并把参考特征集作为图像识别过程中的标准集；B、提取采集图像特征集：利用提取参考特征集相同的方法对屏幕采集图像进行特征提取，得到采集图像特征集；C、用匹配算法对采集图像特征集和参考特征集进行匹配；④位置计算：根据匹配结果和定位控制装置的当前坐标计算下一时刻定位控制装置指示的屏幕坐标；⑤焦点标识：将新焦点坐标送至焦点控制模块中，焦点控制模块根据屏幕的当前状态标识焦点位置。
【技术实现步骤摘要】
本专利技术涉及一种屏幕定位的方法及装置，属于人机交互领域，具体的说，是一种利用计算机视觉和模式识别原理来直接对屏幕定位的方法和装置。
技术介绍
作为一种输入设备，屏幕定位设备是用来在屏幕上指定一个位置的设备。举例来说，鼠标就是一种屏幕定位设备，它利用手在另一个平面上的运动来控制鼠标的光标在屏幕上的位置。作为人机交互系统的重要组成部分，输入设备对人机界面和用户体验影响巨大。鼠标的普及极大地改善了用户体验，最终导致了图形界面系统的流行并在PC和移动设备中取代字符界面系统。目前，鼠标和触控板仍然是最主要的屏幕定位设备。尤其在计算机领域，鼠标和触控板分别是台式机和笔记本的标准配置。但鼠标和触控板也有突出的缺点操作不直观，不自然。也就是说，人无法与屏幕上的对象进行直接交互。因为在使用鼠标或触控板的过程中，人的眼睛盯着屏幕，却要通过手在另一个平面的运动来控制屏幕上的光标，这造成使用的不便。举例来说，人们很难用鼠标在屏幕上画图或手写输入。触摸屏则很好的实现了直接交互，因为人们可以用手指或笔通过触摸直接操作屏幕上的对象。但是触摸屏的成本和屏幕面积成正比，这导致它用在笔记本和更大的屏幕上的成本很高；触摸屏会因外界条件变化而产生漂移，造成定位不准确；触摸屏本身的材质也会影响屏幕的清晰度；手指接触屏幕还会使屏幕变脏、磨损以致缩短屏幕寿命。由于以上种种原因，触摸屏主要应用在屏幕较小的设备(如仪器仪表、手持设备等)上。申请号为200810030194. 4，专利技术名称为“基于视线跟踪和手势识别的人机互动方法及装置”的专利技术专利申请，利用人眼和指尖的连线与屏幕的交点的坐标作为焦点坐标的定位装置。通过人脸检测、人眼定位、手区域检测、指尖定位和屏幕坐标计算来实现屏幕定位。该方法的好处是使用方便，除摄像头外，无需附加任何其他设备；不足之处在于通过人眼和手指的连线来定位和人的习惯还有一些差别，使用起来并不是很直观；并且，通过多个步骤来确定人眼和手指的位置，各个步骤的误差会积累起来影响最终的结果。申请号为200510089933. 3，专利技术名称为“一种基于摄像头的虚拟触摸屏系统”的专利技术专利申请提公开了一种屏幕定位方法。该专利技术通过使用多个摄像头从不同的角度获得屏幕图像，然后从图像中识别出手指，进而通过射影变换确定手指的位置在屏幕上的坐标。该专利技术的优点是操作直观，用手指定位，不需要附加设备；缺点是需要两个或多个摄像头，成本比较高，并且摄像头的布设在屏幕前方，不容易安装。Johnny Lee 2008年2月在TED通过使用Wii遥控器实现的电子白板演示了如何实现一个低成本的直接操作界面。其原理是操作者使用红外线笔发射红外线到屏幕上，用红外摄像头接收屏幕上反射的红外线来确定红外线笔指向屏幕的位置，从而实现了屏幕定位。该设计使用方便、价格低廉。不足之处在于1.需要在屏幕前方安装红外线摄像头，并且不能被使用者遮挡，给实施带来不便，这点在桌面和便携应用尤其明显。2.精度受摄像头精度的影响，没有鼠标精确。3.在使用前需要校正，给使用带来不便。
技术实现思路
本专利技术的目的是提供一种使用简便、操作直观、便于维护且节省成本的屏幕定位控制方法。为实现上述目的，本专利技术采用以下技术方案 其中，屏幕定位控制方法包括以下步骤①、参考图像的获取实时获取或预先收集至少一个屏幕参考图像，并将该屏幕参考图像作为图像识别中的标准图像；②、屏幕图像的采集将本专利技术中的定位控制装置指向屏幕，定位控制装置内部的图像采集单元将屏幕图像数字化，得到一系列的屏幕采集图像；③、图像识别，它包含A、提取参考特征集从屏幕参考图像中提取参考特征集，并把参考特征集作为图像识别过程中的标准集；B、提取采集图像特征集利用提取参考特征集相同的方法对屏幕采集图像进行特征提取，得到采集图像特征集；C、用匹配算法对采集图像特征集和参考特征集进行匹配，得到匹配特征集；④、位置计算根据匹配结果和定位控制装置的当前坐标计算下一时刻定位控制装置指示的屏幕坐标，即新焦点坐标；⑤、焦点标识将新焦点坐标送至焦点控制模块中，焦点控制模块根据屏幕的当前状态标识焦点位置；⑥、重复步骤①到⑤，实现屏幕定位。所述的屏幕参考图像为屏幕区域截图；对所述的屏幕区域截图进行特征提取，得到参考特征集；采用局部特征算法或模板匹配方法对参考特征集和采集图像特征集进行匹配。所述的新焦点坐标是指匹配特征集对应的图像在屏幕区域截图上的坐标。将已获得的新焦点坐标通过无线或有线的方式传送到主机的焦点控制模块；焦点控制模块根据新焦点坐标的位置和屏幕当前的状态确定下一时刻界面的显示状态。所述的屏幕参考图像为至少一张光标图像，对光标图像提取特征得到参考特征集；在步骤③中，采用机器学习及模式识别算法对采集图像特征集和参考特征集进行识别和匹配。在所述步骤③的A中，利用机器学习及模式识别算法的训练部分从获得的参考特征集中进一步提取光标识别参数；在步骤③的C中，根据参考特征集和光标识别参数，采用机器学习及模式识别算法的识别部分对采集图像特征集进行匹配。所述的新焦点坐标是这样得到的特征匹配后得到匹配特征集对应图像在采集图像上的坐标，通过该坐标与采集图像中心坐标的差值和定位装置在屏幕上的当前坐标值计算出新焦点坐标。在所述的步骤⑤中，将已获得的新焦点坐标通过无线或有线的方式传送到主机的焦点控制模块；焦点控制模块擦去当前焦点位置上的光标，并在新焦点坐标上绘制新光标。当定位装置检测不到屏幕中的光标图像时，对屏幕进行区域截图，对所述的屏幕区域截图进行特征提取并与从采集单元获得的屏幕图像提取的特征匹配后，计算匹配部分在区域截图上的坐标，即焦点坐标，然后把光标移到该焦点坐标位置，从而在该焦点坐标位置上获取光标图像，对光标图像进行特征提取和匹配后，计算出新焦点坐标，并最终在新焦点坐标上绘制新光标。在所述的步骤②中，图像采集单元包括镜头组、图像传感器和图像预处理模块；所述的图像预处理模块对屏幕参考图像、屏幕采集图像分别进行预处理，预处理包括降噪、均衡、增强、运动模糊恢复、散焦恢复中的任意一种或几种的组合。除此之外，本专利技术中的定位控制装置，包括壳体，在所述的壳体前端设置镜头组及图像传感器，图像传感器将采集到的屏幕参考图像和屏幕采集图像传送给图像预处理模块，经过预处理后在图像识别模块中进行图像特征提取和匹配，位置计算模块根据匹配结果和定位控制装置的当前坐标计算下一时刻定位控制装置指示的屏幕坐标，通信模块将得到的屏幕坐标送给焦点控制模块中，焦点控制模块根据屏幕的当前状态标识焦点位置。所述的图像预处理模块、图像识别模块和位置计算模块用软件语言实现，在CPU 或GPU中运行；或者用硬件描述语言实现，在可编程逻辑器件FPGA或CPLD中运行；或者采用ASIC实现。采用上述技术方案的本专利技术，基于计算机视觉和图像识别原理，为用户提供一种全新的直接的交互手段。基于本专利技术，用户可以直观的在屏幕上进行各种操作，包括书写、 绘画等复杂操作。本专利技术使用方便，在实施时不需要对现有设备做大的改动，尤其对于计算机应用不需要做任何硬件上的改动；操作前不需要任何校正，使用起来更加简单、容易；本装置基本不含机械部分，在使用时不需要和屏幕表面接触，不会划伤或弄污屏幕和本装置，便于维护并且延长了屏幕和本装置的使用寿命。本专利技术主要集中本文档来自技高网...
【技术保护点】
１．一种屏幕定位控制方法，其特征在于，它包括以下步骤：①、参考图像的获取：实时获取或预先收集至少一个屏幕参考图像，并将该屏幕参考图像作为图像识别中的标准图像；②、屏幕图像的采集：将本专利技术中的定位控制装置指向屏幕，定位控制装置内部的图像采集单元将屏幕图像数字化，得到一系列的屏幕采集图像；③、图像识别，它包含：Ａ、提取参考特征集：从屏幕参考图像中提取参考特征集（Ｒ），并把参考特征集（Ｒ）作为图像识别过程中的标准集；Ｂ、提取采集图像特征集：利用提取参考特征集相同的方法对屏幕采集图像进行特征提取，得到采集图像特征集（Ｓ）；Ｃ、用匹配算法对采集图像特征集（Ｓ）和参考特征集（Ｒ）进行匹配，得到匹配特征集（Ｍ）；④、位置计算：根据匹配结果和定位控制装置的当前坐标计算下一时刻定位控制装置指示的屏幕坐标，即新焦点坐标；⑤、焦点标识：将新焦点坐标送至焦点控制模块中，焦点控制模块根据屏幕的当前状态标识焦点位置；⑥、重复步骤①到⑤，实现屏幕定位。
【技术特征摘要】
【专利技术属性】
技术研发人员：伍斌，
申请(专利权)人：伍斌，
类型：发明
国别省市：41
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。