鼠标图标控制方法及系统技术方案

一种鼠标图标控制方法及系统，该方法包括：建立鼠标图标形态与对荧幕画面操作的关联，将该关联添加到一对应关系表中；第一投影装置将第一电子装置的荧幕画面投射成荧幕；当第二投影装置将第二电子装置的鼠标图标投射出时，触发第一电子装置的摄像装置拍摄上述荧幕；获取拍摄到的荧幕；当荧幕中存在鼠标图标时，辨识该鼠标图标的形态和在荧幕上的位置变化；从所述对应关系表中查询相应的对荧幕画面的操作；根据查询到的对荧幕画面的操作以及辨识得到的鼠标图标在荧幕上的位置变化控制第一电子装置的荧幕画面做出相应操作，该荧幕画面控制过程显示在上述荧幕上。本发明专利技术利用投影技术实现通过辨识鼠标图标控制多个电子装置的投影荧幕。

【技术实现步骤摘要】
鼠标图标控制方法及系统
本专利技术涉及一种鼠标图标控制方法及系统。
技术介绍
随着投影技术的发展，投影技术被嵌入电子装置，特别是被嵌入手机、平板电脑、个人数字助理等移动电子装置，投影技术嵌入使电子装置屏幕从机身上的小荧幕变成由投影装置投影形成的大荧幕。但是现有技术只能将用户自身电子装置上的信息投影到荧幕上并由用户独自控制荧幕，无法实现用户以外的人对荧幕控制从而实现互动。
技术实现思路
本专利技术提供一种鼠标图标控制方法，该方法包括:建立步骤，建立鼠标图标形态与对荧幕画面操作的关联关系，并将该关联关系添加到一对应关系表中；投射步骤，第一投影装置将第一电子装置的荧幕画面投射成荧幕；触发步骤，当第二投影装置将第二电子装置的鼠标图标投射出时，触发第一电子装置的摄像装置拍摄上述荧幕；获取步骤，从上述摄像装置获取拍摄到的荧幕；辨识步骤，当荧幕中存在第二电子装置的鼠标图标时，辨识该鼠标图标的形态和该鼠标图标在荧幕上的位置变化；查询步骤，根据辨识得到的鼠标图标形态从所述对应关系表中查询相应的对荧幕画面的操作；控制步骤，根据查询到的对荧幕画面的操作以及辨识得到的鼠标图标在荧幕上的位置变化控制第一电子装置的荧幕画面做出相应操作，该荧幕画面控制过程显示在上述荧幕上。本专利技术提供一种鼠标图标控制系统，该系统包括:建立模块，用于建立鼠标图标形态与对该鼠标图标操作的关联关系，并将该关联关系添加到一对应关系表中；触发模块，用于当第二投影装置将第二电子装置的鼠标图标投射出时，触发第一电子装置的摄像装置拍摄由第一投影装置将第一电子装置的荧幕画面投射成的荧幕；获取模块，用于从上述摄像装置获取拍摄到的荧幕；辨识模块，用于当获取到的荧幕中存在第二电子装置的鼠标图标时，辨识该鼠标图标形态和该鼠标在荧幕上的位置变化；查询模块，用于根据鼠标图标形态从所述对应关系表中查询相应的对荧幕画面的操作；控制模块，用于根据查询到的对荧幕画面的操作以及辨识得到的鼠标图标在荧幕上的位置变化控制第一电子装置的荧幕画面做出相应动作，该荧幕画面控制过程显示在上述荧幕上。本专利技术利用投影技术实现通过辨识鼠标图标控制多个电子装置的投影荧幕。【附图说明】图1是本专利技术鼠标图标控制系统的较佳实施方式的运行环境图。图2是本专利技术鼠标图标控制系统的较佳实施方式的功能模块图。图3是本专利技术鼠标图标控制方法的较佳实施方式的流程图。图4是本专利技术鼠标图标控制方法的较佳实施方式的鼠标图标形态与对荧幕画面操作的对应关系表。主要元件符号说明蛋二电子装置第二电子装置2 荧幕_1_ 鼠标图标_4_ 鼠标图标控制系统 TF 竟一存储器 i 处理器_14wmm ~~ 第一投影装置18 第二投影装置20第二存储器_22a立模块M 触发模块_102 I取模块TH 判断模块_106 辨识模块_108查询模块 _ΤΤ?控制丰旲块_112 如下【具体实施方式】将结 合上述附图进一步说明本专利技术。【具体实施方式】如图1所示，是本专利技术鼠标图标控制系统较佳实施例的运行环境图。鼠标图标控制系统10运行在第一电子装置I上，所述第一电子装置I包括第一存储器12、第一处理器14、摄像装置16、第一投影装置18。所述第二电子装置2可以包括第二投影装置20及第二存储器22。所述第一电子装置I与第二电子装置2可以为手机、平板电脑或个人数字助理等电子装置。第一存储器12用于存储鼠标图标控制系统10的程序代码等资料。所述第一投影装置18集成在第一电子装置I内，用于将第一电子装置I的荧幕画面投射成荧幕3。第二投影装置20集成在第二电子装置2内，用于投射鼠标图标到荧幕3。第二存储器22用于存储各种形状的鼠标图标4。摄像装置16用于当第二投影装置20将鼠标图标4投射出去时，拍摄荧幕3。在本实施例中，所述鼠标图标控制系统10可以被分割成一个或多个模块，所述一个或多个模块被存储在第一电子装置I的第一存储器12中并被配置成由一个或多个处理器(本实施例为一个处理器14)执行，以完成本专利技术。例如，参阅图2所示，所述鼠标图标控制系统10被分割成建立模块100、触发模块102、获取模块104、判断模块106、辨识模块108、查询模块110、控制模块112。本专利技术所称的模块是完成一特定功能的程序段，比程序更适合于描述软件在第一电子装置I中的执行过程，关于各模块的功能参阅图3的描述。如图3所示，是本专利技术鼠标图标控制方法的较佳实施例的流程图。步骤S200，建立模块100建立鼠标图标4的形态与对荧幕画面操作的关联关系，并将该关联关系添加到一对应关系表中，该对应关系表如图4所示，例如当控制荧幕画面进行拖拉操作时，鼠标图标4的形态为一个“小手”形态；当要把荧幕画面翻到下一页时，鼠标图标4的形态为一个向左的箭头；当鼠标图标4形态为一个向右的箭头时，表示把荧幕画面翻到上一页，白色的箭头表示标准选择。步骤S202，第一投影装置18将第一电子装置I的荧幕画面投射成荧幕3。步骤S204，当第二投影装置20将鼠标图标4投射出时，触发模块102触发摄像装置16拍摄荧幕3，本实施方式中，第一电子装置I与第二电子装置2通过有线或者无线方式连接通讯，当第二投影装置20投射出鼠标图标4时，第二电子装置2通知第一电子装置I以启动触发模块102触发摄像装置16拍摄荧幕3。步骤S206，获取模块104从摄像装置16获取拍摄到的荧幕3。步骤S208，判断模块106判断拍摄到的荧幕3中是否存在鼠标图标4，如果存在，进入步骤S210，否则返回步骤S204。在本实施方式中，当第二投影装置20投射出鼠标图标4时，触发模块102触发摄像装置16拍摄荧幕3，判断模块106判断荧幕3上除第一电子装置I的荧幕画面外是否还包括鼠标图标4，此处可以利用开源计算机视觉库OpenCV (OpenSource Computer Vision Library)对拍摄到的突幕3的画面进行辨识,看突幕3上是否包括鼠标图标4,所述OpenCV是一个跨平台计算机视觉库,可以运行在Linux、Windows操作系统上，它由一系列C函数和少量C++类构成，它同时提供了 Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。此处之所以会加入步骤S208，是因为第二投影装置20投射鼠标图标4时，未必一定投射在荧幕3上。步骤S210,辨识模块108辨识鼠标图标4的形态和鼠标图标4在突幕3上的位置变化。本实施方式中，所述辨识模块108可以利用OpenCV对拍摄到的荧幕3上的鼠标图标4的形态与位置变化进行辨识。在确定鼠标图标4的位置变化时，以荧幕3左上角为坐标原点建立二维坐标系，则荧幕3左上角坐标为(0，0)，调用OpenCV取得鼠标图标4的多个顶点，例如图1所示顶点A、B、C及中心点相对于原点坐标,根据多个顶点与中心点的相对坐标确定鼠标图标4在荧幕3上的位置，当鼠标图标4在荧幕3上变换位置时,确定鼠标图标4在荧幕3上变换位置的过程中各点的相对坐标，最终确定鼠标图标4在荧幕3上的位置变化。步骤S212，查询模块110根据辨识得到的荧幕3中的鼠标图标4的形态从所述对应关系表中查询相应的对荧幕画面的操作，例如，鼠标图标4的形态为“小手”形态，那么对应的对荧幕画面的操作为“拖本文档来自技高网...

【技术保护点】
一种鼠标图标控制方法，应用在第一电子装置上，该第一电子装置连接第二电子装置并进行通讯，第一电子装置包括第一投影装置，第二电子装置包括第二投影装置，其特征在于，该方法包括：建立步骤，建立鼠标图标形态与荧幕画面操作的关联关系，并将该关联关系添加到一对应关系表中；投射步骤，第一投影装置将第一电子装置的荧幕画面投射成荧幕；触发步骤，当第二投影装置将存储在第二电子装置的鼠标图标投射出时，触发第一电子装置的摄像装置拍摄上述荧幕；获取步骤，从上述摄像装置获取拍摄到的荧幕；辨识步骤，当荧幕中存在第二电子装置的鼠标图标时，辨识该鼠标图标的形态和该鼠标图标在荧幕上的位置变化；查询步骤，根据辨识得到的鼠标图标形态从所述对应关系表中查询相应的对荧幕画面的操作；控制步骤，根据查询到的对荧幕画面的操作以及辨识得到的鼠标图标在荧幕上的位置变化控制第一电子装置的荧幕画面做出相应操作，该荧幕画面控制过程显示在上述荧幕上。

【技术特征摘要】
1.一种鼠标图标控制方法，应用在第一电子装置上，该第一电子装置连接第二电子装置并进行通讯，第一电子装置包括第一投影装置，第二电子装置包括第二投影装置，其特征在于，该方法包括: 建立步骤，建立鼠标图标形态与荧幕画面操作的关联关系，并将该关联关系添加到一对应关系表中； 投射步骤，第一投影装置将第一电子装置的荧幕画面投射成荧幕； 触发步骤，当第二投影装置将存储在第二电子装置的鼠标图标投射出时，触发第一电子装置的摄像装置拍摄上述荧幕； 获取步骤，从上述摄像装置获取拍摄到的荧幕； 辨识步骤，当荧幕中存在第二电子装置的鼠标图标时，辨识该鼠标图标的形态和该鼠标图标在荧幕上的位置变化； 查询步骤，根据辨识得到的鼠标图标形态从所述对应关系表中查询相应的对荧幕画面的操作； 控制步骤，根据查询到的对荧幕画面的操作以及辨识得到的鼠标图标在荧幕上的位置变化控制第一电子装置的荧幕画面做出相应操作，该荧幕画面控制过程显示在上述荧幕上。2.根据权利要求1所述的鼠标图标控制方法，其特征在于，所述第一电子装置和第二电子装置为手机。3.根据权利要求1所述的鼠标图标控制方法，其特征在于，当拍摄得到的荧幕中不存在第二电子装置的鼠标图标时，返回触发步骤。4.根据权利要求1所述的鼠标图标控制方法，其特征在于，所述对荧幕画面的控制为拖拉、翻页、移动或选择文字。5.根据权利要求1所述的鼠标图标控制方法，其特征在于，所述辨识步骤包括利用开源计算机视觉库OpenCV对拍摄到的荧幕上的鼠标图标形态与位置变化进行辨识，在辨识鼠标图标在突幕上的位置变化时，以突幕左上角为坐标原点建立二维坐标系，调用OpenCV取得鼠标图标的多个顶点及中;点相对于原点的坐标，根据该多个顶点与中;点的相对坐标确定鼠标图标在荧幕上的位置，利用该确定鼠标图标位置的方法，当鼠标图标在荧幕上变换位置时确定鼠标图标在荧幕上变换位置...

【专利技术属性】
技术研发人员：王欣伟，
申请(专利权)人：深圳富泰宏精密工业有限公司，奇美通讯股份有限公司，
类型：发明
国别省市：