【技术实现步骤摘要】
本专利技术属于摄像头图像处理算法，尤其涉及一种基于机器视觉的大屏触摸交互会议室多媒体终端。
技术介绍
1、基于遥控器的会议终端人机交互体验非常不友好，由于安卓系统或者windows系统都是基于点击逻辑设计的人机交互方法，所以如果使用遥控器进行人机交互需要非常多的按键次数才能达成触屏点击的一次有效操作，便捷性极差.
2、有些终端厂商会在遥控器中集成空气鼠标功能，通过陀螺仪传感器，用户可通过挥动遥控器的方式控制鼠标的移动，这样的方式体验也不是很好，存在陀螺仪校准，鼠标漂移，遥控器丢失等问题。
3、有些会议大屏会携带触摸功能，但是价格会相对昂贵。
4、市面上还有后装的大屏触摸方案，例如红外线触摸框，激光触摸框，这样的方案一方面价格较为昂贵，并且具有集成度不高，同一款产品无法适配不同尺寸的大屏，使用安装校准难度大等问题。
5、基于此，本专利技术设计了一种基于机器视觉的大屏触摸交互会议室多媒体终端，以解决上述问题。
技术实现思路
1、本专利技术的目的在于：为了解决有些会议大屏会携带触摸功能，但是价格会相对昂贵，市面上还有后装的大屏触摸方案，例如红外线触摸框，激光触摸框，这样的方案一方面价格较为昂贵，并且具有集成度不高，同一款产品无法适配不同尺寸的大屏，使用安装校准难度大的问题，而提出的一种基于机器视觉的大屏触摸交互会议室多媒体终端。
2、为了实现上述目的，本专利技术采用了如下技术方案：
3、一种基于机器视觉的大屏触摸交互
4、两个所述180°鱼眼高清摄像头拍摄所述大屏区域的手指或者触摸笔动作，两个所述180°鱼眼高清摄像头拍摄的图像先在视频dsp芯片中进行图像处理，通过消噪以及卷积神经网络算法，识别出背景以及手指或触摸笔，将手指或触摸笔从背景中提取出来，并根据两个所述180°鱼眼高清摄像头进行两点定位，给出手指或触摸笔在屏幕上的相对二维x，y轴坐标，并且将该坐标发送给mcu，mcu会将处理后的坐标及点击信息传输到主芯片，主芯片处理后在所述大屏上给出相应的动作。
5、作为上述技术方案的进一步描述：
6、两个所述180°鱼眼高清摄像头进行两点定位，给出手指或触摸笔在屏幕上的相对二维x，y轴坐标，基于几何测量技术中的两角定位技术以及两边定位技术，通过测量距离和角度，分别获得大屏上手指或触摸笔的位置坐标。
7、作为上述技术方案的进一步描述：
8、所述两边定位法中，两个所述180°鱼眼高清摄像头作为定位信标的坐标已知，分别为a(x1，y1，z1)和b(x2，y2，z2)，与手指或触摸笔c(xc，yc，yc)之间的距离l1和l2通过wifi信号强度测距技术获得，得到如下方程组：
9、
10、定位目标在大屏的二维平面上，固有z1＝z2，代入上式再次进行相互作差可得：
11、
12、将上式转化为矩阵再结合最小二乘法便能够获得手指或触摸笔的相对二维x，y轴坐标。
13、作为上述技术方案的进一步描述：
14、所述会议音视频终端设备初次使用时需要运行一次校准程序，当所述会议音视频终端设备被稳妥固定在所述大屏顶端时，启动进行校准程序，校准时所述大屏会在四个角显示十字光标，此时分别用手指或者触摸笔依次点击十字光标的中心，则完成校准，完成校准后，即可正常使用，如果所述会议音视频终端设备与所述大屏的相对位置没有变化，则无需再次进行校准。
15、作为上述技术方案的进一步描述：
16、所述会议音视频终端设备主芯片能够根据需求使用基于arm的主芯片并运行安卓系统，也能够使用基于x86架构的主芯片并运行windows或者使用其它主芯片运行该芯片支持的系统。
17、作为上述技术方案的进一步描述：
18、两个所述180°鱼眼高清摄像头数据流处理过程包括：
19、dsp芯片先针对180°鱼眼高清摄像头镜头畸变进行校准，使边缘扭曲的图像平直；
20、然后裁剪掉视场中对触控方面无关的部分，随后将每个像素点rgb图加权平均后得到灰度图，利用前后帧加权相减的办法将图像中静止的背景消除；
21、为了消除所述大屏显示内容本身的变化对识别的影响，dsp芯片还会输入主芯片的图像显示信号，通过变形，灰度化拟合后也会作为背景被消除；
22、上面相减后的图像同样会筛选出图像中运动的物体，通过调节前后帧的权重数据，调节对于变化识别的灵敏度；
23、随后是通过一阶导数边缘算子，基于sobel算子的canny边缘检测算法，将运动物体的边缘进行提取；
24、将提取后的图像放入训练后的卷积神经网络，卷积神经网络根据先前训练的参数计算出手指在屏幕中的实际位置；
25、训练方法为在屏幕上生成坐标然后让人手或者触摸笔进行点击，此时配合不同的光照条件，点击方法进行训练。
26、作为上述技术方案的进一步描述：
27、所述卷积层与连接层在学习时根据输入的边缘检测图像，以及输出的手指或触摸笔在屏幕上的实际位置，训练内部参数，直至拟合。
28、作为上述技术方案的进一步描述：
29、所述卷积神经网络输出层会生成多手指的坐标参数，例如手指1(x1，y2)和手指2(x2，y2)，通过串口与单片机通讯。
30、作为上述技术方案的进一步描述：
31、所述单片机将接收到的信号转换为符合hid外部设备协议的信号，与主芯片进行通讯，基于此控制主芯片系统上的显示内容。
32、作为上述技术方案的进一步描述：
33、所述canny边缘检测算法中采用梯度幅值直方图进行凹度分析，根据图像的特性，自动选取双阈值，双阈值选取步骤包括：
34、计算图像的256级梯度幅值直方图s(i)，计算直方图s(i)的非零起点(istart，s(istart))和非零终点(iend，s(iend))，并保存这两点；
35、计算直方图中梯度幅值由istart到iend的斜率由如下公式计算得到：
36、
37、其中p(i)表示斜率，i表示梯度幅值；
38、求寻p(i)的最大值以及对应的幅值ipeak，(ipeak，s(ipeak))为梯度直方图的一个凸点，若是ipeak＜本文档来自技高网...
【技术保护点】
1.一种基于机器视觉的大屏触摸交互会议室多媒体终端，包括会议音视频终端设备，其特征在于，所述会议音视频终端设备包括两个180°鱼眼高清摄像头、会议用高清摄像头、阵列麦克风、设备支架、隐藏式扬声器以及接口模块，两个所述180°鱼眼高清摄像头用以捕捉屏幕触摸手指图像，所述会议用高清摄像头用以进行视频会议，所述阵列麦克风用以会议室环境拾音，所述设备支架用以将设备固定在大屏顶端，所述隐藏式扬声器用以在会议中外放音频，所述接口模块里面包含HDMI输出/输入、USB接口、电源输入口和RJ45网络接口，所述会议音视频终端设备通过HDMI线与大屏连接，用以将视频及音频信号传输到大屏中；
2.根据权利要求1所述的一种基于机器视觉的大屏触摸交互会议室多媒体终端，其特征在于，两个所述180°鱼眼高清摄像头进行两点定位，给出手指或触摸笔在屏幕上的相对二维x，y轴坐标，基于几何测量技术中的两角定位技术以及两边定位技术，通过测量距离和角度，分别获得大屏上手指或触摸笔的位置坐标。
3.根据权利要求2所述的一种基于机器视觉的大屏触摸交互会议室多媒体终端，其特征在于，所述两边定位法中，两个
4.根据权利要求1所述的一种基于机器视觉的大屏触摸交互会议室多媒体终端，其特征在于，所述会议音视频终端设备初次使用时需要运行一次校准程序，当所述会议音视频终端设备被稳妥固定在所述大屏顶端时，启动进行校准程序，校准时所述大屏会在四个角显示十字光标，此时分别用手指或者触摸笔依次点击十字光标的中心，则完成校准，完成校准后，即可正常使用，如果所述会议音视频终端设备与所述大屏的相对位置没有变化，则无需再次进行校准。
5.根据权利要求4所述的一种基于机器视觉的大屏触摸交互会议室多媒体终端，其特征在于，所述会议音视频终端设备主芯片能够根据需求使用基于ARM的主芯片并运行安卓系统，也能够使用基于X86架构的主芯片并运行windows或者使用其它主芯片运行该芯片支持的系统。
6.根据权利要求1所述的一种基于机器视觉的大屏触摸交互会议室多媒体终端，其特征在于，两个所述180°鱼眼高清摄像头数据流处理过程包括：
7.根据权利要求6所述的一种基于机器视觉的大屏触摸交互会议室多媒体终端，其特征在于，所述卷积层与连接层在学习时根据输入的边缘检测图像，以及输出的手指或触摸笔在屏幕上的实际位置，训练内部参数，直至拟合。
8.根据权利要求7所述的一种基于机器视觉的大屏触摸交互会议室多媒体终端，其特征在于，所述卷积神经网络输出层会生成多手指的坐标参数，例如手指1(x1，y2)和手指2(x2，y2)，通过串口与单片机通讯。
9.根据权利要求8所述的一种基于机器视觉的大屏触摸交互会议室多媒体终端，其特征在于，所述单片机将接收到的信号转换为符合HID外部设备协议的信号，与主芯片进行通讯，基于此控制主芯片系统上的显示内容。
10.根据权利要求9所述的一种基于机器视觉的大屏触摸交互会议室多媒体终端，其特征在于，所述Canny边缘检测算法中采用梯度幅值直方图进行凹度分析，根据图像的特性，自动选取双阈值，双阈值选取步骤包括：
...【技术特征摘要】
1.一种基于机器视觉的大屏触摸交互会议室多媒体终端，包括会议音视频终端设备，其特征在于，所述会议音视频终端设备包括两个180°鱼眼高清摄像头、会议用高清摄像头、阵列麦克风、设备支架、隐藏式扬声器以及接口模块，两个所述180°鱼眼高清摄像头用以捕捉屏幕触摸手指图像，所述会议用高清摄像头用以进行视频会议，所述阵列麦克风用以会议室环境拾音，所述设备支架用以将设备固定在大屏顶端，所述隐藏式扬声器用以在会议中外放音频，所述接口模块里面包含hdmi输出/输入、usb接口、电源输入口和rj45网络接口，所述会议音视频终端设备通过hdmi线与大屏连接，用以将视频及音频信号传输到大屏中；
2.根据权利要求1所述的一种基于机器视觉的大屏触摸交互会议室多媒体终端，其特征在于，两个所述180°鱼眼高清摄像头进行两点定位，给出手指或触摸笔在屏幕上的相对二维x，y轴坐标，基于几何测量技术中的两角定位技术以及两边定位技术，通过测量距离和角度，分别获得大屏上手指或触摸笔的位置坐标。
3.根据权利要求2所述的一种基于机器视觉的大屏触摸交互会议室多媒体终端，其特征在于，所述两边定位法中，两个所述180°鱼眼高清摄像头作为定位信标的坐标已知，分别为a(x1，y1，z1)和b(x2，y2，z2)，与手指或触摸笔c(xc，yc，yc)之间的距离l1和l2通过wifi信号强度测距技术获得，得到如下方程组：
4.根据权利要求1所述的一种基于机器视觉的大屏触摸交互会议室多媒体终端，其特征在于，所述会议音视频终端设备初次使用时需要运行一次校准程序，当所述会议音视频终端设备被稳妥固定在所述大屏顶端时，启动进行校准程序，校准时所述大屏会在四...
【专利技术属性】
技术研发人员：梁爽，张荫来，林泽凯，
申请(专利权)人：广州良程云启科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。