一种三维大空间多通道笔式交互系统技术方案

本发明专利技术涉及一种三维大空间多通道笔式交互系统，涉及三维大空间多通道笔式交互系统。主机和智能电子笔，采用超声波信号与加速度、陀螺仪信号的组合笔式识别方法，在因遮挡无法通过超声波信号实现电子笔的笔式识别，通过加速度、陀螺仪信号完成辅助定位，并实现笔姿态信息的提取。本发明专利技术提供的三维大空间多通道笔式交互系统及方法支持三维空间、二维平面的笔式交互、手势交互和语音交互操作，具备定位精度高，交互空间大，支持三维书空模式等优点。

Three dimensional large space multi-channel pen interaction system

The invention relates to a three-dimensional large space multi-channel pen type interactive system, which relates to a three-dimensional large space multi-channel pen interactive system. The host and the intelligent electronic pen, ultrasonic signal and acceleration and gyro signal combination pen based recognition method in identification can not be achieved due to occlusion of pen type electronic pen by ultrasonic signal, the acceleration and gyro signal assisted positioning, and implementation of the information extraction of pen gesture. Multi channel pen interaction system and method of three-dimensional space is provided to support the three-dimensional space, the planar pen interaction, gesture and voice interactive operation, high positioning accuracy, the advantages of interactive space, 3D model space book support.

【技术实现步骤摘要】

本专利技术具体涉及一种基于超声波无线定位技术的多通道三维笔式交互系统，可实现智能笔的三维实时定位、姿态获取、笔尖压力等信号提取，可用于人机交互、教育信息化、三维图像及视频交互控制等领域。
技术介绍
近年来，人机交互对信息技术的发展产生了巨大的影响，以人为中心的高效自然的人机交互已经成为人机交互领域的研究热点。人类使用纸笔已经有数千年的历史，使用笔在纸上书写、绘画、各种演算。计算机的普及逐渐替代了纸笔的使用，与纸笔方式比较，计算机的数据处理技术具有占用空间小、处理时间短、有利于信息安全、能实现不失真的复制和便于检索和导航等等优点。近些年，笔式交互的出现既模拟了人们使用纸笔的习惯，同时又充分利用了电子计算的优势，是一种回归自然的灵活的交互方式。笔式交互是一种重要的人机交互方式，通过类似于传统的纸笔隐喻(Metaphor)来提供给人们最大的习惯性。笔作为输入设备因其便于携带、学习周期短、支持直接操作并且易于书画等优势被越来越广泛地应用于电子白板、平板电脑和移动电话等电子设备上，如苹果公司的Applepencil，微软公司的Surface触控笔以及三星note智能手机触控笔等。目前在笔式交互方面，当前主要基于电容触摸屏、电磁定位触控笔以及基于二维平面的超声定位笔等，并呈现丰富的压力感受，让操作者能够模拟纸笔书写过程。随着智能人机交互技术的发展，人机对话中的信息呈现方式越来越趋向三维化，如何用笔同这些三维信息交互成为一个亟待解决的问题。国内外在二维平面上的笔式交互技术和应用研发方面有良好积累，但在三维多通道融合的笔式交互方面有待深入研究，对三维大空间多通道笔式交互的研究还处于起步阶段。本专利技术公开一种三维大空间笔式交互系统，提供一种支持非接触操控、姿态、压力、语音等交互通道的三维笔式交互系统。三维大空间笔式交互系统的关键技术是高精度三维无线定位技术，主要包括三维电磁定位、三维超声定位和数字视觉定位技术。三维电磁定位技术的系统复杂，且定位范围较小，很难实现大范围多目标操控功能。数字视觉定位技术应用在三维定位中，很难象二维平面定位那样设计特殊边框，仅靠数字图像识别算法实现目标跟踪，算法复杂，受环境影响较大。超声波定位技术是上述三种定位技术中最适用于大空间三维定位的技术，虽然需要专用超声波发射器，但超声波定位范围大，精度高，本专利技术采用超声波无线定位技术实现智能笔的实时三维定位。中国专利“一种多感知便捷式智能笔”(申请号201420470088.90)公开了一种多感知便捷式智能笔，包括笔壳、电容屏触摸笔头、NFC感应线圈、条码扫描引擎模组、加速度/陀螺仪/地磁九轴传感器、温度/湿度传感器、控制芯片、蓝牙/WIFI通信模块等，能够在触摸屏上通过电容触摸头实现笔迹书写，通过九轴传感器获得智能笔姿态，并通过蓝牙/WIFI通信模块将姿态、条码信息发送到互连设备，但该智能笔仅能在触摸屏上实现二维定位，定位范围小，不支持压感识别，且不能实现对智能笔的三维定位。中国专利“大范围多目标超声跟踪定位系统和方法”(申请号201010546442.8)公开了一种大范围多目标超声跟踪定位系统及方法，采用不同频率和不同时隙实现多目标识别，采用空间分割法实现大范围定位和跟踪。该系统及方法主要提供一种室内三维定位跟踪与定位系统，采用超声波定位技术实现对目标的大范围三维定位，该目标可以是电子笔，但该系统不具有笔尖压力、姿态识别功能。中国专利“一种三维交互电子白板系统及方法”(申请号201310404513.4)公开了一种采用超声波定位的三维交互电子白板及方法，该系统采用多个接收器，基于三维超声波无线定位技术，通过选取不在同一条直线上的4个接收器作为定位接收器，利用频分复用技术和陷波技术实现多目标实时的分离与识别，能够实现发射器(含笔式发射器)的大范围三维定位，但该系统未考虑笔尖压力、姿态识别等功能。
技术实现思路
本专利技术提供一种三维大空间多通道笔式交互系统，以解决传统笔式交互系统不能支持大空间三维定位、非接触操控的问题，基于超声波三维无线定位技术，公开一种支持非接触操控、姿态、压感的三维大空间笔式交互系统，具备三维无线定位、非接触操控、多通道交互等功能。本专利技术采取的技术方案是，包括主机和智能电子笔两部分，其中：(一)主机1包括超声三维定位模块、深度摄像头、主机电路、光电定位摄像头、平板电视屏幕或白板；(1)所述超声三维定位模块为三维大空间多通道笔式交互系统的核心，包括3个不在一条直线上的超声传感器10101构成三维超声定位阵列和2个红外传感器10102，用于接收智能电子笔发射的红外同步信号；(2)所述深度摄像头通过摄取的深度图像，由处理器完成操作者三维姿态和手势的提取；(3)所述主机电路包括微处理器一、超声波三维定位模块、光电定位模块、深度摄像头、音频驱动电路、扬声器、麦克风一、音频放大电路、蓝牙通信模块以及接口模块，其中：微处理器一可以为DSP、ARM、FPGA，完成系统总体控制和交互通道信息的处理；所述超声波三维定位模块电路主要包括3路超声信号处理电路和1路红外信号处理电路；所述光电定位模块采用两个或多个光电定位摄像头，根据各摄像头摄取的有无触摸点的图像，获得触摸点的位置，根据触摸点的个数及变化实现触控操作或手势识别；所述深度摄像模块采用深度摄像头，根据摄取图像的深度信息，提取三维手势；所述音频驱动电路和扬声器构成音频输出电路，完成语音交互的语音输出和智能电子笔麦克风的语音的输出；所述麦克风一和音频放大电路构成主机的音频信号采集与处理电路，完成主机麦克风一的语音交互输入信号的采集；所述蓝牙通信模块负责接收电子笔发送的音频信号、加速度角速度信号、笔尖压力信号以及主机对电子笔的配置信息等；所述接口模块包括USB、UART接口电路，用于实现与PC机以及其他主机的数据传输；(4)主机采用两个或多个光电定位摄像头构成二维平面触控定位和手势识别输入通道，通过各摄像头摄取的有无触摸点的图像的差异，实现裸指及无源触摸物的二维平面定位和手势识别。本专利技术所述超声波三维定位模块电路包括3路超声波信号接收与采集电路和2路红外信号接收与采集电路：超声波传感器一，超声波放大与采集电路一，超声波传感器二，超声波放大与采集电路二，超声波传感器三，超声波放大与采集电路三，红外传感器一，红外放大与采集电路一，红外传感器二，红外放大与采集电路二、温度采集电路、接口电路以及微处理器三，其中：以第一路超声波信号接收与采集电路为例，描述每路超声波信号接收与采集电路的构成，第一路超声波信号接收与采集电路包括超声波传感器一和超声波放大与采集电路一，超声波传感器一采用压电陶瓷超声波传感器，也可以采用麦克风，超声波放大与采集电路一完成超声波信号匹配、放大、滤波、A/D转换及增益调整等，其它超声波信号接收与采集电路以此类推；以第一路红外信号接收与采集电路为例，描述每路红外放大与采集电路的构成和功能，第一路红外信号接收与采集电路包括红外传感器一和红外放大与采集电路一，红外传感器一接收红外信号，红外放大与采集电路一609主要负责红外信号的放大、滤波、A/D转换以及增益调整；接口电路包括USB、UART、电源等接口，负责与上位机通信和三维定位模块提供电源；温度采集电路主要完成环境温度的本文档来自技高网...

【技术保护点】
一种三维大空间多通道笔式交互系统，其特征在于：包括主机和智能电子笔两部分，其中：(一)主机1包括超声三维定位模块、深度摄像头、主机电路、光电定位摄像头、平板电视屏幕或白板；(1)所述超声三维定位模块为三维大空间多通道笔式交互系统的核心，包括3个不在一条直线上的超声传感器10101构成三维超声定位阵列和2个红外传感器10102，用于接收智能电子笔发射的红外同步信号；(2)所述深度摄像头通过摄取的深度图像，由处理器完成操作者三维姿态和手势的提取；(3)所述主机电路包括微处理器一、超声波三维定位模块、光电定位模块、深度摄像头、音频驱动电路、扬声器、麦克风一、音频放大电路、蓝牙通信模块以及接口模块，其中：微处理器一可以为DSP、ARM、FPGA，完成系统总体控制和交互通道信息的处理；所述超声波三维定位模块电路主要包括3路超声信号处理电路和1路红外信号处理电路；所述光电定位模块采用两个或多个光电定位摄像头，根据各摄像头摄取的有无触摸点的图像，获得触摸点的位置，根据触摸点的个数及变化实现触控操作或手势识别；所述深度摄像模块采用深度摄像头，根据摄取图像的深度信息，提取三维手势；所述音频驱动电路和扬声器构成音频输出电路，完成语音交互的语音输出和扬声器的语音的输出；所述麦克风一和音频放大电路构成主机的音频信号采集与处理电路，完成主机麦克风一的语音交互输入信号的采集；所述蓝牙通信模块负责接收电子笔发送的音频信号、加速度角速度信号、笔尖压力信号以及主机对电子笔的配置信息等；所述接口模块包括USB、UART接口电路，用于实现与PC机以及其他主机的数据传输；(4)主机采用两个或多个光电定位摄像头构成二维平面触控定位和手势识别输入通道，通过各摄像头摄取的有无触摸点的图像的差异，实现裸指及无源触摸物的二维平面定位和手势识别。(二)智能电子笔包括微处理器二、超声波驱动电路、红外驱动电路、电源模块、三轴加速度陀螺仪、压力模块、按键电路、蓝牙通信芯片、语音信号采集电路、麦克风二；其中：超声发射采用脉冲激励方式，微处理器二产生超声波脉冲信号，由超声波驱动电路放大后由PVDF超声波压电薄膜发射；红外发射采用脉冲方式，发送两个红外脉冲，根据红外脉冲间隔对按键功能进行编码，由微处理器二产生红外发射脉冲，有红外驱动电路进行放大后由红外发射管发射出去；电源模块包括电池和升压电路，电池采用AAA、AA或者纽扣电池，为了满足微处理器二及其他电路对电源电压的要求，需要通过升压电路产生5V或3.3V的电源电压；三轴加速度陀螺仪传感器直接与微处理器二连接，由微处理器二读取加速度和角速度信号，用于电子笔姿态以及电子笔的辅助定位，六轴加速度陀螺仪采用MEMS六轴加速度陀螺仪传感器；压力模块用于检测笔尖按键的压力，采用MEMS压力传感器；按键电路包括两个按键，采用微动开关按键，模拟鼠标左右键以及其它按键操作；蓝牙通信芯片采用集成处理器的蓝牙芯片；麦克风二采用MEMS麦克风或小型驻极体电容麦克风，语音信号调理电路完成语音信号的放大和滤波，语音信号采集电路完成语音信号的A/D转换。...

【技术特征摘要】
1.一种三维大空间多通道笔式交互系统，其特征在于：包括主机和智能电子笔两部分，其中：(一)主机1包括超声三维定位模块、深度摄像头、主机电路、光电定位摄像头、平板电视屏幕或白板；(1)所述超声三维定位模块为三维大空间多通道笔式交互系统的核心，包括3个不在一条直线上的超声传感器10101构成三维超声定位阵列和2个红外传感器10102，用于接收智能电子笔发射的红外同步信号；(2)所述深度摄像头通过摄取的深度图像，由处理器完成操作者三维姿态和手势的提取；(3)所述主机电路包括微处理器一、超声波三维定位模块、光电定位模块、深度摄像头、音频驱动电路、扬声器、麦克风一、音频放大电路、蓝牙通信模块以及接口模块，其中：微处理器一可以为DSP、ARM、FPGA，完成系统总体控制和交互通道信息的处理；所述超声波三维定位模块电路主要包括3路超声信号处理电路和1路红外信号处理电路；所述光电定位模块采用两个或多个光电定位摄像头，根据各摄像头摄取的有无触摸点的图像，获得触摸点的位置，根据触摸点的个数及变化实现触控操作或手势识别；所述深度摄像模块采用深度摄像头，根据摄取图像的深度信息，提取三维手势；所述音频驱动电路和扬声器构成音频输出电路，完成语音交互的语音输出和扬声器的语音的输出；所述麦克风一和音频放大电路构成主机的音频信号采集与处理电路，完成主机麦克风一的语音交互输入信号的采集；所述蓝牙通信模块负责接收电子笔发送的音频信号、加速度角速度信号、笔尖压力信号以及主机对电子笔的配置信息等；所述接口模块包括USB、UART接口电路，用于实现与PC机以及其他主机的数据传输；(4)主机采用两个或多个光电定位摄像头构成二维平面触控定位和手势识别输入通道，通过各摄像头摄取的有无触摸点的图像的差异，实现裸指及无源触摸物的二维平面定位和手势识别。(二)智能电子笔包括微处理器二、超声波驱动电路、红外驱动电路、电源模块、三轴加速度陀螺仪、压力模块、按键电路、蓝牙通信芯片、语音信号采集电路、麦克风二；其中：超声发射采用脉冲激励方式，微处理器二产生超声波脉冲信号，由超声波驱动电路放大后由PVDF超声波压电薄膜发射；红外发射采用脉冲方式，发送两个红外脉冲，根据红外脉冲间隔对按键功能进行编码，由微处理器二产生红外发射脉冲，有红外驱动电路进行放大后由红外发射管发射出去；电...

【专利技术属性】
技术研发人员：陈建，杨鹏，孙晓颖，燕学智，孙铭会，林琳，温泉，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林;22