一种基于图像模式识别的手势交互方法及装置制造方法及图纸

本发明专利技术公开一种基于图像模式识别的手势交互方法及装置，所述方法包括：静态手势识别程序、人机交互程序；所述装置包括：外壳组件、LCD终端显示屏、可伸缩摄像头、麦克风、扬声器、电源PORT口。摄像头开启后，拍摄到的图像通过内置程序进行处理，识别人类手势并在LCD屏上显示出来，通过部署人机交互程序，可以实现用手势操控该装置进行人机交互。该装置能够有效帮助残障人士使用公共设施，并避免公共场合不必要的接触。必要的接触。

【技术实现步骤摘要】
一种基于图像模式识别的手势交互方法及装置


[0001]本专利技术涉及手势识别
，特别是一种基于图像模式识别的手势交互方法及装置。

技术介绍

[0002]人机交互技术是指通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术。在人机交互领域，被识别的手势可以作为一种指令输入，代替常见的计算机输入装置如鼠标、触摸板等，实现人与计算机之间的交互，这就是手势交互。
[0003]目前，实现手势识别有三种基本的方法：基于算法的手势识别、基于神经网络的手势识别和基于样本的手势识别。手势同时也分为静态手势和动态手势，静态手势指的是手静止不动同时做出该地区文化中约定的手势，如常见的阿拉伯数字1、2、3等；动态手势指的是需要手做出某种动作的手势，如挥手、滑动等。随着当下疫情管控的常态化，在公共场所应减少不必要的接触，而传统的触摸、点按式交互终端，如电梯按钮、医院自助终端等，并不能有效减少这一类的接触。
[0004]除此之外，我国也在注重对残障人士的关怀、大力推动无障碍设施的建设，而旧有的一些公共设施的交互设计不便于残障人士进行使用。
[0005]因此，探索一种新的人机交互方式不失为解决这些问题的一种思路。

技术实现思路

[0006]针对上述问题，本专利技术提供一种基于图像模式识别的手势交互方法及装置，其能够有效避免公共场合不必要的接触，并有效帮助残障人士使用公共设施。
[0007]为实现上述目的，达到上述效果，本专利技术通过以下技术方案实现：第一方面，本专利技术提供了一种基于图像模式识别的手势交互方法，包括：静态手势识别程序逻辑，其步骤如下：步骤1：使用openCV解包图像流，逐帧读取图像，转换BGR通道为RGB通道，便于后续处理；步骤2：调用mediapipe框架进行手部检测，默认检测单手，检测手部轮廓并绘制出手部21点模型关键点；步骤3：提取手部21关键点坐标，调用静态手势识别程序进行处理；步骤4：以一毫秒的间隔重复上述采样步骤并输出手势识别的结果，每0.5秒进行一次判定，90%以上的结果均为某一手势时，记录该手势并传入人机交互程序中。
[0008]当手势需要发生变化时，前后两个手势变化间隔低于0.75秒将被记录为连续的手势信号，如用来表示数字12，单一数字手势连续被识别超过1.5秒将被记录为两个连续的数字手势，如数字33。
[0009]人机交互程序的部分判定如下：步骤1：记录静态手势识别程序传入的手势数字；
步骤2：记录判定手势，如果为代表否定的自定义手势，重复步骤1；如果为代表确定的ok手势，进入步骤3；步骤3：根据手势数字执行交互指令。
[0010]第二方面，本专利技术提供了一种基于图像模式识别的手势交互装置，包括：摄像头模块、音源组件、外壳组件、LCD显示屏等硬件。
[0011]其中，摄像头模块采用RISC
‑
V架构的微控制器，使用多媒体技术处理CCD传感器采集到的图像和图片；外部设备共有包括音频、视频在内的多种接口，用于外接LCD显示屏和音源组件；内存管理上，机身内置64KB SRAM和20KB ROM，同时还留有多种外扩存储接口用于进行存储扩展。除此之外，该模块支持UART、SPI、I2C、GPIO、CAN等多种总线协议，可外接多种接口用于连接外设。
[0012]本专利技术中摄像头模块通过RGB 24位LCD控制器控制LCD显示屏，LCD屏上会显示日期、时间、摄像头拍摄到的图像以及对应识别的手势，部署人机交互程序后，还可以显示人机交互界面。同时，静态手势识别程序部署在摄像头模块上，用于对拍摄到的视频流进行处理和手势识别。
[0013]与传统的人机交互装置比较，本专利技术具有显著的创新优点：（1）一体化人机交互装置，支持迭代，可扩展性高，可移植性强；（2）可调节伸缩的摄像头；（3）可针对特殊人群。
附图说明
[0014]为了使本专利技术的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本专利技术做进一步详细的说明，其中：图1所示为本专利技术的正视图。
[0015]图2所示为本专利技术的后视图。
[0016]图3所示为本专利技术的内部框图。
[0017]图4所示为手部21点模型及二维约束法向量样例。
[0018]图5为本专利技术手势识别示例。
具体实施方式
[0019]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术的保护范围。
[0020]结合图1、图2所示，所述人机交互装置包括：LCD终端显示屏1、可伸缩摄像头2、麦克风3、扬声器4、PORT口线束5。所述LCD终端显示屏1装在外壳正中，所述可伸缩摄像头2、麦克风3、扬声器4位于正面右侧从上到下排列，所述PORT口线束5位于背面下侧，包含CAN、RS232、USB等多种总线接口及12V电源接口。
[0021]本专利技术的一个应用样例为：将本专利技术置于电梯内，在终端搭载人梯交互系统，并通过PORT口连接电梯控制电路，则可通过手势控制电梯楼层、电梯门开合等，实现无接触式乘坐电梯。
[0022]结合图3所示，本专利技术摄像头模块采用RISC
‑
V双核Cortex
‑
V7处理器，集成了ARM架构下v7
‑
A指令集以及ARM Neon SIMD(single instruction multiple data,单指令多数据)扩展结构，每个Cortex A7 CPU内置64KB一级缓存，同时双核Cortex
‑
V7处理器统一规划了512KB二级缓存，另有20KB片内ROM供程序烧写。内置的NPU支持INT8/INT16混合运行，计算能力高达1.2TOPs。此外，由于其强大的兼容性，基于TensorFlow/MXNet/PyTorch/Caffe等一系列框架的网络模型可以轻松转换。该模块引入了新一代完全基于硬件的500万像素ISP(图像信号处理器)和后置处理器。它实现了很多IPC和CVR中常用的算法加速器，如HDR, 3A函数(AE, AF, AWB)， LSC, 3DNR, 2DNR，锐化，去雾，鱼眼校正，伽马校正，特征点检测等。所有这些都是实时处理。该模块中嵌入的视频编码器支持5M H.265/H.264编码。它还支持多流编码，最多对一个5M30帧和视频流一个720P30帧视频流同时处理。
[0023]内核处理器单元与视频输入、输出接口通过MIPI
‑
CIS接口协议进行通信，同时视频输入接口还支持LVDS接口协议。外部存储空间支持动态存储器接口、eMMC接口、SD/MMC接口、FSPI接口、Nand Flash接口，所述动态存储器接口兼容JEDEC标准，兼容DDR3/DDR3L/ DDR4 /LPDDR3/LPDDR4规格的存储器；所述eMMC接口兼容标准iNAND接口协议，兼容eMMC4.51标准；所述SD/MMC接口兼容SD3.本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像模式识别的手势交互方法，其特征在于：包括静态手势识别程序、人机交互程序。2.根据权利要求1所述的一种基于图像模式识别的手势交互方法，其特征在于：所述静态手势识别程序采用mediapipe框架21点模型匹配手掌，通过二维约束法计算手指指定点向量差，以此推断并识别手势。3.根据权利要求1所述的一种基于图像模式识别的手势交互方法，其特征在于：所述人机交互程序包括以下步骤：步骤1：记录静态手势识别程序传入的手势数字；步骤2：记录判定手势，如果为代表否定的自定义手势，重复步骤1；如果为代表确定的ok手势，进入步骤3；步骤3：根据手势数字执行交互指令；一种基于图像模式识别的手势交互装置，其特征在于：包括外壳组件、LCD终端显示屏、可伸缩摄像头、麦克风、扬声器、电源口。4.根据权利要求4所述一种...

【专利技术属性】
技术研发人员：许长勇，顾江山，朱锐，陈梦凡，
申请(专利权)人：南通智行未来车联网创新中心有限公司，
类型：发明
国别省市：