一种基于语音和空气成像技术的交互方法及其系统技术方案

本发明专利技术公开了一种基于语音和空气成像技术的交互方法及其系统，该交互方法包括：获取用户下达的指令，所述指令包括：语音指令或手势指令；其中，所述手势指令为用户通过空气屏下达的手势操作指令；判断获取的指令是否为语音指令，若是，则将获取的语音指令与系统指令数据库中的指令进行匹配，并将匹配结果生成语音指令信号；若否，则将获取的手势操作指令进行识别，并将识别结果生成手势指令信号。在本方案中，首先获取用户下达的指令，然后再判断该指令的种类，接着再对该种指令进行相应的处理以得到其对应的指令信号，以实现了非接触式的且集成了语音和空气成像技术的人机指令交互，从而为用户提供了更加迅速、便捷的指令下达方式。

【技术实现步骤摘要】
一种基于语音和空气成像技术的交互方法及其系统
本专利技术涉及人工智能和人机交互
，特别涉及一种基于语音和空气成像技术的交互方法及其系统。
技术介绍
随着近年来语音技术和空气成像技术的蓬勃发展，人机交互的方式已经逐渐从接触式的鼠标、按钮等操作，向着减少接触、增加交互便捷性和交互效率的方向演变。然而，针对指挥中心这个应用场景，许多指挥中心仍保留着传统的接触操作方式，这无疑将继续带来交互设备磨损快、维修勤和交互方式复杂、效率低存在公共卫生风险等诸多问题。同时，广泛应用于指挥中心的大屏显示这种单一的二维平面显示方式，由于其信息呈现方式不能达到最直观、最立体的缺点，已渐渐不能满足一些指挥中心的信息呈现需求。此外，针对指挥中心这一应用方向，市场上基于语音的交互系统尚有，基于空气成像技术的交互系统则很少，而现存的基于这两种维度的交互系统又是相互割裂的。
技术实现思路
有鉴于此，本专利技术提供了一种基于语音和空气成像技术的交互方法，能够实现了非接触式的且集成了语音和空气成像技术的人机指令交互，从而为用户提供了更加迅速、便捷的指令下达方式。为实现上述目的，本专利技术提供如下技术方案：一种基于语音和空气成像技术的交互方法，包括：获取用户下达的指令，所述指令包括：语音指令或手势指令；其中，所述手势指令为用户通过空气屏下达的手势操作指令；判断获取的指令是否为语音指令，若是，则将获取的语音指令与系统指令数据库中的指令进行匹配，并将匹配结果生成语音指令信号；若否，则将获取的手势操作指令进行识别，并将识别结果生成手势指令信号。优选地，所述将获取的语音指令与系统指令数据库中的指令进行匹配，并将匹配结果生成语音指令信号，包括：将获取的语音指令与系统指令数据库中的指令进行比对和匹配，当匹配程度达到阈值时，则识别出获取的语音指令，并将识别结果输出为语音指令信号。优选地，所述将获取的手势操作指令进行识别，并将识别结果生成手势指令信号，包括：将获取的手势操作指令的空间坐标进行运算，然后将运算后得出的手势运动轨迹或手指触碰点与空气屏的空间位置进行比对，再分析识别出手势操作指令所代表的操作指令，并将识别结果输出为手势指令信号。优选地，在所述获取用户下达的指令之前，还包括：生成用于待用户进行下达手势操作指令的空气屏。优选地，在所述并将匹配结果生成语音指令信号之后，还包括：将语音指令信号进行语音播报，以待用户进行确认；或，在所述并将识别结果生成手势指令信号之后，还包括：将手势指令信号进行语音播报，以待用户进行确认。一种基于语音和空气成像技术的交互系统，包括：语音交互模块、空气成像交互模块和交互信息处理模块；所述语音交互模块包括：语音指令采集模块，用于采集用户下达的语音指令；所述交互信息处理模块包括：语音交互指令处理模块，用于将采集到的语音指令与系统指令数据库中的指令进行匹配，并将匹配结果生成语音指令信号；所述空气成像交互模块包括：深度感知摄像模块，用于获取用户通过空气屏下达的手势操作指令；所述交互信息处理模块还包括：空气成像交互指令处理模块，用于将获取的手势操作指令进行识别，并将识别结果生成手势指令信号。优选地，所述语音交互指令处理模块包括：语音指令匹配模块，用于将获取的语音指令与所述系统指令数据库中的指令进行比对和匹配，当匹配程度达到阈值时，则识别出获取的语音指令，并将识别结果输出为语音指令信号。优选地，所述空气成像交互指令处理模块包括：手势识别模块，用于将获取的手势操作指令的空间坐标进行运算，然后将运算后得出的手势运动轨迹或手指触碰点与所述空气屏的空间位置进行比对，再分析识别出手势操作指令所代表的操作指令，并将识别结果输出为手势指令信号。优选地，所述空气成像交互模块还包括：成像硬件模块，用于生成用于待用户进行下达手势操作指令的空气屏。优选地，所述语音交互模块还包括：语音播报模块，用于将所述语音指令信号或所述手势指令信号进行播报。从上述的技术方案可以看出，本专利技术提供的基于语音和空气成像技术的交互方法中，首先获取用户下达的指令，然后再判断该指令的种类，接着再对该种指令进行相应的处理以得到其对应的指令信号，即为实现了非接触式的且集成了语音和空气成像技术的人机指令交互，从而为用户提供了更加迅速、便捷的指令下达方式。本专利技术还提供了一种与上述方法对应的基于语音和空气成像技术的交互系统，其有益效果，具体可以参照前面方法的有益效果，在此不再赘述。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的基于语音和空气成像技术的交互方法的流程图；图2为本专利技术实施例提供的用户下达指令后的方法流程图；图3为本专利技术实施例提供的空气成像交互指令处理模块的处理流程图；图4为本专利技术实施例提供的语音交互指令处理模块的处理流程图；图5为本专利技术实施例提供的基于语音和空气成像技术的交互系统的模块图；图6为本专利技术实施例提供的成像硬件模块的构成图；图7为本专利技术实施例提供的深度感知摄像模块的构成图；图8为本专利技术实施例提供的交互信号处理模块的构成图；图9为本专利技术实施例提供的基于语音和空气成像技术的交互系统的结构示意图。其中，100为语音交互模块，110为语音指令采集模块，120为语音播报模块，200为空气成像交互模块，210为深度感知摄像模块，211为深度感知摄像头，220为成像硬件模块，221为显示屏，222为光学平板透镜，223为空气屏，300为交互信号处理模块，310为语音交互指令处理模块，311为语音指令匹配模块，312为系统指令数据库，320为空气成像交互指令处理模块，321为手势识别模块，400为信息监测模块，410为重要信息筛选模块，420为信息监测报告生成模块，500为展示柜。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例提供的基于语音和空气成像技术的交互方法，如图1所示，包括：获取用户下达的指令，所述指令包括：语音指令或手势指令；其中，所述手势指令为用户通过空气屏下达的手势操作指令；判断获取的指令是否为语音指令，若是，则将获取的语音指令与系统指令数据库中的指令进行匹配，并将匹配结果生成语音指令信号；若否，则将获取的手势操作指令进行识别，并将识别结果生成手势指令信号。需要说明的是，获取的语音指令是指获取语音指令的本文档来自技高网...

【技术保护点】
1.一种基于语音和空气成像技术的交互方法，其特征在于，包括：/n获取用户下达的指令，所述指令包括：语音指令或手势指令；其中，所述手势指令为用户通过空气屏下达的手势操作指令；/n判断获取的指令是否为语音指令，若是，则将获取的语音指令与系统指令数据库中的指令进行匹配，并根据匹配结果生成语音指令信号；若否，则将获取的手势操作指令进行识别，并根据识别结果生成手势指令信号。/n

【技术特征摘要】
1.一种基于语音和空气成像技术的交互方法，其特征在于，包括：
获取用户下达的指令，所述指令包括：语音指令或手势指令；其中，所述手势指令为用户通过空气屏下达的手势操作指令；
判断获取的指令是否为语音指令，若是，则将获取的语音指令与系统指令数据库中的指令进行匹配，并根据匹配结果生成语音指令信号；若否，则将获取的手势操作指令进行识别，并根据识别结果生成手势指令信号。


2.根据权利要求1所述的基于语音和空气成像技术的交互方法，其特征在于，所述将获取的语音指令与系统指令数据库中的指令进行匹配，并将匹配结果生成语音指令信号，包括：
将获取的语音指令与系统指令数据库中的指令进行比对和匹配，当匹配程度达到阈值时，则识别出获取的语音指令，并将识别结果输出为语音指令信号。


3.根据权利要求1所述的基于语音和空气成像技术的交互方法，其特征在于，所述将获取的手势操作指令进行识别，并将识别结果生成手势指令信号，包括：
将获取的手势操作指令的空间坐标进行运算，然后将运算后得出的手势运动轨迹或手指触碰点与空气屏的空间位置进行比对，再分析识别出手势操作指令所代表的操作指令，并将识别结果输出为手势指令信号。


4.根据权利要求1所述的基于语音和空气成像技术的交互方法，其特征在于，在所述获取用户下达的指令之前，还包括：
生成用于待用户进行下达手势操作指令的空气屏。


5.根据权利要求1所述的基于语音和空气成像技术的交互方法，其特征在于，在所述并将匹配结果生成语音指令信号之后，还包括：
将语音指令信号进行语音播报，以待用户进行确认；
或，在所述并将识别结果生成手势指令信号之后，还包括：
将手势指令信号进行语音播报，以待用户进行确认。


6.一种基于语音和空气成像技术的交互系统，其特征在于，包括：语音交互模块(100)、空...

【专利技术属性】
技术研发人员：朱绍卿，朱敏，
申请(专利权)人：北京万向新元科技有限公司，
类型：发明
国别省市：北京;11