一种机器人的多模态交互方法、装置和智能机器人制造方法及图纸

本公开涉及机器人交互技术领域，提供了一种机器人的多模态交互方法、装置和智能机器人。该方法包括：在机器人执行服务任务时，获取服务任务的交互对象；基于预设的多模态信息，确定交互对象对应的目标多模态信息，多模态信息包括多个用户、每个用户对应的多种人机交互信息，以及与人机交互信息对应的服务功能；采集交互对象的人机交互信息，并将人机交互信息与目标多模态信息进行比对，以确定人机交互信息的服务功能；控制机器人执行服务功能，以响应交互对象的人机交互信息。本公开实现了交互对象与机器人之间的多模态交互，避免了单一交互方式导致部分用户无法与智能机器人进行交互的问题。互的问题。互的问题。

【技术实现步骤摘要】
一种机器人的多模态交互方法、装置和智能机器人


[0001]本公开涉及机器人交互
，尤其涉及一种机器人的多模态交互方法、装置和智能机器人。

技术介绍

[0002]在一些利用智能机器人来提供服务的场景中，一般允许用户通过语音的方式来与智能机器人进行交互，以便智能机器人执行相应的服务功能。然而，如果仅提供语音交互这一种交互方式，会使得一些用户无法正常与智能机器人进行交互。例如，如果用户为聋哑人，那么用户将无法通过语音的方式来与智能机器人进行交互；又或者，如果用户不会说普通，那么用户也无法通过语音的方式来与智能机器人进行交互。
[0003]因此，如何克服单一交互方式导致部分用户无法与智能机器人进行交互的问题，让更为广泛的用户能够与智能机器人进行人机交互来获取相应服务，这是智能机器人在实际应用中需要解决的一个技术问题。

技术实现思路

[0004]有鉴于此，本公开实施例提供了一种机器人的多模态交互方法、装置和智能机器人，以解决现有技术中如何克服单一交互方式导致部分用户无法与智能机器人进行交互的问题。
[0005]本公开实施例的第一方面，提供了一种机器人的多模态交互方法，包括：
[0006]在机器人执行服务任务时，获取服务任务的交互对象；
[0007]基于预设的多模态信息，确定交互对象对应的目标多模态信息，多模态信息包括多个用户、每个用户对应的多种人机交互信息，以及与人机交互信息对应的服务功能；
[0008]采集交互对象的人机交互信息，并将人机交互信息与目标多模态信息进行比对，以确定人机交互信息的服务功能；
[0009]控制机器人执行服务功能，以响应交互对象的人机交互信息。
[0010]本公开实施例的第二方面，提供了一种机器人的多模态交互装置，包括：
[0011]对象获取模块，被配置为在机器人执行服务任务时，获取服务任务的交互对象；
[0012]信息确定模块，被配置为基于预设的多模态信息，确定交互对象对应的目标多模态信息，多模态信息包括多个用户、每个用户对应的多种人机交互信息，以及与人机交互信息对应的服务功能；
[0013]信息采集模块，被配置为采集交互对象的人机交互信息，并将人机交互信息与目标多模态信息进行比对，以确定人机交互信息的服务功能；
[0014]交互控制模块，被配置为控制机器人执行服务功能，以响应交互对象的人机交互信息。
[0015]本公开实施例的第三方面，提供了一种智能机器人，包括视觉系统、语音采集设备和计算系统，计算系统包括存储器、处理器以及存储在存储器中并且可在处理器上运行的
计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
[0016]本公开实施例与现有技术相比存在的有益效果是：通过预先的多模态信息来确定机器人所执行服务任务的交互对象的目标多模态信息，由于多模态信息包括不止一种人机交互信息，并且每种人机交互信息均与相应的服务功能对应，使得交互对象在与机器人进行交互时，可以采集交互对象的任一种人机交互信息，并将该人机交互信息与目标多模态信息进行比对，从而确定采集的交互对象的人机交互信息所对应的服务功能，实现交互对象与机器人之间的多模态交互，避免了单一交互方式导致部分用户无法与智能机器人进行交互的问题。
附图说明
[0017]为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0018]图1是本公开实施例的应用场景的场景示意图；
[0019]图2是本公开实施例提供的一种机器人的多模态交互方法的流程示意图；
[0020]图3是本公开实施例提供的一种机器人的多模态交互装置的结构示意图；
[0021]图4是本公开实施例提供的一种智能机器人的结构示意图。
具体实施方式
[0022]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。
[0023]下面将结合附图详细说明根据本公开实施例的一种机器人的多模态交互方法和装置。
[0024]图1是本公开实施例的应用场景的场景示意图。该应用场景可以包括机器人1和用户2。
[0025]机器人1可以是具有自动移动和支持人机交互的智能机器人，用于向用户提供各种服务。例如，机器人1用于向用户2提供商品配送服务，或者，机器人1用于向用户2提供商品存放服务。具体地，机器人1上可以包括视觉系统和计算系统(图1中未示出)，该视觉系统用于采集用户2的图像信息，计算系统用于对采集的图像信息进行分析处理，以确定得到用户的交互指令，并根据该交互指令控制机器人执行相应的功能。
[0026]例如，机器人1可以利用视觉系统采集用户2的人脸图像，通过计算系统对该人脸图像进行分析识别，来确定用户2的身份，或者确定用户2的人脸图像对应的交互指令；或者，机器人1还可以利用视觉系统采集用户2的人像，通过计算系统对该人像进行分析识别，来获取用户2的肢体动作，并根据该肢体动作来确定用户2的肢体动作对应的交互指令。
[0027]另外，机器人1还可以包括语音采集设备(图1中未示出)，用于采集用户2的语音信息，并由计算系统对该语音信息进行分析处理，得到用户2语音信息对应的交互指令，并根
据该交互指令控制机器人1执行相应的功能，从而实现用户2与机器人1之间的交互。
[0028]机器人1可以获取用户2的语音信息、人脸图像和肢体动作来作为多模态信息3，并通过对用户2的多模态信息3进行分析，来确定用户的交互指令，并根据该交互指令来控制机器人1执行相应的服务功能，从而实现用户2与机器人1之间的人机交互。
[0029]图2是本公开实施例提供的一种机器人的多模态交互方法的流程示意图。图2的机器人的多模态交互方法可以由图1的机器人1执行。如图2所示，该机器人的多模态交互方法包括：
[0030]S201，在机器人执行服务任务时，获取服务任务的交互对象；
[0031]S202，基于预设的多模态信息，确定交互对象对应的目标多模态信息，多模态信息包括多个用户、每个用户对应的多种人机交互信息，以及与人机交互信息对应的服务功能；
[0032]S203，采集交互对象的人机交互信息，并将人机交互信息与目标多模态信息进行比对，以确定人机交互信息的服务功能；
[0033]S204，控制机器人执行服务功能，以响应交互对象的人机交互信息。
[0034]具体地，服务任务可以根据机器人的应用场景来确定。在一些利用机器人来配送商品的应用场景中，服务任务可以是机器人自动将商品配送给本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器人的多模态交互方法，其特征在于，包括：在机器人执行服务任务时，获取所述服务任务的交互对象；基于预设的多模态信息，确定所述交互对象对应的目标多模态信息，所述多模态信息包括多个用户、每个用户对应的多种人机交互信息，以及与所述人机交互信息对应的服务功能；采集所述交互对象的人机交互信息，并将所述人机交互信息与所述目标多模态信息进行比对，以确定所述人机交互信息的服务功能；控制所述机器人执行所述服务功能，以响应所述交互对象的人机交互信息。2.根据权利要求1所述的机器人的多模态交互方法，其特征在于，所述服务任务还包括服务的目标位置；采集所述交互对象的人机交互信息之前，还包括：控制所述机器人移动至所述目标位置。3.根据权利要求1所述的机器人的多模态交互方法，其特征在于，基于预设的多模态信息，确定所述交互对象对应的目标多模态信息，包括：在预设的多模态信息的所有用户中查找是否存在所述交互对象；若存在，则获取所述交互对象对应的用户预先关联的人机交互信息，并将所述预先关联的人机交互信息作为目标多模态信息。4.根据权利要求3所述的机器人的多模态交互方法，其特征在于，若不存在，则在确定所述交互对象对应的目标用户的情况下，采集所述交互对象对应的目标用户的人机交互信息；将所述人机交互信息与所述交互对象对应的目标用户关联，并加入所述预设的多模态信息中。5.根据权利要求1所述的机器人的多模态交互方法，其特征在于，采集所述交互对象的人机交互信息之前，还包括：检测预设时长内是否接收到在所述机器人上输入的用户验证信息；若是，基于所述用户验证信息，确定所述交互对象对应的目标用户。6.根据权利要求5所述的机器人的多模态交互方法，其特征在于，检测预设时长内是否接...

【专利技术属性】
技术研发人员：赵博学，李旭，支涛，
申请(专利权)人：河南云迹智能技术有限公司，
类型：发明
国别省市：