一种针对具有视觉能力的机器人的多模态输出方法技术

本发明专利技术公开了一种针对具有视觉能力的机器人的多模态输出方法及机器人，本发明专利技术的方法包括：调用机器人视觉处理模块检测并在出现用户时主动获取该用户图像数据；根据所述当前用户图像数据确定用户身份；生成并输出与所述用户身份匹配的主动交互输出。根据本发明专利技术的方法，机器人可以针对用户的不同身份有针对性的做出不同的交互应答，尤其的，在用户尚未进行交互时主动向用户输出匹配用户身份的交互输出。机器人的图像采集能力被辅助应用到机器人的人机交互过程中，相较于现有技术，机器人的应用功能被大大拓展，机器人的用户体验得到显著提高。

【技术实现步骤摘要】

本专利技术涉及计算机领域，具体说涉及一种针对具有视觉能力的机器人的多模态输出方法。
技术介绍
随着机器人技术的不断发展，机器人的应用范围被不断拓展，尤其的，越来越多的机器人被应用到日常的生产生活中。如何提高机器人的拟人化水平，提高机器人的用户体验就成了当前机器人技术的主要研发方向。在日常的生产生活中，机器人的主要应用场景通常集中在与人的交互上。因此，提高机器人的拟人化水平，提高机器人的用户体验的主要针对方向也就集中在如何使得机器人的人机交互行为更为拟人化。随着机器人硬件技术的不断发展，机器人在硬件基础上的功能不断提高。但是，伴随着机器人硬件的不断升级，其人机交互模式并没有进行相应的升级调整。尤其的，当前大多机器人具备了图像采集功能，但是机器人的人机交互模式还停留在最初的文字语音交互方式上。这就造成了机器人硬件资源的极大浪费。
技术实现思路
本专利技术提出了一种针对具有视觉能力的机器人的多模态输出方法，所述方法包括：调用机器人视觉处理模块检测并在出现用户时主动获取该用户图像数据；根据所述当前用户图像数据确定用户身份；生成并输出与所述用户身份匹配的主动交互输出。在一实施例中，根据所述当前用户图像数据确定用户身份，其中：分析所述当前用户图像数据获取当前用户特征信息；查找与所述当前用户特征信息匹配的已保存用户特征信息；获取所述已保存用户特征信息对应的用户身份。在一实施例中，根据所述当前用户图像数据确定用户身份，其中，当无法确定用户身份时，调用获取身份机制获取当前用户身份信息并保存。在一实施例中，根据所述当前用户图像数据确定用户身份由服务器或本地处理器执行。在一实施例中，生成并输出与所述用户身份匹配的主动交互输出，其中：基于当前的对话内容生成第一多模态输出内容；在所述第一多模态输出内容的基础上基于用户身份生成第二多模态输出内容，所述第二多模态输出内容与所述用户身份匹配；结合所述第一多模态输出内容以及所述第二多模态输出内容生成并输出所述多模态输出。本专利技术还提出了一种具有视觉能力的机器人，所述机器人包括：用户图像数据获取模块，其配置为调用机器人视觉处理模块检测并在出现用户时主动获取该用户图像数据；用户身份确定模块，其配置为根据所述当前用户图像数据确定用户身份；交互输出生成模块，其配置为生成并输出与所述用户身份匹配的主动交互输出。在一实施例中，所述用户身份确定模块配置为：分析所述当前用户图像数据获取当前用户特征信息；查找与所述当前用户特征信息匹配的已保存用户特征信息；获取所述已保存用户特征信息对应的用户身份。在一实施例中，所述机器人还包含用户身份获取模块，所述用户身份获取模块配置为当无法确定用户身份时，调用获取身份机制获取当前用户身份信息并保存。在一实施例中，所述用户身份确定模块配置为基于服务器或本地处理器执行身份确定操作。在一实施例中，所述交互输出生成模块配置为：基于当前的对话内容生成第一多模态输出内容；在所述第一多模态输出内容的基础上基于用户身份生成第二多模态输出内容，所述第二多模态输出内容与所述用户身份匹配；结合所述第一多模态输出内容以及所述第二多模态输出内容生成并输出所述多模态输出。根据本专利技术的方法，机器人基于其图像采集装置识别当前用户的身份，然后针对用户的不同身份有针对性的做出不同的交互应答，尤其的，在用户尚未进行交互时主动向用户输出匹配用户身份的交互输出。机器人的图像采集能力被辅助应用到机器人的人机交互过程中，相较于现有技术，机器人的应用功能被大大拓展，机器人的用户体验得到显著提高。本专利技术的其它特征或优点将在随后的说明书中阐述。并且，本专利技术的部分特征或优点将通过说明书而变得显而易见，或者通过实施本专利技术而被了解。本专利技术的目的和部分优点可通过在说明书、权利要求书以及附图中所特别指出的步骤来实现或获得。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例共同用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1是根据本专利技术一实施例的方法流程图；图2～4是根据本专利技术不同实施例的部分方法流程图；图5是根据本专利技术一实施例的机器人结构简图。具体实施方式以下将结合附图及实施例来详细说明本专利技术的实施方式，借此本专利技术的实施人员可以充分理解本专利技术如何应用技术手段来解决技术问题，并达成技术效果的实现过程并依据上述实现过程具体实施本专利技术。需要说明的是，只要不构成冲突，本专利技术中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本专利技术的保护范围之内。在日常的生产生活中，机器人的主要应用场景通常集中在与人的交互上。因此，提高机器人的拟人化水平，提高机器人的用户体验的主要针对方向也就集中在如何使得机器人的人机交互行为更为拟人化。随着机器人硬件技术的不断发展，机器人在硬件基础上的功能不断提高。但是，伴随着机器人硬件的不断升级，其人机交互模式并没有进行相应的升级调整。尤其的，当前大多机器人具备了图像采集功能，但是机器人的人机交互模式还停留在最初的文字语音交互方式上。这就造成了机器人硬件资源的极大浪费。为了扩展机器人的应用范围，提升机器人的用户体验本专利技术的专利技术人提出了一种针对具有视觉能力的机器人的多模态输出方法。具体的，机器人基于其图像采集装置识别当前用户的身份，然后针对用户的不同身份有针对性的做出不同的交互应答。这样，将机器人的图像采集能力辅助应用到机器人的人机交互过程中，不但拓展了机器人的应用功能，而且大大提高了机器人的用户体验。接下来基于附图详细描述本专利技术具体实施例的详细执行过程。附图的流程图中示出的步骤可以在包含诸如一组计算机可执行指令的计算机系统中执行。虽然在流程图中示出了各步骤的逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。如图1所示，在本专利技术一实施例中，机器人调用机器人视觉处理模块获取当前图像(步骤S100)；检测当前图像从而判断当前是否存在用户(步骤S110)；如果不存在用户，则返回步骤S100，再次获取当前图像并重复检测步骤。如果当前存在用户，则机器人主动获取该用户图像数据(步骤S120)；并进一步的根据当前用户图像数据确定用户身份(步骤S130)；最后，机器人生成并输出与所述用户身份匹配的主动交互输出(步骤S140)。在图1所示的步骤中，关键步骤之一是步骤S130，确定用户身份。具体的，在一实施例中，如图2所示，机器人首先分析当前用户图像数据获取当前用户特征信息(步骤S200)；然后查找与当前用户特征信息匹配的已保存用户特征信息(步骤S210)；最后获取已保存用户特征信息对应的用户身份(步骤S220)。进一步的，在图1所示的步骤S130中，会出现机器人无法识别当前用户身份的情况。例如，当前的用户为新用户，机器人之前并未储存其对应的用户特征信息。那么在图2所示的步骤S210中，机器人也就无法查找到与当前用户特征信息匹配的已保存用户特征信息。在这种情况下，在本专利技术一实施例中，当无法确定用户身份时，调用获取身份机制获取当前用户身份信息并保存。如图3所示，机器人首先分析当前用户图像数据获取当前用户特征信息(步骤S300)；然后查找与当前用户特征信息匹配的已保存用户特征信息(步骤S310)；接着确定步骤S310中是否可以查找到与当前用户特征信息匹配的已保本文档来自技高网...

【技术保护点】
一种针对具有视觉能力的机器人的多模态输出方法，其特征在于，所述方法包括：调用机器人视觉处理模块检测并在出现用户时主动获取该用户图像数据；根据所述当前用户图像数据确定用户身份；生成并输出与所述用户身份匹配的主动交互输出。

【技术特征摘要】
1.一种针对具有视觉能力的机器人的多模态输出方法，其特征在于，所述方法包括：调用机器人视觉处理模块检测并在出现用户时主动获取该用户图像数据；根据所述当前用户图像数据确定用户身份；生成并输出与所述用户身份匹配的主动交互输出。2.根据权利要求1所述的方法，其特征在于，根据所述当前用户图像数据确定用户身份，其中：分析所述当前用户图像数据获取当前用户特征信息；查找与所述当前用户特征信息匹配的已保存用户特征信息；获取所述已保存用户特征信息对应的用户身份。3.根据权利要求2所述的方法，其特征在于，根据所述当前用户图像数据确定用户身份，其中，当无法确定用户身份时，调用获取身份机制获取当前用户身份信息并保存。4.根据权利要求1所述的方法，其特征在于，根据所述当前用户图像数据确定用户身份由服务器或本地处理器执行。5.根据权利要求1所述的方法，其特征在于，生成并输出与所述用户身份匹配的主动交互输出，其中：基于当前的对话内容生成第一多模态输出内容；在所述第一多模态输出内容的基础上基于用户身份生成第二多模态输出内容，所述第二多模态输出内容与所述用户身份匹配；结合所述第一多模态输出内容以及所述第二多模态输出内容生成并输出所述多模态输出。6.一种具有视觉能力的机器人...

【专利技术属性】
技术研发人员：汪霄鹏，
申请(专利权)人：北京光年无限科技有限公司，
类型：发明
国别省市：北京;11