一种同步语音及虚拟动作的方法、系统及机器人技术方案

本发明专利技术提供一种同步语音及虚拟动作的方法，包括：获取用户的多模态信息；根据用户的多模态信息和生活时间轴生成交互内容，所述交互内容至少包括语音信息和动作信息；将语音信息的时间长度和动作信息的时间长度调整到相同。这样就可以通过用户的多模态信息例如用户语音、用户表情、用户动作等的一种或几种，来生成交互内容，交互内容中至少包括语音信息和动作信息，而为了让语音信息和动作信息能够同步，将语音信息的时间长度和动作信息的时间长度调整到相同，这样就可以让机器人在播放声音和动作时可以同步匹配，使机器人更加拟人化，也提高了用户于机器人交互时的体验度。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及机器人交互
，尤其涉及一种同步语音及虚拟动作的方法、系统及机器人。
技术介绍
机器人作为与人类的交互工具，使用的场合越来越多，例如一些老人、小孩较孤独时，就可以与机器人交互，包括对话、娱乐等。而为了让机器人与人类交互时更加拟人化，专利技术人研究出一种虚拟机器人的显示设备和成像系统，能够形成3D的动画形象，虚拟机器人的主机接受人类的指令例如语音等与人类进行交互，然后虚拟的3D动画形象会根据主机的指令进行声音和动作的回复，这样就可以让机器人更加拟人化，不仅在声音、表情上能够与人类交互，而且还可以在动作等上与人类交互，大大提高了交互的体验感。然而，虚拟机器人如何将回复内容中的语音和虚拟动作进行同步是一个比较复杂的问题，如果语音和动作不能匹配，则会大大影响用户的交互体验。因此，如何提供一种同步语音及虚拟动作的方法、系统及机器人，提升人机交互体验成为亟需解决的技术问题。
技术实现思路
本专利技术的目的是提供一种同步语音及虚拟动作的方法、系统及机器人，提升人机交互体验。本专利技术的目的是通过以下技术方案来实现的：一种同步语音及虚拟动作的方法，包括：获取用户的多模态信息；根据用户的多模态信息和生活时间轴生成交互内容，所述交互内容至少包括语音信息和动作信息；将语音信息的时间长度和动作信息的时间长度调整到相同。优选的，所述将语音信息的时间长度和动作信息的时间长度调整到相同的具体步骤包括：若语音信息的时间长度与动作信息的时间长度的差值不大于阈值，当语音信息的时间长度小于动作信息的时间长度，则加快动作信息的播放速度，使动作信息的时间长度等于所述语音信息的时间长度。优选的，当语音信息的时间长度大于动作信息的时间长度，则加快语音信息的播放速度或/和减缓动作信息的播放速度，使动作信息的时间长度等于所述语音信息的时间长度。优选的，所述将语音信息的时间长度和动作信息的时间长度调整到相同的具体步骤包括：若语音信息的时间长度与动作信息的时间长度的差值大于阈值，当语音信息的时间长度大于动作信息的时间长度时，则将至少两组动作信息进行排序组合，使组合后的动作信息的时间长度等于所述语音信息的时间长度。优选的，当语音信息的时间长度小于动作信息的时间长度时，则选取动作信息中的部分动作，使选取的部分动作的时间长度等于所述语音信息的时间长度。优选的，所述机器人的生活时间轴的参数的生成方法包括：将机器人的自我认知进行扩展；获取生活时间轴的参数；对机器人的自我认知的参数与生活时间轴中的参数进行拟合，生成机器人的生活时间轴。优选的，所述将机器人的自我认知进行扩展的步骤具体包括：将生活场景与机器人的自我认识相结合形成基于生活时间轴的自我认知曲线。优选的，所述对机器人的自我认知的参数与生活时间轴中的参数进行拟合的步骤具体包括：使用概率算法，计算生活时间轴上的机器人在时间轴场景参数改变后的每个参数改变的概率，形成拟合曲线。优选的，其中，所述生活时间轴指包含一天24小时的时间轴，所述生活时间轴中的参数至少包括用户在所述生活时间轴上进行的日常生活行为以及代表该行为的参数值。一种同步语音及虚拟动作的系统，包括：获取模块，用于获取用户的多模态信息；人工智能模块，用于根据用户的多模态信息和生活时间轴生成交互内容，所述交互内容至少包括语音信息和动作信息；控制模块，用于将语音信息的时间长度和动作信息的时间长度调整到相同。优选的，所述控制模块具体用于：若语音信息的时间长度与动作信息的时间长度的差值不大于阈值，当语音信息的时间长度小于动作信息的时间长度，则加快动作信息的播放速度，使动作信息的时间长度等于所述语音信息的时间长度。优选的，当语音信息的时间长度大于动作信息的时间长度，则加快语音信息的播放速度或/和减缓动作信息的播放速度，使动作信息的时间长度等于所述语音信息的时间长度。优选的，所述控制模块具体用于：若语音信息的时间长度与动作信息的时间长度的差值大于阈值，当语音信息的时间长度大于动作信息的时间长度时，则将至少两组动作信息进行组合，使组合后的动作信息的时间长度等于所述语音信息的时间长度。优选的，当语音信息的时间长度小于动作信息的时间长度时，则选取动作信息中的部分动作，使选取的部分动作的时间长度等于所述语音信息的时间长度。优选的，所述系统包括处理模块，用于：将机器人的自我认知进行扩展；获取生活时间轴的参数；对机器人的自我认知的参数与生活时间轴中的参数进行拟合，生成机器人的生活时间轴。优选的，所述处理模块具体用于：将生活场景与机器人的自我认识相结合形成基于生活时间轴的自我认知曲线。优选的，所述处理模块具体用于：使用概率算法，计算生活时间轴上的机器人在时间轴场景参数改变后的每个参数改变的概率，形成拟合曲线。优选的，其中，所述生活时间轴指包含一天24小时的时间轴，所述生活时间轴中的参数至少包括用户在所述生活时间轴上进行的日常生活行为以及代表该行为的参数值。本专利技术公开一种机器人，包括如上述任一所述的一种同步语音及虚拟动作的系统。相比现有技术，本专利技术具有以下优点：本专利技术的同步语音及虚拟动作的方法包括：获取用户的多模态信息；根据用户的多模态信息和生活时间轴生成交互内容，所述交互内容至少包括语音信息和动作信息；将语音信息的时间长度和动作信息的时间长度调整到相同。这样就可以通过用户的多模态信息例如用户语音、用户表情、用户动作等的一种或几种，来生成交互内容，交互内容中至少包括语音信息和动作信息，而为了让语音信息和动作信息能够同步，将语音信息的时间长度和动作信息的时间长度调整到相同，这样就可以让机器人在播放声音和动作时可以同步匹配，使机器人在交互时不仅具有语音表现，还可以具有动作等多样的表现形式，机器人的表现形式更加多样化，使机器人更加拟人化，也提高了用户于机器人交互时的体验度。附图说明图1是本专利技术实施例一的一种同步语音及虚拟动作的方法的流程图；图2是本专利技术实施例二的一种同步语音及虚拟动作的系统的示意图。具体实施方式虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。各项操作的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。计算机设备包括用户设备与网络设备。其中，用户设备或客户端包括但不限于电脑、智能手机、PDA等；网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算的由大量计算机或网络服务器构成的云。计算机设备可单独运行来实现本专利技术，也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本专利技术。计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制，使用这些术语仅仅是为了将一个单元与另一个单元进行区分。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。当一个单元被称为“连接”或“耦合”到另一单元时，其可以直接连接或耦合到所述另一单元，或者可以存在中间单元。这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”本文档来自技高网...

【技术保护点】
一种同步语音及虚拟动作的方法，其特征在于，包括：获取用户的多模态信息；根据用户的多模态信息和生活时间轴生成交互内容，所述交互内容至少包括语音信息和动作信息；将语音信息的时间长度和动作信息的时间长度调整到相同。

【技术特征摘要】
【国外来华专利技术】1.一种同步语音及虚拟动作的方法，其特征在于，包括：获取用户的多模态信息；根据用户的多模态信息和生活时间轴生成交互内容，所述交互内容至少包括语音信息和动作信息；将语音信息的时间长度和动作信息的时间长度调整到相同。2.根据权利要求1所述的方法，其特征在于，所述将语音信息的时间长度和动作信息的时间长度调整到相同的具体步骤包括：若语音信息的时间长度与动作信息的时间长度的差值不大于阈值，当语音信息的时间长度小于动作信息的时间长度，则加快动作信息的播放速度，使动作信息的时间长度等于所述语音信息的时间长度。3.根据权利要求2所述的方法，其特征在于，当语音信息的时间长度大于动作信息的时间长度，则加快语音信息的播放速度或/和减缓动作信息的播放速度，使动作信息的时间长度等于所述语音信息的时间长度。4.根据权利要求1所述的方法，其特征在于，所述将语音信息的时间长度和动作信息的时间长度调整到相同的具体步骤包括：若语音信息的时间长度与动作信息的时间长度的差值大于阈值，当语音信息的时间长度大于动作信息的时间长度时，则将至少两组动作信息进行排序组合，使组合后的动作信息的时间长度等于所述语音信息的时间长度。5.根据权利要求4所述的方法，其特征在于，当语音信息的时间长度小于动作信息的时间长度时，则选取动作信息中的部分动作，使选取的部分动作的时间长度等于所述语音信息的时间长度。6.根据权利要求1所述的方法，其特征在于，所述机器人的生活时间轴的参数的生成方法包括：将机器人的自我认知进行扩展；获取生活时间轴的参数；对机器人的自我认知的参数与生活时间轴中的参数进行拟合，生成机器人的生活时间轴。7.根据权利要求6所述的方法，其特征在于，所述将机器人的自我认知进行扩展的步骤具体包括：将生活场景与机器人的自我认识相结合形成基于生活时间轴的自我认知曲线。8.根据权利要求6所述的方法，其特征在于，所述对机器人的自我认知的参数与生活时间轴中的参数进行拟合的步骤具体包括：使用概率算法，计算生活时间轴上的机器人在时间轴场景参数改变后的每个参数改变的概率，形成拟合曲线。9.根据权利要求1所述的方法，其特征在于，其中，所述生活时间轴指包含一天24小时的时间轴，所述生活时间轴中的参数至少包括用户在所述生活时间轴上进行的日常生活行为以及代表该行为...

【专利技术属性】
技术研发人员：邱楠，杨新宇，王昊奋，
申请(专利权)人：深圳狗尾草智能科技有限公司，
类型：发明
国别省市：广东;44