自动生成形象的动作制造技术

本公开提供了用于自动生成形象的动作的方法和装置。可以获得用户和电子对话代理之间的会话中的消息，所述形象是所述电子对话代理的视觉表示。可以基于所述消息的至少一部分来确定至少一个面部动画和/或身体动画。可以至少基于所述面部动画和/或所述身体动画来生成所述形象的至少一个动作。

Action of automatically generating image

【技术实现步骤摘要】
【国外来华专利技术】自动生成形象的动作
技术介绍
动画技术广泛用于生成虚拟形象(virtualavatar)或物理形象(physicalavatar)的动作。例如，为了生成形象的一系列期望动作，可以创建与期望动作对应的一系列动画，然后可以将动画应用于形象以使形象的各个部分根据动画移动或行动，从而实现形象的一系列期望动作。
技术实现思路
提供本
技术实现思路
以便介绍一组概念，这组概念将在以下的具体实施方式中做进一步描述。本
技术实现思路
并非旨在标识所保护主题的关键特征或必要特征，也不旨在用于限制所保护主题的范围。本公开的实施例提出了用于自动生成形象的动作的方法和装置。可以获得用户和电子对话代理之间的会话中的消息，所述形象是所述电子对话代理的视觉表示。可以基于所述消息的至少一部分来确定至少一个面部动画和/或身体动画。可以至少基于所述面部动画和/或所述身体动画来生成所述形象的至少一个动作。应当注意，以上一个或多个方面包括以下详细描述以及权利要求中具体指出的特征。下面的说明书及附图详细提出了所述一个或多个方面的某些说明性特征。这些特征仅仅指示可以实施各个方面的原理的多种方式，并且本公开旨在包括所有这些方面和其等同变换。附图说明以下将结合附图描述所公开的多个方面，这些附图被提供用以说明而非限制所公开的多个方面。图1示出了根据实施例的虚拟形象的示例性应用场景。图2示出了根据实施例的虚拟形象的应用场景下的示例性系统架构。图3示出了根据实施例的物理形象的示例性应用场景。图4示出了根据实施例的物理形象的应用场景下的示例性系统架构。图5示出了根据实施例的用于通过时序动作解析来自动生成虚拟形象的动作的示例性过程。图6示出了根据实施例的用于通过时序动作解析来从动画数据库中确定动画的示例性过程。图7示出了根据实施例的各种动画的示例性序列图。图8示出了根据实施例的用于通过时序动作解析来自动生成物理形象的动作的示例性过程。图9示出了根据实施例的用于通过检索模型来确定动画的示例性过程。图10示出了根据实施例的用于通过生成模型来确定动画的示例性过程。图11示出了根据实施例的用于自动生成形象的动作的示例性方法的流程图。图12示出了根据实施例的用于自动生成形象的动作的示例性装置。图13示出了根据实施例的用于自动生成形象的动作的示例性装置。具体实施方式现在将参考多种示例性实施方式来讨论本公开。应当理解，这些实施方式的讨论仅仅用于使得本领域技术人员能够更好地理解并从而实施本公开的实施例，而并非教导对本公开的范围的任何限制。通常，许多人为工作应当被涉及以生成形象的动作。例如，对于形象的每个动作，设计者或工程师需要设计一个相应的动画或一系列相应的动画。因此，当必须生成形象的许多动作时，需要的人为工作将显著增加，并且生成形象的动作的效率将非常低。此外，形象可以做出的所有动作都应当事先准备好，因此形象只能在实际应用环境中呈现少量动作。以实时交互环境为例，例如，在形象被设计用于与用户交谈的情况下，可以预先针对特定内容准备一组动作。因此，当谈论任何特定内容时，形象可以做出预先准备的相应动作。然而，由于实际谈论的主题不限于任何特定范围，形象可能无法做出与超出为形象准备的所述特定内容的当前谈论的主题相对应的动作，因此形象在与用户交谈期间不能以实时的方式地做出动作。本公开的实施例提出在实时交互环境中自动生成形象的动作。例如，在用户和电子对话代理之间的会话期间，作为电子对话代理的视觉表示的形象可以响应于在会话中以实时方式获得的消息而做出相应的动作，而不需要事先准备与消息对应的动作。此外，由于形象的动作与消息具有高度相关性，因此可以在与电子对话代理交谈期间改善用户的体验。在本文中，形象可以是虚拟形象，例如数字形象、虚拟人物、卡通人物、拟人形象等，或者可以是物理形象，例如物理机器人等。形象可以具有面部部分，其包括眼、鼻、嘴、脸部基底等中的至少一个，并且可以呈现各种面部动作。形象还可以具有身体部分，其包括头、肩、手、臂、腿、脚等中的至少一个，并且可以呈现各种身体动作。在本文中，电子对话代理可以例如是聊天机器人。传统上，聊天机器人可以与用户进行自动会话。在本文中，“会话”可以指两个聊天参与者之间的时间连续对话，并且可以包括来自任一聊天参与者，例如用户或聊天机器人，的消息。根据本公开的实施例，响应于在用户和聊天机器人之间的会话中获得消息，可以相应地确定至少一个动画。动画可以包括面部动画和/或身体动画。在本文中，“动画”可以指基于各种3D重构技术的、面部部分或身体部分中的各种特征点的移动轨迹。例如，可以通过多个，例如48个，基本面部表情的线性组合来重构指示面部表情的动画，每个基本面部表情由面部部分中的预定特征点集合来表征。此外，例如，可以通过身体部分中的预定特征点集合来重构指示身体动作的动画。所确定的动画可以进一步应用于代表聊天机器人的形象，使得形象可以相应地做出动作。以这种方式，形象可以做出与在会话中获得的消息相关联的实时动作。此处，“消息”可以来自聊天机器人或用户。即，一方面，形象可以根据聊天机器人将要说的内容做出动作，并且另一方面，形象也可以响应于用户正在说的内容做出动作。本公开的实施例可以采用各种方法来响应于会话中的消息而自动确定动画并进一步生成形象的动作。这些方法可以包括例如基于时序动作解析的方法，基于检索的方法，基于生成的方法等，稍后将对这些方法进行详细讨论。然而，应当理解，本公开不限于这些方法中的任何一种，而是可以覆盖用于在实时交互环境中自动生成形象的动作的任何其他方法。图1示出了根据实施例的虚拟形象的示例性应用场景。虚拟形象是电子对话代理，例如聊天机器人，的视觉表示，并且被呈现在聊天机器人的用户界面100中。用户界面100被显示在终端设备，例如智能电话，的屏幕中，并且可以包括例如聊天机器人图标110、呈现区域120、控制区域130和输入区域140。聊天机器人图标110可以是表示聊天机器人的照片或图片。呈现区域120显示包含用户160和聊天机器人之间的会话中的消息的聊天窗口。控制区域130包括用于用户160执行消息输入设置的多个虚拟按钮。例如，用户可以通过控制区域130选择进行语音输入、附加图像文件、选择表情符号、制作当前屏幕的屏幕截图、激活相机等。输入区域140由用户用于输入消息。例如，用户可以通过输入区域140键入文本。用户界面100可以进一步包括用于确认发送输入消息的虚拟按钮150。如果用户触摸虚拟按钮150，则可以将在输入区域140中输入的消息发送到呈现区域120。用户160和聊天机器人之间的会话中的消息可以是各种格式，例如语音、文本等。如在呈现区域120中所示，用户160现在通过语音与聊天机器人聊天。虚拟形象112被呈现在呈现区域120中，该虚拟形象112表示聊天机器人并且可以响应于会话中的消息而做出面部动作和/或身体动作。应当理解，图1中所示的所有元素及其布局都是示例性的。取决于具体的应用需求，图1中的用户界本文档来自技高网...

【技术保护点】
1.一种用于自动生成形象的动作的方法，包括：/n获得用户和电子对话代理之间的会话中的消息，所述形象是所述电子对话代理的视觉表示；/n基于所述消息的至少一部分来确定至少一个面部动画和/或身体动画；以及/n至少基于所述面部动画和/或所述身体动画来生成所述形象的至少一个动作。/n

【技术特征摘要】
【国外来华专利技术】1.一种用于自动生成形象的动作的方法，包括：
获得用户和电子对话代理之间的会话中的消息，所述形象是所述电子对话代理的视觉表示；
基于所述消息的至少一部分来确定至少一个面部动画和/或身体动画；以及
至少基于所述面部动画和/或所述身体动画来生成所述形象的至少一个动作。


2.根据权利要求1所述的方法，其中，所述确定包括：
对从所述消息中获得的纯文本或语音合成标记语言(SSML)文件执行时序动作解析，以确定所述面部动画和/或所述身体动画。


3.根据权利要求2所述的方法，其中，所述时序动作解析还被执行用于确定所述面部动画和/或所述身体动画的时间段。


4.根据权利要求2所述的方法，其中，所述时序动作解析基于以下各项中的至少一项：所述消息中的关键词、所述消息的情感、所述消息的语句类型、所述消息中的代词和所述消息中的问候语。


5.根据权利要求2所述的方法，其中，所述时序动作解析是由基于规则的模型和/或机器学习模型来实现的，
所述基于规则的模型被配置用于通过对所述消息的所述至少一部分应用预定义规则集来从动画数据库中确定所述面部动画和/或所述身体动画，
所述机器学习模型被配置用于通过对所述消息执行序列标记来从所述动画数据库中确定所述面部动画和/或所述身体动画。


6.根据权利要求2所述的方法，还包括：
通过执行所述时序动作解析来生成动作合成标记语言(MSML)文件，所述MSML文件至少包括对所述面部动画和/或所述身体动画的指示，并且
其中，所述生成所述形象的所述至少一个动作包括：基于所述MSML文件来生成所述形象的所述至少一个动作。


7.根据权利要求2所述的方法，其中，
所述面部动画指示以下各项中的至少一项：与所述消息或所述消息的上下文相关联的持续面部表情、与所述消息的所述至少一部分相关联的瞬时面部表情、与所述消息中的每个词语相对应的口型、以及眨眼；并且
所述身体动画指示以下各项中的至少一项：正常身体动作、情感相关身体动作、语句类型相关身体动作、代词相关身体动作、问候语相关身体动作、象征性身体动作、琐碎身体动作、以及身体动作习惯。


8.根据权利要求1所述的方法，其中，所述确定包括：
通过检索模型，基于所述消息从动画数据库中检索所述面部动画和/或所述身体动画，所述动画数据库包括至少一个参考语句和相应的参考面部动画和/或参考身体动画，
其中，所述检索模型被配置用于从所述动画数据库中识别与所述消息相关联的参考语句，并且从所述动画数据库中检索与所述参考语句相对应的参考面部动画和/或参考身体动画以作为所述面部动画和/或所述身体动画。


9.根据权利要求8所述的方法，其中，与所述消息相关联的所述参考语句是通过语句相似性模型来识别的，所述语句相似性模型采用以下特征中的至少一个特征：情感向量、词向量、隐含狄利克雷分配(LDA)分布和语句类型向量。


10.根据权利要求1所述的方法，其中，所述确定包括：
通过生成模型，基于所述消息来生成所述面部动画和/或所述身体动画，所述生成模型是通过至少一个参考语句以及相应的参考面部动画和/或参考身体动...

【专利技术属性】
技术研发人员：陈粤洋，徐翔，宋睿华，王烁，张惠，李笛，刘成城，齐晓宇，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US