具身代理中的自主动画制造技术

本文所述的实施方案涉及通过动画到输入文本的自动应用——或动画标记的自动应用的手势的自主动画，其中该标记触发非言语交流表达或手势。为了使具身代理的移动尽可能自然和类似人类，文本到手势算法(TTG算法)在交际话语的输入文本由具身代理发出之前分析该输入文本，并且在给定输入文本的含义、上下文和情感内容以及该具身代理的手势风格或个性的情况下用适当并有意义的手势来标记该输入文本。况下用适当并有意义的手势来标记该输入文本。况下用适当并有意义的手势来标记该输入文本。

【技术实现步骤摘要】
【国外来华专利技术】具身代理中的自主动画


[0001]本专利技术的实施方案涉及具身代理(诸如虚拟人物、数字实体和/或机器人)的自主动画。更特别地但非唯一地，本专利技术的实施方案涉及对会话内容的自动和实时分析，以动态地以动画方式显示具身代理。

技术介绍

[0002]行为标记语言或BML是基于XML的描述语言，该描述语言用于控制针对“具身会话代理”的言语和非言语行为。基于规则的手势生成器诸如BEAT(SIGGRAPH'01)应用规则来生成与文本特征诸如关键词配对的手势。这导致重复的机器人手势，其难以在颗粒水平上定制。需要规则和手势的大数据库。言语驱动的手势生成器使用神经网络从学习的手势和言语组合生成自动移动。然而，这些生成器通常以黑盒方式工作，假设输入言语与输出运动之间的一般关系，并且成功有限。
[0003]US9205557B2公开了一种用于生成移动机器人的情境行为的方法。提供了一种用于在关键词前面自动插入命令标签的模块。US9721373B2公开了用于创建用于嘴唇同步运动和非言语交流的一组行为的程序，其可包括用话语的声学、句法、语义、语用和修辞分析来分析人物的说话行为。
[0004]通过具身自主代理对交际话语的有效自动即时增强和/或修改仍然是未解决的问题。此外，以实际、非重复和可容易定制的方式以动画方式显示具身代理仍然是未解决的问题。
[0005]专利技术目的
[0006]本专利技术的目的是改进具身代理中的自主动画或至少为公众或业界提供有用的选择。
附图说明
[0007]图1示出了根据一个实施方案的TTG算法。
[0008]图2示出了根据一个实施方案的强调检测算法。
[0009]图3示出了用于强调检测的适当规则权重的示例。
[0010]图4示出了用于强调检测的评分过程的示例。
[0011]图5示出了各种不同姿势中的具身代理。
[0012]图6示出了臂部变化姿势之间的混合。
[0013]图7示出了手部变化姿势之间的混合的第一示例。
[0014]图8示出了手部变化姿势之间的混合的第二示例。
具体实施方式
[0015]具身代理(诸如虚拟人物、数字实体和/或机器人)可通过实时地从文本输入发出言语来与用户交互。具身代理可以是数字化身、卡通人物、拟人化身等，或者可以是物理化
身，例如物理机器人等。物理机器人可包括用于不同部位(例如，面部部位、身体部位等)的各种机械单元，使得物理化身能够进行各种面部运动和/或身体运动。
[0016]具身代理可具有包括眼睛、鼻子、嘴巴中的至少一者的面部，并且可以动画方式显示以呈现各种面部运动。化身还可具有一个或多个身体部位，包括头部、肩部、手部、臂部、腿部、脚部等中的至少一者，并且可以动画方式显示以呈现各种身体运动。
[0017]文本到言语(TTS)和与言语同步的嘴唇动画使得此类具身代理能够类似于类似人类的言语。非言语交流诸如面部表情和手部手势帮助人类交流并且带来真实感和具身代理的动画。
[0018]本文所述的实施方案涉及通过动画到输入文本的自动应用——或动画标记的自动应用的手势的自主动画，其中该标记触发非言语交流表达或手势。
[0019]文本到手势
[0020]为了使具身代理的移动尽可能自然和类似人类，文本到手势算法(TTG算法)在交际话语的输入文本由具身代理发出之前分析该输入文本，并且在给定输入文本的含义、上下文和情感内容以及该具身代理的手势风格或个性的情况下用适当并有意义的手势来标记该输入文本。
[0021]例如：输入文本：“您想谈论我们的技术，或者我们的商业模式吗？”可由TTG算法处理以输出
‑
>“#SlightlyHappy Would you#Shrug like to#Smile talk about our#BeatBothArmsLeft technology,or our#BeatBothArmsRight business#PalmsSpread model？”[0022]TTG算法使用自然语言处理(NLP)以从即将说出的文本获得对上下文、含义和交流意图的最佳可能理解，以便为其生成最有细微差别且最自然的手势。TTG算法是模块化且可扩展的，使得可添加新的和更复杂的分析，并且可容易地修改或移除现有分析。
[0023]方法
[0024]图1示出了根据一个实施方案的TTG算法。
[0025]解析
[0026]在步骤102处，输入文本6由返回用于输入文本19的每个分句的解析树的解析器接收。每个分句是树，并且树中的每个节点是大致等同于字词的记号，并且还包含关于该记号的信息，诸如其词根、词性标签、以及与其父节点的依赖性关系、其是否是强关键词、名词短语列表的一部分等。在一个实施方案中，依赖性解析输出提供记号之间的关系的依赖性树。可使用任何合适的依赖性解析方法或系统。
[0027]分句分析器
[0028]在步骤104处，分句分析器将关于输入文本19的进一步信息附接到解析树8。分句分析器导出关于分句和记号的信息，以作为输入提供给基于分句分析信息来生成标记的标记生成器。
[0029]分析分句的语义和句法模式，识别关键词、情感和对话行为。在一个实施方案中，分句分析器接收依赖性树，并且使用依赖性信息识别分句中的节拍、否定和枚举行为。分句分析还将情绪信息附接到依赖性树。
[0030]情绪
[0031]任何合适的机器学习或基于规则的方法可用于对分句的情绪进行分类。分句可基
于配价(正
‑
中性
‑
负)、唤醒(低
‑
中性
‑
高)和细粒度情感内容(例如：高兴、悲伤、愤怒、惊喜、恐惧、厌恶)来分类。
[0032]在一个实施方案中，使用支持向量机器(SVM)来构造文本情绪分析功能。可使用任何合适的文本情绪分析的方法。可使用来自特定域的会话内容来训练SVM。对于通用会话，可使用大范围的域和风格、话语长度和其他参数来训练SVM。可使用任何其他合适的分类器，包括但不限于神经网络、决策树、基于回归的分类器、贝叶斯分类器。深度神经网络可适于对细粒度情感内容进行分类。
[0033]词情可在字词级别处识别情绪，并且将字词识别为肯定或否定的。在一个实施方案中，使用否定/肯定字词词典。可记录分句中单独字词的配价。例如，在具有总体正配价的分句中，分句分析器可识别具有正配价的非否定字词以及具有负配价的非否定字词。
[0034]在一个实施方案中，基于情绪的动画基于情绪分数被应用于句子。用于情绪分析的任何合适的模式可被使用并且适当地训练以确定情绪分数。
[0035]否定范围检测
[0036]被否定的记号(字词)可基于依赖性关联来确定(例如，否定的后代被认为是由该否定所否定的)。依赖性树结构可确定任何否定字词的范围(即哪些字词可被认为是否定的)。特别地，作为否定的后代、兄弟姐妹或侄甥代(兄弟姐妹的子代)的任何字词都本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种以动画方式显示虚拟人物或数字实体的方法，包括以下步骤：i.接收指定要由所述虚拟人物或数字实体说出的字词的输入文本；ii.确定要应用于输入文本的姿势；iii.确定要应用于输入文本的动作，以及iv.生成所述虚拟人物或数字实体的至少一个运动，所述至少一个运动表示从所述姿势应用的所述动作。2.根据权利要求1所述的方法，其中所述姿势是臂部姿势，并且确定姿势的方法包括确定臂部之间的水平距离的步骤。3.根据权利要求1或权利要求2所述的方法，其中所述姿势是臂部姿势，并且确定姿势的所述方法包括确定一个或多个臂部的竖直高度的步骤。4.根据权利要求1至3中任一项所述的方法，其中所述至少一个运动是节拍手势。5.一种用于以动画方式显示虚拟人物或数字实体的系统，所述系统包括：i.输入模块，所述输入模块接收输入文本；ii.确定模块，所述确定模块确定：i.要应用于输入文本的姿势；以及ii.要从所述至少一个姿势应用的动作；和iii.输出模块，所述输出模块基于所述姿势和所述动作来生成所述虚拟人物或数字实体的至少一个运动。6.一种以动画方式显示虚拟人物或数字实体的方法，包括以下步骤：i.确定以动画方式显示的输入姿势；ii.确定表示手势的变化姿势，所述变化姿势被配置为与所述输入姿势混合；iii.确定混合姿势，所述混合姿势包括所述输入姿势与所述变化姿势之间的加权插值；以及iv.使用所述混合姿势来以动画方式显示所述虚拟人物或数字实体。7.根据权利要求1所述的方法，其中确定姿势的所述步骤包括根据权利要求6所述的方法的所述步骤。8.一种用于以动画方式显示虚拟人物或数字实体的系统，所述系统包括：i.确定模块，所述确定模块确定：i.以动画方式显示的输入姿势；ii.表示手势的变化姿势，所述变化姿势被配置为与所述输入姿势混合；iii.混合姿势，所述混合姿势包括所述输入姿势与所述变化姿势之间的加权插值；和ii.动画模块，所述动画模块使用所述混合姿势来以动画方式显示所述虚拟人物或数字实体。9.一种以动画方式显示虚拟人物或数字实体的方法，所述数字实体的虚拟人物具有至少一个臂部、手腕和手指，所述方法包括以下步骤：i.确定以下中的至少两者：臂部姿势，所述臂部姿势从一系列臂部姿势中进行选择；手腕姿势，所述手腕姿势从一系列手腕姿势中进行选择；和手指姿势，所述手指姿势从一系列手指姿势中进行选择；以及
ii.以动画方式显示所述虚拟人物或数字实体以显示包括所述臂部姿势、所述手腕姿势和/或所述手指姿势的整体姿势。10.根据权利要求9所述的方法，其中确定以下中的至少两者是随机确定的。11.一种以动画方式显示虚拟人物或数字实体的方法，所述数字实体的虚拟人物具有至少一个肢体，所述方法包括以下步骤：i.确定至少以下：肢体姿势，所述肢体姿势从一系列肢体姿势中进行选择；和所述肢体的子部位的姿势，所述子部位的所述姿势从一系列子部位姿势中进行选择；以及ii.以动画方式显示所述虚拟人物或数字实体以显示包括所述肢体姿势和所述肢体的子部位的所述姿势的整体姿势。12.根据权利要求11所述的方法，其中确定至少以下是随机确定的。13.一种以动画方式显示虚拟人物或数字实体的方法，包括以下步骤：i.接收指定要由所述虚拟人物或数字实体说出的字词的输入文本；ii.确定所述输入文本中每个字词的强调分数；iii.确定与所述输入文本中的剩余字词相比具有相对较高的强调分数的一组字词；以及iv.以动画方式显示虚拟人物或数字实体以说出所述输入文本，并且将手势应用于来自具有相对较高的强调分数的所述一组字词中的每个字词。14.根据权利要求13所述的方法，其中所述手势被应用于来自具有相对较高的强调分数的所述一组字词中的每个字词的重音音节。15.根据权利要求13或权利要求14所述的方法，其中所述手势是节拍手势。16.根据权利要求13至15中任一项所述的方法，其中所述强调分数基于字词稀有性，其中具有较高稀有性的字词具有较高强调分数。17.根据权利要求13至16中任一项所述的方法，其中具有相对较高的强调分数的所述一组字词包...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：索美智能有限公司，
类型：发明
国别省市：