数字人手语播报方法、装置、设备及存储介质制造方法及图纸

本公开涉及一种数字人手语播报方法、装置、设备及存储介质。本公开通过将正常人所使用的自然语言文本翻译为第一手语文本，并对第一手语文本进行语义精简处理，得到第二手语文本。进一步，根据第二手语文本驱动数字人，使得数字人通过肢体将第二手语文本对应的手语动作表达出来。由于对第一手语文本进行语义精简处理后得到的第二手语文本可以包括较少的动作名称，因此，相比于第一手语文本而言，数字人可以在相同时间内做较少的手语动作，使得数字人拥有更充分的时长来做每个手语动作，从而可以保证听障人士可以看清楚每个手语动作。以保证听障人士可以看清楚每个手语动作。以保证听障人士可以看清楚每个手语动作。

【技术实现步骤摘要】
数字人手语播报方法、装置、设备及存储介质


[0001]本公开涉及信息
，尤其涉及一种数字人手语播报方法、装置、设备及存储介质。

技术介绍

[0002]随着科技的不断发展，越来越多的用户可以通过终端观看多媒体信息，多媒体信息通常包括文本、音频、视频等。但是，对于听障人士而言，符合认知习惯的是手语。因此，需要将自然语言的语音和文本信息转换为手语，以便听障人士理解。
[0003]但是，本申请的专利技术人发现，对于同一句话而言，正常人说话时的声音速度通常会快于数字人打手语动作的速度，如果要求数字人打手语动作的过程和正常人说话的过程在时间上对齐，那么需要加快数字人打手语动作的速度，或者提高数字人打手语动作的视频的播放速度，从而导致听障人士看不清手语动作。

技术实现思路

[0004]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种数字人手语播报方法、装置、设备及存储介质，使得数字人拥有更充分的时长来做每个手语动作，从而可以保证听障人士可以看清楚每个手语动作。
[0005]第一方面，本公开实施例提供一种数字人手语播报方法，包括：
[0006]获取多媒体信息，并确定所述多媒体信息对应的自然语言文本；
[0007]将所述自然语言文本翻译为第一手语文本；
[0008]对所述第一手语文本进行语义精简处理，得到第二手语文本；
[0009]根据所述第二手语文本驱动数字人，使得所述数字人通过肢体将所述第二手语文本对应的手语动作表达出来。
[0010]第二方面，本公开实施例提供一种数字人手语播报装置，包括：
[0011]获取模块，用于获取多媒体信息；
[0012]确定模块，用于确定所述多媒体信息对应的自然语言文本；
[0013]翻译模块，用于将所述自然语言文本翻译为第一手语文本；
[0014]处理模块，用于对所述第一手语文本进行语义精简处理，得到第二手语文本；
[0015]驱动模块，用于根据所述第二手语文本驱动数字人，使得所述数字人通过肢体将所述第二手语文本对应的手语动作表达出来。
[0016]第三方面，本公开实施例提供一种电子设备，包括：
[0017]存储器；
[0018]处理器；以及
[0019]计算机程序；
[0020]其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面所述的方法。
[0021]第四方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现第一方面所述的方法。
[0022]本公开实施例提供的数字人手语播报方法、装置、设备及存储介质，通过将正常人所使用的自然语言文本翻译为第一手语文本，并对第一手语文本进行语义精简处理，得到第二手语文本。进一步，根据第二手语文本驱动数字人，使得数字人通过肢体将第二手语文本对应的手语动作表达出来。由于对第一手语文本进行语义精简处理后得到的第二手语文本可以包括较少的动作名称，因此，相比于第一手语文本而言，数字人可以在相同时间内做较少的手语动作，使得数字人拥有更充分的时长来做每个手语动作，从而可以保证听障人士可以看清楚每个手语动作。
附图说明
[0023]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0024]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0025]图1为本公开实施例提供的数字人手语播报方法流程图；
[0026]图2为本公开实施例提供的应用场景的示意图；
[0027]图3为本公开实施例提供的应用场景的示意图；
[0028]图4为本公开实施例提供的应用场景的示意图；
[0029]图5为本公开另一实施例提供的数字人手语播报方法流程图；
[0030]图6为本公开另一实施例提供的数字人手语播报方法流程图；
[0031]图7为本公开另一实施例提供的数字人手语播报方法流程图；
[0032]图8为本公开另一实施例提供的运营人员的用户界面的示意图；
[0033]图9为本公开另一实施例提供的运营人员的用户界面的示意图；
[0034]图10为本公开实施例提供的数字人手语播报装置的结构示意图；
[0035]图11为本公开实施例提供的电子设备实施例的结构示意图。
具体实施方式
[0036]为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
[0037]在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
[0038]通常情况下，对于同一句话而言，正常人说话时的声音速度通常会快于数字人打手语动作的速度，如果要求数字人打手语动作的过程和正常人说话的过程在时间上对齐，那么需要加快数字人打手语动作的速度，或者提高数字人打手语动作的视频的播放速度，从而导致听障人士看不清手语动作。针对该问题，本公开实施例提供了一种数字人手语播
报方法，下面结合具体的实施例对该方法进行介绍。
[0039]图1为本公开实施例提供的数字人手语播报方法流程图。该方法可以由数字人手语播报装置执行，该装置可以采用软件和/或硬件的方式实现，该装置可配置于电子设备中，例如服务器或终端，其中，终端具体包括手机、电脑或平板电脑等。另外，本实施例所述的数字人手语播报方法可以适用于如图2所示的应用场景。如图2所示，该应用场景包括终端21和服务器22，其中，服务器22可以从其他终端或其他服务器获取多媒体信息，并根据该多媒体信息生成数字人打手语的手语动画。进一步，服务器22可以将数字人打手语的手语动画发送给终端21，终端21可以是听障人士的终端，从而使得听障人士可以理解到该多媒体信息所表达的意思。下面结合图2对该方法进行详细介绍，如图1所示，该方法具体步骤如下：
[0040]S101、获取多媒体信息，并确定所述多媒体信息对应的自然语言文本。
[0041]例如，服务器22可以从其他终端或其他服务器获取多媒体信息，该多媒体信息可以是文本信息、音频信息或音视频信息。其中，音频信息可以是实时的音频流，或者可以是离线的音频文件。音视频信息可以是实时的音视频流，或者可以是离线的音视频文件。例如图3所示，终端23可以向服务器22实时的发送直播音视频流，服务器22不仅可以向终端21转发该直播音视频流，同时还可以向终端21发送数字人打手语的视频流，该数字人通过打手语来表达该直播音视频流中音频信号或字幕的意思，从而使得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数字人手语播报方法，其中，所述方法包括：获取多媒体信息，并确定所述多媒体信息对应的自然语言文本；将所述自然语言文本翻译为第一手语文本；对所述第一手语文本进行语义精简处理，得到第二手语文本；根据所述第二手语文本驱动数字人，使得所述数字人通过肢体将所述第二手语文本对应的手语动作表达出来。2.根据权利要求1所述的方法，其中，确定所述多媒体信息对应的自然语言文本之后，所述方法还包括：对所述自然语言文本进行语义精简处理，得到精简处理后的自然语言文本；将所述自然语言文本翻译为第一手语文本，包括：将所述精简处理后的自然语言文本翻译为第一手语文本。3.根据权利要求1所述的方法，其中，根据所述第二手语文本驱动数字人，包括：若所述多媒体信息是非实时的音频文件或音视频文件，则获取所述音频文件或所述音视频文件中每个音频信号的起始时间和终止时间；根据所述起始时间和所述终止时间，调整所述数字人表达手语动作的速度，使得所述数字人表达的手语动作和所述音频信号在时间轴上对齐。4.根据权利要求1所述的方法，其中，根据所述第二手语文本驱动数字人之后，所述方法还包括：若所述多媒体信息是实时的音频流或音视频流，则生成所述数字人的流式手语播报视频流，并将所述流式手语播报视频流实时的发送给终端；若所述多媒体信息是非实时的音频文件、音视频文件或文本文件，则生成所述数字人的手语播报视频文件，并将所述手语播报视频文件发送给终端。5.根据权利要求4所述的方法，其中，生成所述数字人的流式手语播报视频流，包括：根据所述数字人的配置信息，生成所述数字人的流式手语播报视频流；生成所述数字人的手语播报视频文件，包括：根据所述数字人的配置信息，生成所述数字人的手语播报视频文...

【专利技术属性】
技术研发人员：韩玉洁，谭启敏，吴淑明，张家硕，张泽旋，周靖坤，祖新星，王琪，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：