信息交互方法和装置制造方法及图纸

本公开的实施例公开了信息交互方法和装置。该方法的一具体实施方式包括：响应于接收到用户发起的点读请求，获取待识别图像和用户输入的语音信息，其中，待识别图像是对用户指向的点读对象进行拍摄所获得的图像，点读对象包括目标数量个文字；对待识别图像进行识别，获得包括目标数量个文字的目标文本；对语音信息进行识别，获得用于表征用户的用户意图的意图信息；基于意图信息，获取及输出目标文本所对应的音频。该实施方式可以基于用户的手势和语音进行点读，有助于在点读时识别出用户的真实意图，进而输出与用户的真实意图相匹配的音频，提高了信息交互的准确性。提高了信息交互的准确性。提高了信息交互的准确性。

【技术实现步骤摘要】
信息交互方法和装置


[0001]本公开的实施例涉及计算机
，尤其涉及信息交互方法和装置。

技术介绍

[0002]点读是针对学生设计的、用于辅助学生学习的一种技术。现有技术中已经存在用于学生点读的点读设备，例如点读机、点读笔等。
[0003]具体的，用户在学习过程中，遇到不认识的字或词时，可以通过手势指向不认识的字或词，进而点读设备可以对用户的手势进行识别，以确定用户指向的对象，进而获取及播放用户指向的对象的读音。

技术实现思路

[0004]本公开的实施例提出了信息交互方法和装置。
[0005]第一方面，本公开的实施例提供了一种信息交互方法，该方法包括：响应于接收到用户发起的点读请求，获取待识别图像和用户输入的语音信息，其中，待识别图像是对用户指向的点读对象进行拍摄所获得的图像，点读对象包括目标数量个文字；对待识别图像进行识别，获得包括目标数量个文字的目标文本；对语音信息进行识别，获得用于表征用户的用户意图的意图信息；基于意图信息，获取及输出目标文本所对应的音频。
[0006]在一些实施例中，基于意图信息，获取及输出目标文本所对应的音频包括：响应于意图信息表征用户的用户意图为识别文字，获取及输出目标文本包括的文字所对应的音频。
[0007]在一些实施例中，基于意图信息，获取及输出目标文本所对应的音频包括：响应于意图信息表征用户的用户意图为识别词汇，确定目标文本是否包括词汇；响应于目标文本包括词汇，获取及输出目标文本包括的词汇所对应的音频。
[0008]在一些实施例中，基于意图信息，获取及输出目标文本所对应的音频还包括：响应于目标文本不包括词汇，获取及输出目标文本包括的文字所对应的音频。
[0009]在一些实施例中，在获取及输出目标文本所对应的音频之后，该方法还包括：获取用户针对获取到的音频输入的跟读音频；对跟读音频和所输出的、目标文本所对应的音频进行匹配，获得匹配结果及输出。
[0010]第二方面，本公开的实施例提供了一种信息交互装置，该装置包括：第一获取单元，被配置成响应于接收到用户发起的点读请求，获取待识别图像和用户输入的语音信息，其中，待识别图像是对用户指向的点读对象进行拍摄所获得的图像，点读对象包括目标数量个文字；第一识别单元，被配置成对待识别图像进行识别，获得包括目标数量个文字的目标文本；第二识别单元，被配置成对语音信息进行识别，获得用于表征用户的用户意图的意图信息；输出单元，被配置成基于意图信息，获取及输出目标文本所对应的音频。
[0011]在一些实施例中，输出单元进一步被配置成：响应于意图信息表征用户的用户意图为识别文字，获取及输出目标文本包括的文字所对应的音频。
[0012]在一些实施例中，输出单元包括：确定模块，被配置成响应于意图信息表征用户的用户意图为识别词汇，确定目标文本是否包括词汇；第一输出模块，被配置成响应于目标文本包括词汇，获取及输出目标文本包括的词汇所对应的音频。
[0013]在一些实施例中，输出单元还包括：第二输出模块，被配置成响应于目标文本不包括词汇，获取及输出目标文本包括的文字所对应的音频。
[0014]在一些实施例中，该装置还包括：第二获取单元，被配置成获取用户针对获取到的音频输入的跟读音频；匹配单元，被配置成对跟读音频和所输出的、目标文本所对应的音频进行匹配，获得匹配结果及输出。
[0015]第三方面，本公开的实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述信息交互方法中任一实施例的方法。
[0016]第四方面，本公开的实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现上述信息交互方法中任一实施例的方法。
[0017]本公开的实施例提供的信息交互方法和装置，通过响应于接收到用户发起的点读请求，获取待识别图像和用户输入的语音信息，其中，待识别图像是对用户指向的点读对象进行拍摄所获得的图像，点读对象包括目标数量个文字，而后对待识别图像进行识别，获得包括目标数量个文字的目标文本，接着对语音信息进行识别，获得用于表征用户的用户意图的意图信息，最后基于意图信息，获取及输出目标文本所对应的音频，从而可以基于用户的手势和语音进行点读，有助于在点读时识别出用户的真实意图，进而输出与用户的真实意图相匹配的音频，提高了信息交互的准确性。
附图说明
[0018]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：
[0019]图1是本公开的一个实施例可以应用于其中的示例性系统架构图；
[0020]图2是根据本公开的信息交互方法的一个实施例的流程图；
[0021]图3是根据本公开的实施例的信息交互方法的一个应用场景的示意图；
[0022]图4是根据本公开的信息交互方法的又一个实施例的流程图；
[0023]图5是根据本公开的信息交互装置的一个实施例的结构示意图；
[0024]图6是适于用来实现本公开的实施例的电子设备的计算机系统的结构示意图。
具体实施方式
[0025]下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。
[0026]需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
[0027]图1示出了可以应用本公开的信息交互方法或信息交互装置的实施例的示例性系统架构100。
[0028]如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0029]用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种客户端应用，例如点读类软件、教育学习类软件、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
[0030]终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有拍摄功能和语音输入功能的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。当终端本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种信息交互方法，包括：响应于接收到用户发起的点读请求，获取待识别图像和所述用户输入的语音信息，其中，所述待识别图像是对所述用户指向的点读对象进行拍摄所获得的图像，所述点读对象包括目标数量个文字；对所述待识别图像进行识别，获得包括所述目标数量个文字的目标文本；对所述语音信息进行识别，获得用于表征所述用户的用户意图的意图信息；基于所述意图信息，获取及输出所述目标文本所对应的音频。2.根据权利要求1所述的方法，其中，所述基于所述意图信息，获取及输出所述目标文本所对应的音频包括：响应于所述意图信息表征所述用户的用户意图为识别文字，获取及输出所述目标文本包括的文字所对应的音频。3.根据权利要求1所述的方法，其中，所述基于所述意图信息，获取及输出所述目标文本所对应的音频包括：响应于所述意图信息表征所述用户的用户意图为识别词汇，确定所述目标文本是否包括词汇；响应于所述目标文本包括词汇，获取及输出所述目标文本包括的词汇所对应的音频。4.根据权利要求3所述的方法，其中，所述基于所述意图信息，获取及输出所述目标文本所对应的音频还包括：响应于所述目标文本不包括词汇，获取及输出所述目标文本包括的文字所对应的音频。5.根据权利要求1-4之一所述的方法，其中，在所述获取及输出所述目标文本所对应的音频之后，所述方法还包括：获取所述用户针对获取到的音频输入的跟读音频；对所述跟读音频和所输出的、所述目标文本所对应的音频进行匹配，获得匹配结果及输出。6.一种信息交互装置，包括：第一获取单元，被配置成响应于接收到用户发起的点读请求，获取待识别图像和所述用户输入的语音信息，其中，所述待识别图像是对所述用户指向的点读对象进行拍...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：