一种电子绘本的生成方法、系统和电子绘本的播放方法技术方案

本发明专利技术提供一种电子绘本的生成方法、系统和电子绘本的播放方法，包括获取音视频中关键帧图片特征库与音频文本内容特征库；将关键帧图片索引文件与音频文本内容索引文件进行匹配；生成对应新索引的关键帧图片和音频文本内容匹配一致性映射关系；依据匹配一致性映射关系关键帧图片与音频文本内容同步播放。同时，通过本地数据处理系统实现对本地音视频特征库中关键帧图片与音频文本内容数据的采集、计算、存储、播放等功能，云端数据处理系统实现对云端音视频特征库中关键帧图片与音频文本内容数据的采集、少量数据计算、短期数据存储功能。该云端数据处理系统有效的解决了因用户端占用存储空间过大，而导致本地数据处理系统运算速度降低的问题。算速度降低的问题。算速度降低的问题。

【技术实现步骤摘要】
一种电子绘本的生成方法、系统和电子绘本的播放方法


[0001]本专利技术涉及数据处理
，尤其涉及一电子绘本的生成方法、系统和电子绘本的播放方法。

技术介绍

[0002]目前，随着科技的不断发展，数字化电子阅读时代已经到来，儿童读物电子化成为普遍趋势，传统的纸质阅读慢慢转向电子阅读，从而市场上也出现了一些电子绘本。电子绘本即借助平板、手机等电子设备呈现的绘本，可以将APP下载到手机或电脑里，阅读的时候直接点开软件就可以观看；此外，电子绘本可内置多种媒体形式，如音频、视频等，能更好地激发儿童阅读兴趣
[0003]然而，就单独音频节目来说其内容比较单一缺少图片、文字等色彩信息，儿童在收听较长音频节目的过程中其兴趣会有显著降低。电子绘本结合图片、音频两种媒体形式，收听观看的灵活性更大。电子绘本需要同视频节目一样进行专门制作，且制作周期长成本都较高，其中音视频文件会占用较大的存储空间，因此生成的电子绘本也会占用较大的存储空间。同时，无法自动生成、准确翻页的播放体验效果。从而导致使用不够灵活方便给用户造成不便。

技术实现思路

[0004]本专利技术提供一种电子绘本的生成方法、系统和电子绘本的播放方法，将音视频的内容视通过频模型运算与音频模型算法获取关键帧图片与音频文本内容，关键帧图片与音频文本内容进行匹配，达到连续生成关键帧图片与音频文本内容的播放进度一致。
[0005]本专利技术实施例提供一种电子绘本的播放方法，所述播放方法包括：
[0006]获取音视频中关键帧图片特征库与音频文本内容特征库；所述关键帧图片特征库包括键帧图片索引文件，所述音频文本内容特征库包括音频文本内容索引文件；将所述关键帧图片索引文件与音频文本内容索引文件进行匹配；生成对应新索引的关键帧图片和音频文本内容匹配一致性映射关系；依据新索引的关键帧图片和音频文本内容匹配一致性映射关系同步播放关键帧图片与音频文本内容。
[0007]根据本专利技术的另一方面，还提供一种电子绘本的生成方法，所述生成方法包括如下步骤:
[0008]获取步骤，用于获取音视频中关键帧图片特征库与音频文本内容特征库，通过对所述关键帧图片特征库进行视频模型算法处理生成关键帧图片索引文件，通过对所述音频内容特征库进行音频模型算法处理生成音频文本内容索引文件；
[0009]匹配步骤，用于将所述关键帧图片索引文件与音频文本内容索引文件进行匹配；生成对应新索引的关键帧图片和音频文本内容匹配一致性映射关系；
[0010]生成步骤，用于根据新索引的关键帧图片和音频文本内容匹配一致性映射关系生成绘本模式。
[0011]在本专利技术提供的电子绘本的生成方法中，所述匹配步骤包括：通过视频模型算法对所述关键帧图片索引文件进行处理得到与所述关键帧图片对应的n组关键帧图片序号，通过音频模型算法对所述音频文本内容索引文件进行处理得到与所述音频文本内容对应的n组音频文本内容序号；将每一组所述关键帧图片序号与每一组所述音频文本内容序号进行匹配；生成对应新索引的所述关键帧图片序号与所述音频文本内容序号匹配一致性映射关系。
[0012]在本专利技术提供的电子绘本的生成方法中，所述匹配步骤还包括：根据视频模型算法对所述关键帧图片进行处理生成与所述关键帧图片序号对应的关键帧图片索引表，根据音频模型算法对所述音频文本内容进行处理生成与所述音频文本内容序号对应的音频文本内容索引表，将所述关键帧图片索引表与所述音频文本内容索引表进行匹配，生成对应新索引的所述关键帧图片索引表与所述音频文本内容索引表匹配一致性映射关系。
[0013]在本专利技术提供的电子绘本的生成方法中，所述关键帧图片索引表包括图片序号、关键帧图片对应的时间信息与图片标签，所述音频文本内容索引表包括音频序号、音频文本内容对应的时间信息与内容标签。
[0014]根据本专利技术的另一方面，还提供一种电子绘本的生成系统，包括本地数据处理系统、云端数据处理系统与用户端，所述用户端分别与所述本地数据处理系统、云端数据处理系统通信连接；所述本地数据处理系统与所述云端数据处理系统用于对获取音视频中的关键帧图片特征库与音频文本内容特征库进行采集分析以获得关键帧图片索引文件与音频文本内容索引文件，并对存储于所述本地数据处理系统与所述云端数据处理系统中的关键帧图片索引文件与音频文本内容索引文件进行匹配；生成对应新索引的关键帧图片和音频文本内容匹配一致性映射关系；根据新索引的关键帧图片和音频文本内容匹配一致性映射关系生成绘本模式；所述用户端用于开启所述本地数据处理系统与所述云端数据处理系统中的的关键帧图片特征库与音频文本内容特征库的内容后，进行绘本模式结果的获取、存储与播放。
[0015]在本专利技术提供的电子绘本的生成系统中，所述本地数据处理系统包括本地音视频特征库模块、本地存储模块、本地运算模块与本地数据同步模块，所述本地音视频特征库模块用于提供视频模型算法与音频模型算法的参数信息，将视频模型算法的参数信息与音频模型算法的参数信息发送至所述本地运算模块，所述本地运算模块通过视频模型算法的参数信息与音频模型算法的参数信息对音视频进行处理，生成关键帧图片、音频文本内容、关键帧图片索引表与音频文本内容索引表，并将生成的所述关键帧图片、所述音频文本内容、所述关键帧图片索引表与所述音频文本内容索引表分别发送至存储模块，所述本地存储模块用于存储所述关键帧图片、音频文本内容、关键帧图片索引表与音频文本内容索引表，所述本地数据同步模块用于更新所述本地音视频特征库模块中视频模型算法与音频模型算法的参数信息，同时同步上传存储于存储模块中关键帧图片索引表与所述音频文本内容索引表的信息以及运算模块的请求。
[0016]在本专利技术提供的电子绘本的生成系统中，所述云端数据处理系统包括云端音视频特征库模块、云端存储模块、云端运算模块与云端数据同步模块，所述云端音视频特征库模块获取关键帧图片特征库与音频文本内容特征库，以便于所述本地音视频特征库模块中视频模型算法与音频模型算法的参数信息同步更新，所述云端存储模块用于存储所述关键帧
图片、音频文本内容、关键帧图片索引表与音频文本内容索引表，所述云端同步模块用于将存储所述云端存储模块的关键帧图片特征库与音频文本内容特征库或存储本存储模块的关键帧图片特征库与音频文本内容特征库同步上传于所述云端数据处理系统中，并转发到所述云端存储模块中备份保存。
[0017]在本专利技术提供的电子绘本的生成系统中，所述视频模型算法的参数信息包括关键帧图片提取的运算方法、关键帧获取速度、关键帧图片清晰度大小等模型参数，所述关键帧图片提取的运算方法、关键帧获取速度、关键帧图片清晰度大小模型参数存储于所述本地存储模块与云端存储模块，所述音频模型算法的参数信息包括音频文本的运算方法与音频内容获取速度模型参数。
[0018]在本专利技术提供的电子绘本的生成系统中，所述用户端包括接口模块，所述用户端通过接口模块获取存储模块中的关键帧图片特征库与音频文本内容特征库的内容。
[0019]实施本专利技术实施例，具有如下有益效果：通过建立关本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电子绘本的播放方法，其特征在于，所述播放方法包括：获取音视频中关键帧图片特征库与音频文本内容特征库；所述关键帧图片特征库包括键帧图片索引文件，所述音频文本内容特征库包括音频文本内容索引文件；将所述关键帧图片索引文件与所述音频文本内容索引文件进行匹配；生成对应新索引的关键帧图片和音频文本内容匹配一致性映射关系；依据新索引的关键帧图片和音频文本内容匹配一致性映射关系同步播放所述关键帧图片与所述音频文本内容。2.一种电子绘本的生成方法，其特征在于，所述生成方法包括如下步骤:获取步骤，用于获取音视频中关键帧图片特征库与音频文本内容特征库，通过对所述关键帧图片特征库进行视频模型算法处理生成关键帧图片索引文件，通过对所述音频内容特征库进行音频模型算法处理生成音频文本内容索引文件；匹配步骤，用于将所述关键帧图片索引文件与音频文本内容索引文件进行匹配；生成对应新索引的关键帧图片和音频文本内容匹配一致性映射关系；生成步骤，用于根据新索引的关键帧图片和音频文本内容匹配一致性映射关系生成绘本模式。3.根据权利要求2所述的电子绘本的生成方法，其特征在于，所述匹配步骤包括：通过视频模型算法对所述关键帧图片索引文件进行处理得到与所述关键帧图片对应的n组关键帧图片序号，通过音频模型算法对所述音频文本内容索引文件进行处理得到与所述音频文本内容对应的n组音频文本内容序号；将每一组所述关键帧图片序号与每一组所述音频文本内容序号进行匹配；生成对应新索引的所述关键帧图片序号与所述音频文本内容序号匹配一致性映射关系。4.根据权利要求3所述的电子绘本的生成方法，其特征在于，所述匹配步骤还包括：根据视频模型算法对所述关键帧图片进行处理生成与所述关键帧图片序号对应的关键帧图片索引表，根据音频模型算法对所述音频文本内容进行处理生成与所述音频文本内容序号对应的音频文本内容索引表，将所述关键帧图片索引表与所述音频文本内容索引表进行匹配，生成对应新索引的所述关键帧图片索引表与所述音频文本内容索引表匹配一致性映射关系。5.根据权利要求4所述的电子绘本的生成方法，其特征在于，所述关键帧图片索引表包括图片序号、关键帧图片对应的时间信息与图片标签，所述音频文本内容索引表包括音频序号、音频文本内容对应的时间信息与内容标签。6.一种电子绘本的生成系统，其特征在于，所述生成系统包括：本地数据处理系统、云端数据处理系统与用户端，所述用户端分别与所述本地数据处理系统、云端数据处理系统通信连接；所述本地数据处理系统与所述云端数据处理系统用于对获取音视频中的关键帧图片特征库与音频文本内容特征库进行采集分析以获得关键帧图片索引文件与音频文本内容索引文件，并对存储于所述本地数据处理系统与所述云端数据处理系统中的关键帧图...

【专利技术属性】
技术研发人员：陈旭，
申请(专利权)人：陈旭，
类型：发明
国别省市：