一种AI智能生成古诗词情境视频的系统及其工作方法技术方案

本发明专利技术属于信息技术的教学应用领域，提供一种AI智能生成古诗词情境视频的系统及其工作方法，系统包括古诗词释义检索模块、中英文转换模块、提示语句提取模块、单句图像生成模块、视频合成模块；工作方法包括以下步骤：(1)古诗词释义检索；(2)中文释义转换英文释义；(3)提示语句提取；(4)单句诗词图像生成；(5)视频合成。本发明专利技术构建了一个AI智能生成古诗词情境视频系统，该系统根据古诗词文本自动生成内容对应的情境视频，可以为教师教学及学生自学活动提供大量的视频学习资源，降低理解难度，本发明专利技术提供了一种古诗词学习视频生成的新途径，促进了古诗词教学资源生成的智能化。促进了古诗词教学资源生成的智能化。促进了古诗词教学资源生成的智能化。

【技术实现步骤摘要】
一种AI智能生成古诗词情境视频的系统及其工作方法


[0001]本专利技术属于信息技术的教学应用领域，更具体地，涉及一种AI智能生成古诗词情境视频的系统及其工作方法。

技术介绍

[0002]古诗词教学是中小学语文教学中的重要部分，但相比白话文，古诗词中蕴含的意境和情感往往更难理解。
[0003]为了便于学生理解，目前古诗词教学过程中主要采用网上公开的古诗词视频或教师自己制作微课的方式，存在如下问题：(1)视频资源数量有限：仅有部分古诗词具有情境视频；(2)古诗词视频制作工作量大：缺少自动化的工具来快速生成古诗词视频。这些问题使得现有的古诗词教学视频资源难以满足实际教学需求。

技术实现思路

[0004]本专利技术的目的是为了克服上述现有技术的不足，提供一种AI智能生成古诗词情境视频的系统及其工作方法，能够全自动化为古诗词生成情境视频。
[0005]本专利技术的目的是通过以下技术措施实现的。
[0006]本专利技术提供一种AI智能生成古诗词情境视频的系统，包括古诗词释义检索模块、中英文转换模块、提示词提取模块、单句图像生成模块、视频合成模块；
[0007]所述古诗词释义检索模块从网络上开放的古诗词解析、译文等网站上以古诗词题目和作者作为关键字段爬取古诗词的全文译文；
[0008]所述中英文转换模块利用预训练的NLLB
‑
200模型将古诗词中文译文转换为英文译文；
[0009]所述提示语句提取模块根据英文译文按照主语总体描述、细节描述、艺术风格、画面质量来抽取关键词，组成提示语句；
[0010]所述单句图像生成模块基于Stable Diffusion模型利用抽取的提示语句来生成每句诗词的情境图像，然后利用图像摘要模型生成情境图像的摘要，将摘要补充至提示语句进行迭代优化得到最终图像；
[0011]所述视频合成模块采用帧插网络将单句诗词生成的图像内插为视频片段，并将古诗词内容合成音频，按视频片段时间间隔将音频与视频数据融合，得到最终完整的古诗词情境视频。
[0012]本专利技术还提供一种上述的AI智能生成古诗词情境视频的系统的工作方法，包括以下步骤：
[0013](1)古诗词释义检索，首先按照古诗词题目和作者作为关键字段从网络上爬取古诗词的全文释义。
[0014](2)中文释义转换英文释义，采用transformer网络架构利用预训练的NLLB
‑
200模型逐句将中文释义翻译成英文释义。
[0015](3)提示语句提取，首先抽取英文释义语句中的关键词，在此基础上生成关键词的细节描述词，最后补全艺术风格和图像质量描述词，得到最终的提示语句。
[0016](4)单句诗词图像生成，采用Stable Diffusion模型将提示语句转化为初始的情境图像，然后对情境图像生成图像摘要，将图像摘要补充到原始的提示语句，再用补充后的提示语句继续生成图像，执行该过程2次，得到最终的图像。
[0017](5)视频合成，先将单句诗词生成的情境图像进行扩充为视频片段，然后利用TTS模型将每句中文诗句文本转为音频文件，最后采用FFmpeg库按视频片段的间隔时间将视频片段数据与音频数据写出为古诗词情境视频。
[0018]本专利技术AI智能生成古诗词情境视频的系统及其工作方法，构建了一个AI智能生成古诗词情境视频系统，该系统根据古诗词文本自动生成内容对应的情境视频，可以为教师教学及学生自学活动提供大量的视频学习资源，降低理解难度。另外，目前还未有其他古诗词情境视频自动生成的公开方法，本专利技术为古诗词情境教学提供了一种新的路径。
附图说明
[0019]图1是本专利技术实施例中AI智能生成古诗词情境视频系统架构图。
[0020]图2是本专利技术实施例中AI智能生成古诗词情境视频系统的工作方法流程图。
具体实施方式
[0021]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施案例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施案例仅仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0022]如图1所示，本实施例提供一种AI智能生成古诗词情境视频的系统，包括古诗词释义检索模块、中英文转换模块、提示语句提取模块、单句图像生成模块、视频合成模块；
[0023]所述古诗词释义检索模块从网络上开放的古诗词解析、译文等网站上以古诗词题目和作者作为关键字段爬取古诗词的全文译文；
[0024]所述中英文转换模块利用预训练的NLLB
‑
200模型将古诗词中文译文转换为英文译文；
[0025]所述提示语句提取模块根据英文译文按照主语总体描述、细节描述、艺术风格、画面质量来抽取关键词，组成提示语句；
[0026]所述单句图像生成模块基于Stable Diffusion模型利用抽取的提示词来生成诗词中每句的情境图像，然后利用图像摘要模型(如OFA模型)生成情境图像的摘要，将摘要补充至提示语句进行迭代优化得到最终图像；
[0027]所述视频合成模块采用帧插网络将单句诗词生成的图像内插为视频片段，并将古诗词内容合成音频，按视频片段时间间隔将音频与视频数据融合，得到最终完整的古诗词情境视频。
[0028]本实施例还提供一种上述的AI智能生成古诗词情境视频的系统的工作方法，如图2所示，包括以下步骤：
[0029](1)古诗词释义检索，将古诗词题目和作者作为关键字段从网络上爬取古诗词的
全文释义；
[0030](1
‑
1)释义爬取，基于Python语言与https://www.gushiwen.cn/网站建立会话链接，将需要检索的古诗词题目和作者名称替换以下地址https://so.gushiwen.cn/search.aspx？value＝title+author&valuej＝title[0]中的title和author字段，获取替换后网页的编码内容。根据class的定义方式得到诗词对应的超链接，获取超链接对应的文本内容，其中译文对应的内容即为古诗词的完整释义。
[0031](1
‑
2)释义存储，将获取到的诗词全文释义按句存储，每一句对应古诗词中的一句。
[0032](2)中文释义转换英文释义，采用transformer网络架构利用预训练的NLLB
‑
200模型逐句将中文释义翻译成英文释义。
[0033](2
‑
1)模型初始化，从transformer库中引入AutoModelForSeq2SeqLM、AutoTokenizer类，加载NLLB
‑
200
‑
Distilled
‑
600M预训练模型。
[0034](2
‑
2)释义翻译，利用AutoTok本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种AI智能生成古诗词情境视频的系统，其特征在于：该系统包括古诗词释义检索模块、中英文转换模块、提示语句提取模块、单句图像生成模块、视频合成模块；所述古诗词释义检索模块从网络上开放的古诗词解析、译文网站上以古诗词题目和作者作为关键字段爬取古诗词的全文译文；所述中英文转换模块利用预训练的NLLB
‑
200模型将古诗词中文译文转换为英文译文；所述提示语句提取模块根据英文译文按照主语总体描述、细节描述、艺术风格、画面质量来抽取关键词，组成提示语句；所述单句图像生成模块基于Stable Diffusion模型利用抽取的提示语句来生成每句诗词的情境图像，然后利用图像摘要模型生成情境图像的摘要，将摘要补充至提示语句进行迭代优化得到最终图像；所述视频合成模块采用帧插网络将单句诗词生成的图像内插为视频片段，并将古诗词内容合成音频，按视频片段时间间隔将音频与视频数据融合，得到最终完整的古诗词情境视频。2.一种如权利要求1所述的AI智能生成古诗词情境视频的系统的工作方法，其特征在于该方法包括以下步骤：(1)古诗词释义检索，将古诗词题目和作者作为关键字段从网络上爬取古诗词的全文释义；(2)中文释义转换英文释义，采用transformer网络架构利用预训练的NLLB
‑
200模型逐句将中文释义翻译成英文释义；(3)提示语句提取，抽取英文释义语句中的关键词，在此基础上生成关键词的细节描述词，补全艺术风格和图像质量描述词，得到最终的提示语句；(4)单句诗词图像生成，采用Stable Diffusion模型将提示语句转化为初始的情境图像，对情境图像生成图像摘要，将图像摘要补充到原始的提示语句，再用补充后的提示语句继续生成图像，执行该过程2次，得到最终的图像；(5)视频合成，将单句诗词生成的情境图像进行扩充为视频片段，利用TTS模型将每句中文诗句文本转为音频文件，最后采用FFmpeg库按视频片段的间隔时间将视频片段数据与音频数据写出为古诗词情境视频。3.根据权利要求2所述的AI智能生成古诗词情境视频的系统的工作方法，其特征在于步骤(1)所述古诗词释义检索具体为：(1
‑
1)释义爬取，基于Python语言与古诗词网站建立会话链接，根据网络URL地址的规则将需要检索的古诗词题目和作者名称替换网络URL地址中的题目和作者名称字段，获取替换后网页的编码内容，检索其中的译文内容，即为古诗词的完整释义；(1
‑
2)释义存储，将获取到的诗词全文释义按句存储，每一句对应古诗词中的一句。4.根据权利要求2所述的AI智能生成古诗词情境视频的系统的工作方法，其特征在于步骤(2)所述中文释义转换英文释义具体为：(2
‑
1)模型初始化，从transformer库中引入AutoModelForSeq2SeqLM、AutoTokenizer类，加载NLLB
‑
200
‑
Distilled
‑
600M预训练模型；(2
‑
2)释义翻译，利用AutoTokenizer类逐句对中文释义进行编码，然后利用AutoModelForSeq2SeqLM类将编码后的中文分词器生成英文分词器，最后利用
AutoTokenizer类对得到英文分词器执行解码操作，得到每句诗词...

【专利技术属性】
技术研发人员：陈旭，吴砥，钟正，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：