System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于记忆自然语言大模型的长文本写作方法和装置制造方法及图纸_技高网
当前位置: 首页 > 专利查询>浙江大学专利>正文

一种基于记忆自然语言大模型的长文本写作方法和装置制造方法及图纸

技术编号:42668608 阅读:3 留言:0更新日期:2024-09-10 12:23
本发明专利技术公开了一种基于记忆自然语言大模型的长文本写作方法和装置,包括:获取写作要求和参考文献,并将参考文献解析为文本;将写作要求和解析得到的文本输入至记忆自然语言大模型,记忆自然语言大模型根据写作要求为文本中不同内容赋予不同权重,同时生成不同内容的总结概要,并将总结概要存入向量数据库;迭代基于滑动窗口内容的写作过程,包括:构建包含第四系统提示词、前文缩略、写作重点内容以及参考内容概括的当前滑动窗口内容,写作自然大语言模型基于当前滑动窗口内容进行写作,输出当前滑动窗口对应的新写作文本并合并到历史写作文本。这样能够实现在用户输入写作要求和参考文献后即可输出上下文连贯且考虑参考文献的长文本内容。

【技术实现步骤摘要】

本专利技术属于自然语言处理,具体涉及一种基于记忆自然语言大模型的长文本写作方法和装置


技术介绍

1、在当今信息时代,随着互联网的普及和大数据技术的发展,人们对于文本信息的需求不断增长。长文本写作在各种领域中具有广泛的应用,如新闻报道、学术论文、小说创作等。然而,传统的文本生成方法往往存在效率低、质量不高等问题,难以满足人们日益增长的需求。

2、近年来,自然语言处理(natural language processing,nlp)技术取得了显著的进展,特别是基于深度学习的自然语言大模型(如gpt、bert等)在文本生成方面表现出了强大的能力。这些模型通过大量文本数据的训练,能够生成具有较高质量和连贯性的文本。

3、然而,现有的自然语言大模型(large language model,llm)往往有上下文(context)大小的限制,即token的长度有限制,这使得现有的自然语言大模型在进行写作时会出现无法生成长文本内容。再者,基于自然语言大模型的长文本写作方法往往是选择遗忘之前的内容,只使用最新的文本内容进行生成,这使得生成内容的上下文不连贯,并且也难以准确使用用户给予的参考文献。

4、公开号为cn117332180a的专利申请公开了一种基于大语言模型的研报智能写作方法,通过采集研报数据,并对所述研报数据进行预处理,得到原始投研写作数据;对所述原始投研写作数据进行信息抽取处理得到投研写作提示语,并将所述投研写作提示语与其对应的原始投研写作数据组成投研写作训练语料;根据所述投研写作训练语料对大语言模型进行训练,得到所述投研写作模型;获取用户设定的主体信息,通过所述投研写作模型和所述主体信息生成投研写作文本;获取与所述投研写作文本相关的行情数据,并将所述行情数据以图表的形式插入所述投研写作文本中,得到最终研报。该技术方案同样存在无法生成长文本内容的技术缺陷。

5、公开号为cn116796717a的专利申请公开了一种基于大型语言模型的模板化文本生成方法,包括:获取写作体裁与写作目的;对写作体裁与写作目的进行处理;获取写作大纲;对写作大纲进行材料写作处理或根据写作方式对写作大纲进行模板写作处理;获取基本文本或基本模板;对基本文本或基本模板进行重写修改或段落修改;获取修改后的基本文本或基本模板;获取完整文章。该技术方案同样存在无法生成长文本内容的技术缺陷,不适用长文本内容的生成。


技术实现思路

1、鉴于上述,本专利技术的目的是提供一种基于记忆自然语言大模型的长文本写作方法和装置,在用户输入写作要求和参考文献后即可进行长文本写作输出上下文连贯且考虑参考文献的长文本内容。

2、为实现上述专利技术目的,本专利技术实施例提供的一种基于记忆自然语言大模型的长文本写作方法,包括以下步骤:

3、获取写作要求和参考文献,并将参考文献解析为文本;

4、将写作要求和解析得到的文本输入至记忆自然语言大模型,记忆自然语言大模型根据写作要求为文本中不同内容赋予不同权重,同时生成不同内容的总结概要,并将总结概要存入向量数据库;

5、迭代基于滑动窗口内容的写作过程,包括:构建包含第四系统提示词、前文缩略、写作重点内容以及参考内容概括的当前滑动窗口内容,写作自然大语言模型基于当前滑动窗口内容进行写作,输出当前滑动窗口对应的新写作文本并合并到历史写作文本;

6、其中前文缩略是指,基于前一滑动窗口内容包含的前文缩略与前一滑动窗口输出的新写作文本,经过概括自然语言大模型概括得到;

7、写作重点内容是指,基于前一滑动窗口内容包含的前文缩略和写作要求,经过思考自然语言大模型思考得到;

8、参考内容概括是指,基于写作重点内容在向量数据库中搜索相似的总结概要作为参考内容,基于参考内容经过概括自然语言大模型概括得到。

9、优选地,所述记忆自然语言大模型在被应用之前经过调试,调试过程包括:

10、首先设计包含第一身份定义和第一实际案例的第一系统提示词,其中,第一身份定义用于定义记忆自然语言大模型为文本处理员,负责根据用户的写作要求对给予的文本内容计算相关度作为文本内容的权重,并能生成文本内容的总结概要,第一实际案例是指一段实际使用记忆自然语言大模型的输入内容和预期的输出内容;

11、然后写一段其他测试输入案例,并将该其他测试输入案例作为第一用户提示词和第一系统提示词一并输入给记忆自然语言大模型,通过不断测试和修改第一系统提示词之后得到第一最终系统提示词;

12、后续使用时,将对参考文件解析得到的文本和写作要求作为第一用户提示词,连同最终第一系统提示词一起输入至调试后的记忆自然语言大模型中,使记忆自然语言大模型根据写作要求为文本中不同内容赋予不同权重,同时生成不同内容的总结概要。

13、优选地,还包括:当参考文献为pdf文件时,采用pypdf包解析pdf文件得到文本;

14、在得到文本不同内容的权重后,将文本内容与对应的权重进行存储备用。

15、优选地,所述概括自然语言大模型在被应用之前经过调试,调试过程包括:

16、首先设计包含第二身份定义和第二实际案例的第二系统提示词,其中,第二身份定义用于定义概括自然语言大模型为文本总结员,负责对输入内容进行总结并生成一段总结概要,第二实际案例是指一段实际使用概括自然语言大模型的输入内容和预期的输出内容;

17、然后写一段其他测试输入案例,并将该其他测试输入案例作为第二用户提示词和第二系统提示词一并输入给概括自然语言大模型,通过不断测试和修改第二系统提示词之后得到最终第二系统提示词;

18、后续使用时,将前文缩略和新写作文本一起作为第二用户提示词,或将参考内容作为第二用户提示词,连同最终第二系统提示词一起输入至调试后的概括自然语言大模型中,使概括自然语言大模型生成新前文缩略或参考内容概括。

19、优选地,所述基于写作重点内容在向量数据库中搜索相似的总结概要作为参考内容,包括:

20、在向量数据库中搜索与写作重点内容最相似的前n个总结概要作为候选总结概要,然后对搜索的每个总结概要计算相似度与对应权重的乘积,从候选总结概要中筛选乘积值大的前m个候选总结概要作为参考内容,其中m小于n。

21、优选地,所述思考自然语言大模型在被应用之前经过调试,调试过程包括:

22、首先设计包含第三身份定义和第三实际案例的第三系统提示词,其中,第三系统提示词定义思考自然语言大模型是实现各种剧本设计的专家,能根据输入的写作要求和前文缩略规划后续的写作方向,并输出后续写作重点内容大纲的写作重点内容,第二实际案例是一段实际使用思考自然语言大模型的输入内容和预期的输出内容;

23、然后写一段其他测试输入案例,并将该其他测试输入案例作为第三用户提示词和第三系统提示词一并输入给思考自然语言大模型,通过不断测试和修改第三系统提示词之后得到最终第三系统提示词;

24、本文档来自技高网...

【技术保护点】

1.一种基于记忆自然语言大模型的长文本写作方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于记忆自然语言大模型的长文本写作方法,其特征在于,所述记忆自然语言大模型在被应用之前经过调试,调试过程包括:

3.根据权利要求1所述的基于记忆自然语言大模型的长文本写作方法,其特征在于,还包括:当参考文献为PDF文件时,采用pypdf包解析PDF文件得到文本;

4.根据权利要求1所述的基于记忆自然语言大模型的长文本写作方法,其特征在于,所述概括自然语言大模型在被应用之前经过调试,调试过程包括:

5.根据权利要求1所述的基于记忆自然语言大模型的长文本写作方法,其特征在于,所述基于写作重点内容在向量数据库中搜索相似的总结概要作为参考内容,包括:

6.根据权利要求1所述的基于记忆自然语言大模型的长文本写作方法,其特征在于,所述思考自然语言大模型在被应用之前经过调试,调试过程包括:

7.根据权利要求1所述的基于记忆自然语言大模型的长文本写作方法,其特征在于,所述写作自然语言大模型在被应用之前经过调试,调试过程包括:</p>

8.一种基于记忆自然语言大模型的长文本写作装置,其特征在于,包括获取模块、记忆模块、迭代写作模块,

9.一种计算设备,包括存储器和一个或多个处理器,所述存储器中存储有可执行代码,其特征在于,所述一个或多个处理器执行所述可执行代码时,用于实现上述基于记忆自然语言大模型的长文本写作方法。

10.一种计算机可读存储介质,其特征在于,其上存储有程序,并能在其中读写写作内容,该程序被处理器执行时,实现上述基于记忆自然语言大模型的长文本写作方法。

...

【技术特征摘要】

1.一种基于记忆自然语言大模型的长文本写作方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于记忆自然语言大模型的长文本写作方法,其特征在于,所述记忆自然语言大模型在被应用之前经过调试,调试过程包括:

3.根据权利要求1所述的基于记忆自然语言大模型的长文本写作方法,其特征在于,还包括:当参考文献为pdf文件时,采用pypdf包解析pdf文件得到文本;

4.根据权利要求1所述的基于记忆自然语言大模型的长文本写作方法,其特征在于,所述概括自然语言大模型在被应用之前经过调试,调试过程包括:

5.根据权利要求1所述的基于记忆自然语言大模型的长文本写作方法,其特征在于,所述基于写作重点内容在向量数据库中搜索相似的总结概要作为参考内容,包括:

6.根据权利要求1所述的...

【专利技术属性】
技术研发人员:张邓明易和阳孙凌云梅冬
申请(专利权)人:浙江大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1