【技术实现步骤摘要】
本专利技术涉及写作风格调整，尤其涉及一种写作风格实时切换方法及装置。
技术介绍
1、随着人工智能技术的成熟，大型预训练语言模型（如gpt、llama等）在文本生成领域展现出强大的能力，能够生成连贯、自然的文本内容，完成复杂文章的撰写。然而，在实际应用中，不同的文本类型、场景和受众往往对写作风格有着严格且多样化的要求。例如，新闻报道需要客观、严谨的风格，而小说创作则可能涉及轻松、幽默等多种风格。此外，即便是同类文本，为了增强表现力或适应情节发展，也可能需要混合使用多种风格，并能在写作过程中实时切换。
2、然而，现有的大语言模型虽能生成连贯文本，但在写作风格的表现上存在明显不足。一方面，由于模型训练时往往侧重于通用性，导致生成文本的风格特征不够鲜明，难以准确匹配特定需求。另一方面，模型缺乏灵活的机制来支持写作风格的实时切换，使得在复杂文本创作过程中难以实现风格的动态调整。此外，对于某些复杂文本创作任务，如小说、剧本等，往往需要作者在单一作品中融合多种写作风格以丰富情节和人物塑造，这对现有的文本生成技术提出了更高要求。
3、因此，开发一种能够融合多种写作风格并能在创作过程中实时切换的智能文本创作系统，具有重要的实际应用价值和理论探索意义。
技术实现思路
1、有鉴于此，本专利技术实施例提供了一种写作风格实时切换方法及装置，用以解决现有大语言模型在复杂文本的创作过程中，难以实现写作风格动态调整的问题。
2、本专利技术采用的技术方案是：
3、第一
4、获取不同写作风格的文本资料并存储至对象数据库，生成写作风格数据；
5、将写作风格数据输入大模型进行文本处理，生成不同写作风格的要求-文本对；
6、基于不同写作风格的要求-文本对训练基础大模型，并采用lora微调技术对模型参数进行lora微调，提取出不同写作风格的lora参数；
7、将不同写作风格的lora参数通过线性加权的方式进行融合计算，得到融合参数；
8、将基础大模型、不同写作风格的lora参数和融合参数提前加载到内存，并基于用户实时写作需求，将对应写作风格的参数与基础大模型结合，生成指定风格的写作辅助模型。
9、进一步地，所述将写作风格数据输入大模型进行文本处理，生成不同写作风格的要求-文本对，包括：
10、按照预设切分阈值，将不同写作风格数据的文本分别切分为对应写作风格的多个文本片段；所述写作风格包括正式风格、轻松风格、幽默风格和简洁风格；
11、将不同写作风格的文本片段输入大模型，总结生成文本片段对应的主旨和概述，将文本片段与主旨和概述组成要求-文本对；
12、将要求-文本对再次输入大模型，检验要求-文本对是否能概括文本片段的内容，并对要求-文本对进行人工检查，检验无误且人工检查没有问题后，输出最终的不同写作风格的要求-文本对。
13、进一步地，所述基于不同写作风格的要求-文本对训练基础大模型，并采用lora微调技术对模型参数进行lora微调，提取出不同写作风格的lora参数，包括：
14、将不同写作风格的要求-文本对分别输入基础大模型进行训练，并在训练过程中，通过lora微调技术在基础大模型的每一层或选定的部分层中引入低秩矩阵对原始权重矩阵进行lora微调，同时冻结基础大模型其他层的参数；
15、依据不同写作风格对基础大模型完成lora微调后，得到写作风格对应的lora参数，满足：
16、；
17、其中，和为两个低秩矩阵。
18、进一步地，所述通过lora微调技术在基础大模型的每一层或选定的部分层中引入低秩矩阵对原始权重矩阵进行lora微调，包括：
19、在基础大模型的每一层或选定的部分层中，假定原始权重矩阵的维度为；
20、引入两个低秩矩阵和，其中，通过矩阵乘法ab，模拟对原始权重矩阵的微调，得到基础大模型的微调lora参数 θ。
21、进一步地，所述将不同写作风格的lora参数通过线性加权的方式进行融合计算，得到融合参数，包括：
22、采用线性加权的方法，将不同写作风格的lora参数按照预设权重合并为统一的参数，融合参数的计算方法为：
23、；
24、其中，为融合形成的风格参数；为需要融合的参数总数；为风格参数的权重，表示风格对应的lora参数在融合参数中所占比例，越大，表示对应风格参数越重要，参数融合后该参数对文档生成的影响越大；
25、按照预设命名规范和格式，为不同写作风格的lora参数分配lora id。
26、进一步地，所述基于用户实时写作需求，将对应写作风格的参数与基础大模型结合，生成指定风格的写作辅助模型，包括：
27、构建辅助写作智能体agent，由基础大模型自行理解用户输入或上下文信息，分析用户希望得到的写作风格；
28、根据写作风格匹配写作风格的lora参数，生成参数指定代码，参数指定代码包含lora id；
29、将相应写作风格的lora参数与基础大模型的原始参数合并，生成指定风格的写作辅助模型；其中，参数合并的计算方式为：
30、；
31、其中，基础大模型的原始参数为，参数合并后大模型的参数为，为写作风格对应的lora参数。
32、进一步地，若根据写作风格未匹配到对应写作风格的lora参数，则通过基础大模型对用户输入的风格理解生成参数权重，基于参数权重对融合参数进行微调，合成新的风格参数；将新的风格参数与原始参数合并，生成符合用户需求的写作辅助模型。
33、第二方面，本专利技术提供一种写作风格实时切换装置，包括：
34、数据收集模块，用于获取不同写作风格的文本资料并存储至对象数据库，生成写作风格数据；
35、文本处理模块，用于将写作风格数据输入大模型进行文本处理，生成不同写作风格的要求-文本对；
36、模型微调模块，用于基于不同写作风格的要求-文本对训练基础大模型，并采用lora微调技术对模型参数进行lora微调，提取出不同写作风格的lora参数；
37、参数融合模块，用于将不同写作风格的lora参数通过线性加权的方式进行融合计算，得到融合参数；
38、风格切换模块，用于将基础大模型、不同写作风格的lora参数和融合参数提前加载到内存，并基于用户实时写作需求，将对应写作风格的参数与基础大模型结合，生成指定风格的写作辅助模型。
39、综上所述，本专利技术的有益效果如下：
40、本专利技术提供的一种写作风格实时切换方法，通过多种渠道收集不同写作风格的资料，针对收集到的资料生成不同写作风格的要求-文本数据，支撑后续模型参数调整；针对不同风格生成的要求-文本数据，分别采用lora微调技术本文档来自技高网...
【技术保护点】
1.一种写作风格实时切换方法，其特征在于，包括：
2.根据权利要求1所述的写作风格实时切换方法，其特征在于，所述将写作风格数据输入大模型进行文本处理，生成不同写作风格的要求-文本对，包括：
3.根据权利要求1所述的写作风格实时切换方法，其特征在于，所述基于不同写作风格的要求-文本对训练基础大模型，并采用Lora微调技术对模型参数进行Lora微调，提取出不同写作风格的Lora参数，包括：
4.根据权利要求3所述的写作风格实时切换方法，其特征在于，所述通过Lora微调技术在基础大模型的每一层或选定的部分层中引入低秩矩阵对原始权重矩阵进行Lora微调，包括：
5.根据权利要求1所述的写作风格实时切换方法，其特征在于，所述将不同写作风格的Lora参数通过线性加权的方式进行融合计算，得到融合参数，包括：
6.根据权利要求1所述的写作风格实时切换方法，其特征在于，所述基于用户实时写作需求，将对应写作风格的参数与基础大模型结合，生成指定风格的写作辅助模型，包括：
7.根据权利要求6所述的写作风格实时切换方法，其特征在于，若
8.一种写作风格实时切换装置，其特征在于，包括：
...【技术特征摘要】
1.一种写作风格实时切换方法，其特征在于，包括：
2.根据权利要求1所述的写作风格实时切换方法，其特征在于，所述将写作风格数据输入大模型进行文本处理，生成不同写作风格的要求-文本对，包括：
3.根据权利要求1所述的写作风格实时切换方法，其特征在于，所述基于不同写作风格的要求-文本对训练基础大模型，并采用lora微调技术对模型参数进行lora微调，提取出不同写作风格的lora参数，包括：
4.根据权利要求3所述的写作风格实时切换方法，其特征在于，所述通过lora微调技术在基础大模型的每一层或选定的部分层中引入低秩矩阵对原始权重矩阵进行lora微调，包括：
5.根据权利要求1所述的写...
【专利技术属性】
技术研发人员：郑冰冰，倪永全，
申请(专利权)人：成都国智未来科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。