基于增量学习的评论生成方法、系统、设备及存储介质技术方案

本申请公开了一种基于增量学习的评论生成方法、系统、设备及存储介质，所述基于增量学习的评论生成方法包括：获取用户输入的媒体信息；将所述媒体信息输入至第一语言模型中，对所述媒体信息进行评论生成处理，得到所述媒体信息的评论集合，其中，所述第一语言模型是先以预训练任务对预设的第二语言模型进行训练得到第三语言模型后，再基于第一训练样本，通过序列到序列的训练方法对所述第三语言模型进行训练得到的；其中，所述第一语言模型基于增量学习进行更新。本申请涉及自然语言生成领域，搭建预训练语言模型，引入增量学习对模型进行更新，在保持模型评论生成任务准确性的同时适应新的媒体信息评论生成任务。时适应新的媒体信息评论生成任务。时适应新的媒体信息评论生成任务。

【技术实现步骤摘要】
基于增量学习的评论生成方法、系统、设备及存储介质


[0001]本申请涉及自然语言生成领域，尤其涉及一种基于增量学习的评论生成方法、系统、设备及存储介质。

技术介绍

[0002]随着科技不断发展，媒体信息在网络平台上传播的同时，用户可以通过评论发表自己的观点。媒体信息的评论一方面可以对媒体信息的内容作进一步的解释，另一方面可以吸引更多用户的讨论。媒体信息的评论的生成技术可以针对一则特定媒体信息生成评论，激发用户交流回复的热情，从而增加媒体信息的热度，甚至还能够发挥舆论导向的作用，使得社会更加稳定和谐。目前阶段媒体信息评论自动生成技术的相关研究较为稀少，由于媒体信息的实时性，不断地有新的训练数据产生，故需要调整模型适应新的评论生成任务。
[0003]现有的评论生成技术部分采用基于预训练语言模型进行微调的方法，这个方法若面向源源不断的新训练数据集时，会出现旧任务性能被降低的问题。还有一些研究采用了基于预训练语言模型进行联合训练的方法，然而这个方法效率非常低，且对计算资源要求苛刻，这极大阻碍了模型实时地学习新数据。

技术实现思路

[0004]本申请的主要目的在于提供一种基于增量学习的评论生成方法、系统、设备及存储介质，旨在解决现有技术的评论生成技术效率低，对计算资源要求苛刻的技术问题。
[0005]为实现以上目的，本申请提供一种基于增量学习的评论生成方法，所述基于增量学习的评论生成方法包括：获取用户输入的媒体信息；将所述媒体信息输入至第一语言模型中，对所述媒体信息进行评论生成处理，得到所述媒体信息的评论集合，其中，所述第一语言模型是先以预训练任务对预设的第二语言模型进行训练得到第三语言模型后，再基于第一训练样本，通过序列到序列的训练方法对所述第三语言模型进行训练得到的；其中，所述第一语言模型基于增量学习进行更新。
[0006]可选地，所述第一语言模型基于增量学习进行更新的步骤，包括：获取第二训练样本；确定所述第一训练样本中的第一代表性样本以及所述第二训练样本中的第二代表性样本；基于所述第一代表性样本和所述第二代表性样本，更新所述第一语言模型。
[0007]可选地，所述确定所述第一训练样本及所述第二训练样本中代表性样本的步骤，包括：分别对所述第一训练样本及所述第二训练样本施加扰动，获取所述第一训练样本
及所述第二训练样本的预测值变化；基于所述预测值变化，获取样本在特征空间的相对位置；基于所述样本在特征空间的相对位置，确定所述第一训练样本及所述第二训练样本中代表性样本。
[0008]可选地，所述基于所述第一代表性样本和所述第二代表性样本，更新所述第一语言模型的步骤，包括：合并所述第一代表性样本和所述第二代表性样本，得到新训练样本；基于所述新训练样本，利用所述序列到序列的训练方法对所述第一语言模型进行训练，得到更新后的所述第一语言模型。
[0009]可选地，所述获取用户输入的媒体信息的步骤之前，所述方法包括：获取所述预训练样本、Transformer模型块、所述第一训练样本和Mask矩阵；基于所述预训练样本与Transformer模型块，对所述预设的第二语言模型进行训练，得到所述第三语言模型；基于所述第一训练样本和Mask矩阵，对所述第三语言模型进行训练得到所述第一语言模型。
[0010]可选地，所述基于所述Mask矩阵，对所述第三语言模型进行训练得到所述第一语言模型的步骤，包括：基于所述第一训练样本和Mask矩阵，引入temperature参数，利用TopK和TopP相结合的采样方法对所述第三语言模型进行训练，得到所述第一语言模型。
[0011]可选地，所述获取所述第一训练样本的步骤，包括：获取媒体数据和评论集合；将所述媒体数据和评论集合进行信息分类，获取所述信息分类标签；对所述媒体数据和评论集合进行所述信息分类标签的标记，得到所述第一训练样本。
[0012]本申请还提供一种基于增量学习的评论生成系统，所述基于增量学习的评论生成系统包括：获取模块，用于获取用户输入的媒体信息；处理模块，用于将所述媒体信息输入至第一语言模型中，对所述媒体信息进行评论生成处理，得到所述媒体信息的评论集合，其中，所述第一语言模型是先以预训练任务对预设的第二语言模型进行训练得到第三语言模型后，再基于第一训练样本，通过序列到序列的训练方法对所述第三语言模型进行训练得到的；更新模块，用于所述第一语言模型基于增量学习进行更新。
[0013]本申请还提供一种基于增量学习的评论生成设备，所述基于增量学习的评论生成设备包括：存储器、处理器以及存储在存储器上的用于实现所述基于增量学习的评论生成方法的程序，所述存储器用于存储实现基于增量学习的评论生成方法的程序；所述处理器用于执行实现所述基于增量学习的评论生成方法的程序，以实现所述基于增量学习的评论生成方法的步骤。
[0014]本申请还提供一种存储介质，所述存储介质上存储有实现基于增量学习的评论生
成方法的程序，所述实现基于增量学习的评论生成方法的程序被处理器执行以实现所述基于增量学习的评论生成方法的步骤。
[0015]本申请提供的一种基于增量学习的评论生成方法、系统、设备及存储介质，与现有技术中采用预训练语言模型进行联合训练方法，效率低下，且对计算资源要求苛刻相比，在本申请中，获取用户输入的媒体信息；将所述媒体信息输入至第一语言模型中，对所述媒体信息进行评论生成处理，得到所述媒体信息的评论集合，其中，所述第一语言模型是先以预训练任务对预设的第二语言模型进行训练得到第三语言模型后，再基于第一训练样本，通过序列到序列的训练方法对所述第三语言模型进行训练得到的；其中，所述第一语言模型基于增量学习进行更新，引入增量学习的方法对预训练语言模型进行更新，即对预训练语言模型面向数据流进行再训练，结合提出的序列到序列训练方法来对模型进行微调，使得模型可以更快更有效地适用于自然语言生成任务，在保持了旧话题评论生成任务准确性同时适应新的新闻话题评论生成任务。
附图说明
[0016]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0017]图1是本申请实施例方案涉及的硬件运行环境的设备结构示意图；图2为本申请基于增量学习的评论生成方法第一实施例的流程示意图；图3为本申请基于增量学习的评论生成方法语言模型结构图；图4为本申请基于增量学习的评论生成方法序列到序列目标mask矩阵图。
[0018]本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0019]应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0020]如图1所示，图1是本申请实施例方案涉及的硬件运本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于增量学习的评论生成方法，其特征在于，所述基于增量学习的评论生成方法包括：获取用户输入的媒体信息；将所述媒体信息输入至第一语言模型中，对所述媒体信息进行评论生成处理，得到所述媒体信息的评论集合，其中，所述第一语言模型是先以预训练任务对预设的第二语言模型进行训练得到第三语言模型后，再基于第一训练样本，通过序列到序列的训练方法对所述第三语言模型进行训练得到的；其中，所述第一语言模型基于增量学习进行更新。2.如权利要求1所述的基于增量学习的评论生成方法，其特征在于，所述第一语言模型基于增量学习进行更新的步骤，包括：获取第二训练样本；确定所述第一训练样本中的第一代表性样本以及所述第二训练样本中的第二代表性样本；基于所述第一代表性样本和所述第二代表性样本，更新所述第一语言模型。3.如权利要求2所述的基于增量学习的评论生成方法，其特征在于，所述确定所述第一训练样本及所述第二训练样本中代表性样本的步骤，包括：分别对所述第一训练样本及所述第二训练样本施加扰动，获取所述第一训练样本及所述第二训练样本的预测值变化；基于所述预测值变化，获取样本在特征空间的相对位置；基于所述样本在特征空间的相对位置，确定所述第一训练样本及所述第二训练样本中代表性样本。4.如权利要求2所述的基于增量学习的评论生成方法，其特征在于，所述基于所述第一代表性样本和所述第二代表性样本，更新所述第一语言模型的步骤，包括：合并所述第一代表性样本和所述第二代表性样本，得到新训练样本；基于所述新训练样本，利用所述序列到序列的训练方法对所述第一语言模型进行训练，得到更新后的所述第一语言模型。5.如权利要求1所述的基于增量学习的评论生成方法，其特征在于，所述获取用户输入的媒体信息的步骤之前，所述方法包括：获取所述预训练样本、Transformer模型块、所述第一训练样本和Mask矩阵；基于所述预训练样本与Transformer模型块，对所述预设的第二语言模型进行训练，得到所述第三语言模型；基于所...

【专利技术属性】
技术研发人员：毛震东，张勇东，韩靖轩，张立成，顾培健，
申请(专利权)人：合肥综合性国家科学中心人工智能研究院安徽省人工智能实验室，
类型：发明
国别省市：