一种新闻评论生成方法、系统、设备及存储介质技术方案

本发明专利技术公开了一种新闻评论生成方法、系统、设备及存储介质，通过立场符号、立场提示模板与新闻文本一同进行编码，训练阶段能够加强立场与相应立场评论的联系，使得立场符号的向量表征能够带有相应立场的语义信息，从而控制生成评论的立场，而且通过引入立场提示模板，利用预训练语言模型的语言理解能力显式地控制生成评论的立场，本发明专利技术能够生成带有指定立场地评论，具有良好地应用前景和社会效益。具有良好地应用前景和社会效益。具有良好地应用前景和社会效益。

【技术实现步骤摘要】
一种新闻评论生成方法、系统、设备及存储介质


[0001]本专利技术涉及自然语言生成
，尤其涉及一种新闻评论生成方法、系统、设备及存储介质。

技术介绍

[0002]随着科技不断发展，新闻在网络平台上的传播使得用户通过评论可以发表自己的观点。新闻评论一方面可以对新闻内容做进一步的解释，另一方面可以吸引更多用户的讨论。针对新闻评论的生成方法可以针对一则特定新闻生成评论，激发用户交流回复的热情，从而增加新闻的热度，甚至还能够发挥到舆论导向的作用，使得社会更加稳定和谐。目前阶段新闻评论自动生成技术的相关研究十分稀少，相关课题具有非常大的研究价值。
[0003]现有的新闻评论生成技术多采用基于预训练语言模型进行微调的方法，但往往面临着一个问题：生成的评论难以控制。现有模型生成评论的过程中，无法控制所得评论的立场、情感、语言风格等，导致对于某些新闻生成出不合时宜的评论，因此，有必要对现有的新闻评论生成技术进行改进。

技术实现思路

[0004]本专利技术的目的是提供一种新闻评论生成方法、系统、设备及存储介质，能够生成带有指定立场地评论，并实现评论生成的多样性，具有良好地应用前景。
[0005]本专利技术的目的是通过以下技术方案实现的：
[0006]一种新闻评论生成方法，包括：
[0007]训练阶段：将当前新闻文本与给定的立场符号及立场提示模板拼接，构成第一输入数据，将当前新闻已生成的评论文本作为第二输入数据；其中，所述立场符号用于表示立场类型，所述立场提示模板包含与给定的立场符号相同立场类型的自然语言文本；通过嵌入层，分别获得所述第一输入数据对应的第一表示向量，以及所述第二输入数据对应的第二表示向量；通过编码器对所述第一表示向量进行编码，通过解码器结合编码器输出的编码结果对所述第二表示向量进行解码，获得解码向量，根据解码向量预测当前新闻已生成的评论文本中的下一个词的概率分布，并且利用给定的立场符号预测每个词的概率分布；基于预测出每个词的两类概率分布构建总损失函数，对所述嵌入层、编码器与解码器进行训练；
[0008]预测阶段，将待生成评论的新闻文本与指定的立场符号及立场提示模板拼接，构成预测数据，通过训练后的嵌入层、编码器与解码器，预测出评论文本。
[0009]一种新闻评论生成系统，包括：嵌入层、编码器与解码器；
[0010]训练阶段：将当前新闻文本与给定的立场符号及立场提示模板拼接，构成第一输入数据，将当前新闻已生成的评论文本作为第二输入数据；其中，所述立场符号用于表示立场类型，所述立场提示模板包含与给定的立场符号相同立场类型的自然语言文本；通过嵌入层，分别获得所述第一输入数据对应的第一表示向量，以及所述第二输入数据对应的第
二表示向量；通过编码器对所述第一表示向量进行编码，通过解码器结合编码器输出的编码结果对所述第二表示向量进行解码，获得解码向量，根据解码向量预测当前新闻已生成的评论文本中的下一个词的概率分布，并且利用给定的立场符号预测每个词的概率分布；基于预测出每个词的两类概率分布构建总损失函数，对所述嵌入层、编码器与解码器进行训练；
[0011]预测阶段，将待生成评论的新闻文本与指定的立场符号及立场提示模板拼接，构成预测数据，通过训练后的嵌入层、编码器与解码器，预测出评论文本。
[0012]一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
[0013]其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。
[0014]一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时实现前述的方法。
[0015]由上述本专利技术提供的技术方案可以看出，通过立场符号、立场提示模板与新闻文本一同进行编码，训练阶段能够加强立场与相应立场评论的联系，使得立场符号的向量表征能够带有相应立场的语义信息，从而控制生成评论的立场，而且通过引入立场提示模板，利用预训练语言模型的语言理解能力显式地控制生成评论的立场，本专利技术能够生成带有指定立场地评论，具有良好地应用前景和社会效益。本专利技术上述方案同样可以适用于情感、语言风格的控制，在具体实施时将相应的立场符号与提示模版改为与情感、语言风格相关的控制信息即可。
附图说明
[0016]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
[0017]图1为本专利技术实施例提供的一种新闻评论生成方法的框架图；
[0018]图2为本专利技术实施例提供的一种处理设备的示意图。
具体实施方式
[0019]下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。
[0020]首先对本文中可能使用的术语进行如下说明：
[0021]术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素(如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等)，应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
[0022]如
技术介绍
所述，现有的新闻评论生成技术难以控制生成的评论，而不合时宜的评论会影响人们对其的认同感，降低该评论的社会影响力。对于某些新闻甚至有可能会生成出带有不良舆论导向的评论，带来不好的社会影响。因此，本专利技术实施例提供的新闻评论生成方案，从数据处理层面进行改进，从而控制生成评论的立场。本专利技术将评论立场分为正面、中立和负面三类，通过两种技术手段对生成评论的立场加以控制，一种是引入立场符号：对每种立场使用一个特殊符号进行标识，并在向量空间上进行编码映射，通过将对应立场的符号的向量表征与当前新闻的文本向量表征相连，在评论生成的过程中融合立场信息，实现对生成评论的立场控制。另一种是立场提示模板：在生成评论前直接添加对应立场的文本提示模板，利用语言模型理解捕捉文本提示中的立场信息，从而控制生成评论的立场。最终，给定一条新闻报道和评论所处立场，通过本专利技术提供的新闻评论生成方案可以生成与该新闻相关的，符合给定立场的文本评论。
[0023]下面对本专利技术所提供的新闻评论生成方案进行详细描述。本专利技术实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本专利技术实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。
[0024]实施例一
[0025]如图1所示，为一种新闻评论生成方法的框架图，本专利技术在Transfor本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种新闻评论生成方法，其特征在于，包括：训练阶段：将当前新闻文本与给定的立场符号及立场提示模板拼接，构成第一输入数据，将当前新闻已生成的评论文本作为第二输入数据；其中，所述立场符号用于表示立场类型，所述立场提示模板包含与给定的立场符号相同立场类型的自然语言文本；通过嵌入层，分别获得所述第一输入数据对应的第一表示向量，以及所述第二输入数据对应的第二表示向量；通过编码器对所述第一表示向量进行编码，通过解码器结合编码器输出的编码结果对所述第二表示向量进行解码，获得解码向量，根据解码向量预测当前新闻已生成的评论文本中的下一个词的概率分布，并且利用给定的立场符号预测每个词的概率分布；基于预测出每个词的两类概率分布构建总损失函数，对所述嵌入层、编码器与解码器进行训练；预测阶段，将待生成评论的新闻文本与指定的立场符号及立场提示模板拼接，构成预测数据，通过训练后的嵌入层、编码器与解码器，预测出评论文本。2.根据权利要求1所述的一种新闻评论生成方法，其特征在于，所述将当前新闻文本与给定的立场符号及立场提示模板拼接，构成第一输入数据包括：将符号[CLS]作为开始符号，将符号[SEP]作为分隔符号，给定的立场符号表示为S，当前新闻文本的词序列表示为立场提示模板的词序列表示为第一输入数据表示为：其中，L
T
表示当前新闻文本的词数量，L
P
表示立场提示模板的词数量。3.根据权利要求1所述的一种新闻评论生成方法，其特征在于，所述编码器包括依次连接的N层的Transformer模块，每一层的Transformer模块包括一系列的多头自注意力机制及前馈网络；第i层的Transformer模块输入为第i
‑
1层Transformer模块输出的表征向量X
i
‑1，当i＝1时，X0＝Emb1，所述Emb1表示第一表示向量；第i层的Transformer模块输出的表征向量通过下述方式得到：通过下述方式得到：通过下述方式得到：其中，表示计算得到的注意力向量，X
i
表示第i层的Transformer模块输出的表征向量，和分别表示编码器中第k个注意力头中的Query矩阵，Key矩阵和Value矩阵，d
e
表示向量表征的维度；T表示矩阵转置符号；是表示对表征向量X
i
‑1进行多头自注意力机制处理与层归一化处理后得到的中间表征向量，LN表示层归一化操作，FFN表示前馈网络；
将N层的Transformer模块输出的表征向量X
N
作为编码器输出的编码结果H
encoder
。4.根据权利要求1所述的一种新闻评论生成方法，其特征在于，所述解码器包括依次连接的N层的Transformer模块，每一层的Transformer模块包括一系列的多头自注意力机制及前馈网络；在自注意力机制中加入掩码机制，表示为：其中，表示计算得到的注意力向量，Y
i
‑1表示输入至第i层Transformer模块的表征向量，即第i
‑
1层Transformer模块输出的表征向量，当i＝1时，Y0＝Emb2，所述Emb2表示第二表示向量；和分别表示解码器中第k个注意力头中的Query矩阵，Key矩阵和Value矩阵，d
e
表示向量表征的维度；M为一个下三角元素为0，其余元素为
‑
inf的矩阵，
‑
inf表示负无穷大；结合加入掩码机制后的自注意力，通过前馈网络、残差连接与前馈网络获得自注意力机制的计算结果机制的计算结果机制的计算结果其中，是表示对表征向量Y
i
‑1进行多头自注意力机制处理与层归一化处理后得到的中间表征向量，LN表示层归一化操作，FFN表示前馈网络；之后，经过和编码器输出之间的注意力模块，融合编码器信息，表示为：之后，经过和编码器输出之间的注意力模块，融合编码器信息，表示为：之后，经过和编码器输出之间的注意力模块，融合编码器信息，表示为：其中，和分别表示解码器和编码器输出之间的注意力模块中第k个注意力头中的Query矩阵，Key矩阵和Value矩阵，H
encoder
表示编码器输出的编码结果，表示融合编码器信息时获得的中间表征向量，Y
i
表示第i层Transformer模块输出的表征向量，T表示矩阵转置符号；将第N层Transformer模块输出的表征向量Y
N
作为解码向量H
decoder
。5.根据权利...

【专利技术属性】
技术研发人员：毛震东，张勇东，顾培健，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：